OpenAI- ի նոր մոտեցումը `մեկ կրակոց իմիտացիա սովորելու համար, ԱՀ ապագայի հայացք

Միակողմանի իմիտացիա Սովորելով Յան Դուան, Մարկին Անդրիխովիչ, Բրեդլի Ս. Ստադի, Jonոնաթան Հո, asոնաս Շնայդեր, Իլյա Սացկվեր, Պիտեր Աբբել, Վոյցեխ Զարեմբա

Մայիսի 16-ին, OpenAI- ի հետազոտողները կիսեցին իրենց նախագծերից մեկի տեսանյութը, ինչպես նաև երկու կարևոր փաստաթղթեր, որոնք լուծում էին Ներքին զարգացման արդի զարգացման երեք հիմնական խոչընդոտների լուծումները `մետա-ուսուցում, մեկ կրակոց ուսուցում և տվյալների ավտոմատացում: Իմ նախորդ գրառման մեջ ես խոստացել էի մի հոդված, որը նվիրված է մեկ կրակոց ուսուցման հետաքրքրաշարժ խնդրին, այնպես որ ՝ այստեղ: Կարող եք սկսել զննել նրանց թողարկած տեսանյութը, որը բացատրում է նրանց զարմանալի աշխատանքը.

Այս տեսանյութում տեսնում եք մի ձեռքով ֆիզիկական ռոբոտ, որը միմյանց վերևում խորանարդեր է դնում: Իմանալով այն բարդ առաջադրանքները, որոնք ներկայումս ի վիճակի են կատարել արդյունաբերական ռոբոտները, եթե հետազոտողը չփորձեր բացատրել, թե ինչ է կատարվում, շատ հաշիվներով դա շատ օգտակար կլիներ: Վերահսկվող միջավայրում առաջադրանքը պարզ է, ընթացակարգային (կոդավորված) մոտեցումներն արդեն լուծել են այդ խնդիրները, ինչը խոստումնալից է և հեղափոխական `որքանով է, որ դրա տակ գտնվող ընդհանուր շրջանակը կարող է մասշտաբել մինչև աղմկոտ միջավայրում գտնվող բազմակի, ավելի բարդ և հարմարվողական վարքագիծ:

Մտքի տարբերությունը մարդու և ավելի բարձր կենդանիների միջև, ինչպիսին որ կա, իհարկե, աստիճանի է և ոչ բարի:
- Չարլզ Դարվին

Համեմատաբար, այս հոդվածը ուժեղ ապացույց է, որ ճանաչողական համակարգերի տարբերությունները ներկայիս մարմնավորված ԱԻ-ի (ֆիզիկական համակարգերի արհեստական ​​բանականության) և 22-րդ դարի ռոբոտների միջև կլինեն մասշտաբային և ոչ մի տեսակ: 2012 թվականից ի վեր ImageNet մրցույթի * միջոցով խորը ուսումնառության ուսումնասիրությունը բարգավաճում էր, ոչ այնքան նյարդային ցանցի կողմից կատարված բաշխված հաշվարկի բնույթը փոփոխելու համար, այլ ցանցեր կառուցելու նոր եղանակներ գտնելով, որպեսզի նրանք սովորեն հատուկ խնդիր: Քանի որ նյարդային ցանցի գործառույթը կառուցվածքն է, այս կառուցվածքը կոդավորված չէ (ձեռքով չի նախագծված), բայց դա ատոմային հաշվարկային միավորների արդյունք է, որոնք սկզբում կապված են մուտքերի և ելքերի միջև, որոնք ի վիճակի են փոփոխել իրենց կառուցվածքը և կապերը: Isանցի ընդհանուր կառուցվածքը փոփոխելով այն սովորում է հատուկ գործառույթ:

Այս հոդվածում նրանք ստեղծեցին ընդհանուր շրջանակ, որը կարող էր պատրաստել գործակալին `խնդիրները վերացական ձևով ներկայացնելու խնդիրները և սովորելու փոխանցել այս գիտելիքները նոր չտեսնված առաջադրանքների (փոխանցման ուսուցում) վեպի առաջադրանքի միայն մեկ ցուցադրումից հետո (մեկ կրակոց իմիտացիոն ուսուցում):

Առաջադրանքները

Չնայած ճարտարապետական ​​ճշգրիտ իրականացումը տարբերվում է, նրանք երկու խնդիր են վերցնում որպես օրինակ ՝ ընդհանուր մոտեցման կատարողականը ցույց տալու համար:

Մասնիկների հասնելը

Առաջին օրինակում համակարգը ստանում է գունավոր թիրախային դիրքի մուտքեր ինքնաթիռում և սիմուլյացիոն գործակալի մեկ վիդեո ցուցադրում, որը գնում է նշված նպատակակետին:

Գծապատկեր 2. Ռոբոտը կետային զանգված է, որը վերահսկվում է երկչափ ուժով: Առաջադրանքների ընտանիքը նպատակային նշան հասնելն է: Նշանի ինքնությունը տարբերվում է առաջադրանքից մյուսը, և մոդելը պետք է պարզի, թե որ նպատակն է հետապնդում ցույցի հիման վրա: ռոբոտի (ձախ) նկարազարդում; (միջին) խնդիրն է հասնել նարնջագույն արկղին, (ճիշտ) խնդիրն է հասնել կանաչ եռանկյունու:

Դասընթացների ընթացքում համակարգը պետք է վերարտադրի նույն առաջադրանքը (հասնել նարնջագույն), բայց մեկ այլ կազմաձևից ՝ ռոբոտի և թիրախների համար տարբեր ելակետային դիրքերով: Պարզ չէ ՝ փորձարկման ընթացքում գործակալը փորձարկվում է այն գործով, որին նա պատրաստել էր (հասնել նարնջագույնի), թե այն առաջադրանքի մասին, որը նա նախկինում չէր տեսել (օրինակ `հասնել կանաչի) կամ երկուսին:

Վերապատրաստված քաղաքականությունը գնահատվում է նոր սցենարների հիման վրա և պայմանավորված է դասընթացների ընթացքում չտեսնված նոր ցուցադրական հետքերով:

Վստահ է, որ գործակալը պետք է եզրակացության թիրախը շարադրի եզակի ցուցադրումից և նորից սկսի մեկ այլ կազմաձևից: Սա ենթադրում է, որ շարժիչի ճշգրիտ հաջորդականությունը չէր կարող սովորել նախքան փորձարկումը և պետք է եզրակացություն տրվի առաջադրանքների և շարժիչային պլանավորման աբստրակցիայի (ավելի բարձր մակարդակի կառուցվածքային ներկայացուցչության) միջոցով:

Արգելափակել stacking

Երկրորդ օրինակում գործակալը պետք է սովորի կուբեր դնել (տարբեր գույներով նույնականացված) նույն կարգով, ինչպես ցույց է տրված մեկ սիմուլյացված ցուցադրման մեջ: Այս մոդելավորվող ցուցադրումը 3D ֆիզիկայի շարժիչի կողմից ստեղծված 2D պատկերների շարք է, որում մոդելավորվում են ռոբոտների շարժիչային և զգայական ապարատի հատկությունները:

Միանգամյա քաղաքականություն: Մի շարք քաղաքականություն, որը վերապատրաստվել է բազմաթիվ խնդիրների լուծման համար: Հիմնական խնդիր. {Abc, def}, Ներքև առաջադրանք. {Ab, cd, ef

Երկու օրինակներում խորանարդի նախնական դիրքերը ցուցադրման մեջ և իրական քննության մեջ տարբեր են, յուրաքանչյուր խնդիր սկսվում է մեկ այլ նախնական դիրքից: Ռոբոտը չի փորձում փոխարինել խորանարդներին `ցույցի սկզբնական դիրքին համապատասխանելու համար, այն փոխանցում է խորանարդը կուտակելու ավելի բարձր մակարդակի առաջադրանք` անկախ նրանից, թե ինչ վիճակում է գտնվում:

Դասընթաց ՝ օգտագործելով տիրույթի պատահականացում

Երկու դեպքում էլ մարզման ընթացքում օգտագործված բոլոր պատկերները ստացվում են սիմուլյացիայի միջոցով `օգտագործելով տիրույթի պատահականացում, որում նրանք կանդրադառնան նմուշների հետևյալ ասպեկտներին.

Սեղանի վրա շեղող օբյեկտների քանակը և ձևը Սեղանի վրա գտնվող բոլոր առարկաների դիրքը և հյուսվածքը Սեղանի, հատակի, երկնաքարի և ռոբոտի հյուսվածքները Դիրախցիկի դիրքը, կողմնորոշումը և տեսադաշտը Տեսախցիկի տեսախցիկների լույսերի քանակը Դեպքի վայրում Լույսերի քանակը դեպքի վայրում և լույսերի սպեկուլյատիվ բնութագրերը նկարներին ավելացված է պատահական աղմուկի տեսակը և քանակը

Դասընթացներ մասնիկների հասնելու համար

Մենք համարում ենք ավելի բարդ խնդիր առաջադրանքների ընտանիքների, որտեղ նշանների քանակը մեծանում է 2-ից 10-ի: Յուրաքանչյուր առաջադրանք ընտանիքի համար մենք հավաքում ենք մարզման համար 10000 հետագիծ, որտեղ պատահականորեն դիտարկվում են ուղենիշների դիրքերը և կետային ռոբոտի մեկնարկային դիրքը: Մենք օգտագործում ենք կոդավորված փորձագիտական ​​քաղաքականություն ՝ ցույցեր արդյունավետ իրականացնելու համար: Մենք ավելացնում ենք հետագիծ աղմուկը `աղավաղելով հաշվարկված գործողությունները նախքան շրջակա միջավայրը դրանք կիրառելը, և մենք օգտագործում ենք պարզ վարքային կլոնավորում նյարդային ցանցի քաղաքականությունը վարելու համար

Վերապատրաստման հավաքածու `բլոկների տեղադրման համար

Մասնավորապես, մենք հավաքում ենք 140 ուսումնական առաջադրանք և 43 թեստային առաջադրանք ՝ յուրաքանչյուրը բլոկների տարբեր ցանկալի դասավորությամբ: Յուրաքանչյուր առաջադրանքի համար բլոկների քանակը կարող է տարբեր լինել 2-ից 10-ի սահմաններում: Մենք հավաքում ենք յուրաքանչյուր հետագծի 1000 հետագիծ դասընթացների համար և պահպանում ենք հետագծերի և նախնական կազմաձևերի առանձին շարք, որոնք կօգտագործվեն գնահատման համար: Մասնիկների հասնելու առաջադրանքի նման, մենք աղմուկ ենք ներարկում ուղու հավաքման գործընթացում: Հետագծերը հավաքվում են կոշտ կոդավորված քաղաքականության միջոցով:

Հաջող ցույցերը հավաքվում են կոշտ կոդավորված քաղաքականության միջոցով

Ուշադրություն դարձրեք, որ ճիշտ հետքերը սովորելիս ստեղծվում են ընթացակարգային «կոդավորված» քաղաքականություն, որը, կարծում եմ, հենվում է համակարգի նույնականացման և վերահսկման դասական տեխնիկայի վրա: Այսպիսով, վերապատրաստման և փորձարկման ընթացքում գործակալը ունի երկու մուտք ՝ ա) ցուցադրում A կազմաձևում, և բ) մեկնարկային կազմաձևում Բ. Միայն դասընթացների ընթացքում ուսումնառության ալգորիթմը նաև հասանելի է իդեալական պատասխանին. Հետագիծ `սկսած կազմաձևից B, որը պատասխանում է այն խնդրին և որի հետ գործարքի պատասխանը համեմատվելու է սովորելու ընթացքում `այն դարձնելով վերահսկվող ուսուցման խնդիր:

Յուրաքանչյուր ուսումնական առաջադրանքի համար մենք ենթադրում ենք հաջող ցուցադրական հավաքածուների առկայություն:

Եթե ​​պարզ չէ, ես կանցնեմ հաջորդ բաժնում սովորելու տարբեր տեսակի պարադիգմների տարբերությունների տարբերությունները:

Օպտիմիզացման ալգորիթմ և կորուստների գործառույթ

Վերապատրաստված ուսումը վերաբերում է դասընթացների պարադիգմներին, որոնցում յուրաքանչյուր որոշում կայացնում է ցանցը ճիշտ ընտրության մեջ, որը նա պետք է կատարեր և, հետևաբար, սխալի հասկացություն: Օրինակ ՝ շների և կատուների միջև դասակարգված առաջադրանքի դեպքում մարզման ընթացքում շների և կատուների պատկերների պիտակը հայտնի է նախապես, և սխալներն անմիջապես հայտնաբերվում են: Այդ իմաստով այն տարբերվում է չստուգված ուսուցումից, որտեղ, ընդհանուր առմամբ, գործակալին խնդրվում է գտնել ստացված մուտքագրումներում նախկինում անհայտ կառույց, և առանց կատուների և շների պիտակների պետք է հայտնաբերել, որ գոյություն ունի տարբեր առարկաների երկու կլաստեր, որոնք հիմնված են միայն տվյալներում պարունակվող տեղեկատվությունը: Այն նաև տարբերվում է Ամրապնդումից Իմանալով, որ հաճախ նրանք դիմում են իրական ժամանակի համակարգին, որի նպատակի ճշգրիտ հաջորդականությունը անհայտ է, բայց միայն վերջնական «պարգևատրումը» կորոշի ՝ հաջորդականությունը ճիշտ է, թե ոչ: Օգտագործելով իմիտացիոն ուսուցում ՝ նրանք վերափոխման դասական խնդիրը վերածում են վերահսկվող ուսուցման խնդրի, որի դեպքում սխալը հաշվարկվում է դիտակետային հետագծից հեռավորության վրա:

Քանի որ գործը վերահսկվում է վերապատրաստման ցանկացած կարգի համար, գործի դրված խնդիրն ամբողջությամբ սահմանվում է կորստի գործառույթով, որը նպատակ ունի պարզել, թե գործակալը որքանով է եղել նախատեսված պահվածքից: Այս գործառույթի սահմանումը հաճախ կարևոր քայլ է, քանի որ այն որոշում է, թե ինչպես օպտիմիզացման ալգորիթմները թարմացնում են մոդելի պարամետրերը: Այս ալգորիթմները կարևոր նշանակություն ունեն հաշվարկային ժամանակի առումով, և հաճախ անհրաժեշտ է որոշակի խճճվել, որպեսզի հնարավոր լինի համընկնել, եթե ընդհանրապես լինի: Իսկապես, այն լուծումները, որոնք կնվազեցնեն գործառույթը շատ բարձր հարթության մեջ, տեղակայված են պարամետրերի տարածության շատ փոքր մասում, դրանց միջև փոքր մուրճային հեռավորությամբ, հենց որ այդ փոքր տիրույթից հեռանալուն պես, լուծումների միջև հեռավորությունը արագորեն աճում է: Այս թեմայի շուրջ շատ հետաքրքիր աշխատանք կա, որը արվել է ուրիշների կողմից շատ զարմանալի ennենիֆեր Չեյզերի կողմից, նա թեմատիկ քննարկում է նյութը շատ հետաքրքիր հարցազրույցում ՝ Talking Machines- ի վերջին դրվագում:

Քաղաքականության ցանցերի (ամբողջ ցանցը, որը կարող է որոշել, թե որ գործողությունն է) վերապատրաստման ընթացքում նրանք առաջին հերթին մշակում են ցուցադրական հաջող հետագիծը: Այս մասի համար նրանք կկազմեն երկու մոտեցում ՝ դասական վարքագծի կլոնավորումը (ոչ միանշանակ վստահ չեն իրենց գործածած իրականացման համար) և DAGGER ալգորիթմները: Այնուհետև դա թույլ կտա կորուստի գործառույթի կրկնակի նվազագույնին հասցնել ինչպես l2- ով, այնպես էլ խաչմերագնացության կորստի միջոցով ՝ ելնելով այն բանից, թե գործողությունները շարունակական են կամ դիսկրետ (ելնելով հաջորդականության մեջ իրադարձությունների բաշխումից): Բոլոր փորձերի արդյունքում նրանք օգտագործում էին Adamax ալգորիթմը `օպտիմիզացումը կատարելու համար` 0,001 ուսման արագությամբ:

Քայլի չափը սկսվում է փոքրից և քայքայվում է ցուցադրաբար:

Ալգորիթմն ինքնին չի թույլատրում փոխանցում, դա այն է, թե ինչպես եք կառուցում ձեր ուսումնական հավաքածուն և ձեր կորստի գործառույթը, որը թույլ կտա փոխանցում կատարել:

Առաջադրանքներում փոխանցման երկու տեսակ կա: Առաջին տեսակը կոչվում է «իրականության բացը կամրջելը», այն սովորեցում է ընդհանրացում այն ​​ուսուցման մեջ, որը հնարավորություն է տալիս անցնել մոդելավորված մուտքերի դասընթացների միջև `բնական խթանների փորձարկումների: Սիմուլյացիայի տվյալները հաճախ իրական աշխարհի աղքատ մոտարկում են, չափազանց կատարյալ, չունեն իրական օբյեկտի բարդության մեջ: Իրական աշխարհում տեսախցիկը կարող է լինել անսարք և աղմկոտ, շարժիչի հսկողությունը կլինի ավելի ճշգրիտ, գույները կփոխվեն, հյուսվածքները ավելի հարուստ կլինեն և այլն: Այս առաջին տեղափոխումը թույլ տալու համար նրանք օգտագործում են մի մեթոդ, որին նրանք անվանում են «տիրույթի պատահականություն»: . դա մուտքներին աղմուկ բարձրացնելու միջոցով է, որ ցանցը կարող է սովորել ընդհանուր համապատասխան կառուցվածքը, որը թույլ կտա համապատասխան կերպով ընդհանրացնել իրական աշխարհը: Դրանք, օրինակ, փոխելու են տեսախցիկի տեսանկյունը դասընթացների օրինակների միջև, փոխել հյուսվածքները կամ հետագծերը կդարձնեն ավելի քիչ կատարյալ: Մարզումների ընթացքում աղմուկ ավելացնելով ՝ մենք ավելացնում ենք կայունություն:

Երկրորդ փոխանցումն այստեղ փորձարկված է `կազմաձևման և նպատակի նախկինում չտեսնված փաթեթի մեջ համապատասխան շարժիչային հաջորդականություն ստեղծելու ունակություն, որը հիմնված է մեկ այլ ցուցադրման վրա, որը սկսվում է մեկ այլ նախնական կազմաձևից, բայց նույն վերջնական նպատակով: Կրկին այստեղ հնարավոր կլինի փոխանցում իրականացնել այն բանի միջոցով, թե ինչպես ենք մենք պատրաստում դասընթացների հավաքածուն և ձևավորում կորուստների գործառույթը: Դասընթացների ընթացքում ցույցեր ներկայացնելով, որոնք չեն սկսվում նույն նախնական պայմանից, որպեսզի հասնեն նմանատիպ նպատակին, դուք թույլ եք տալիս ցանցին սովորել տեղադրել նպատակի ավելի բարձր մակարդակի ներկայացում ՝ առանց բացարձակ դիրքեր օգտագործելու, ինչպես նաև բարձրակարգ կարգի ներկայացման: շարժիչային հաջորդականությունը, որը պարզ իմիտացիա չէ: Միամիտ նախնական ճարտարապետությունը հնարավորություն է տալիս դասընթացներին համապատասխան ձևափոխել կառուցվածքը, և այս պատրաստված կառույցը ենթադրում է վերջնական գործառույթ:

Նպատակներ

Բլոկը դասավորելու պարադիգմի համար նրանք ունեին մի քանի սահմանափակումներ, որով նրանք ցանկանում էին հանդիպել իրենց ուսումնական գործակալին:

Այն պետք է լինի հեշտությամբ կիրառվել աշխատանքային ատյաններում, որոնք ունեն տարբեր քանակությամբ բլոկ:
Դա, բնականաբար, պետք է ընդհանրացնի նույն առաջադրանքի տարբեր permutations: Օրինակ, քաղաքականությունը պետք է լավ կատարի առաջադրանքը `dcba}, նույնիսկ եթե այն միայն վերապատրաստված է on abcd task:
Այն պետք է տեղավորի փոփոխական երկարությունների ցուցադրություններ:

Նրանք ունեին մի քանի հարցեր, որոնց ցանկացել էին պատասխանել այս առաջադրանքի համար:

Ինչպե՞ս վարվելակերպի վարման կլոնավորման հետ դասընթացները համեմատվում են ՎՏԱՆԳԻ հետ, հաշվի առնելով, որ բավարար տվյալներ կարելի է հավաքել անցանց:
Ինչպե՞ս է ամբողջ ցուցադրման վրա պայմանավորումը համեմատվում վերջնական ցանկալի կազմաձևման հետ պայմանավորելու հետ, նույնիսկ այն դեպքում, երբ վերջնական կազմաձևը ունի բավարար տեղեկատվություն `առաջադրանքը ամբողջությամբ նշելու համար:
Ինչպե՞ս է ամբողջ ցուցադրության պայմանավորումը համեմատվում այն ​​հետագծի «լուսանկարի» հետ, որը կազմում է առավելագույն տեղեկատվական շրջանակների փոքր ենթաբաժինը:
Կարո՞ղ է մեր շրջանակը հաջողությամբ ընդհանրացնել այն առաջադրանքների այն տեսակները, որոնք նա երբևէ չի տեսել մարզման ընթացքում: (++)
Որո՞նք են մեթոդի ներկայիս սահմանափակումները:

Արտարապետություն

Մասնիկների հասնում

Այս առաջին օրինակի համար նրանք համեմատեցին երեք ճարտարապետություն, որոնք բոլորը հիմնված են Long Short Term Memory (LSTM) նյարդային ցանցերի վրա: Այդ ցանցի նկարագրությունը կներկայացվի հետագա գրառում հիշողության և ուշադրության վերաբերյալ, որոնք բացարձակապես հետաքրքրաշարժ առարկաներ են ինչպես ճանաչողական, այնպես էլ հաշվարկային գիտություններում: Ըստ էության, LSTM- ն ապահովում է ցանցի նախորդ ելքերը (ժամանակին), որպես ցանցի մուտքագրում յուրաքանչյուր նոր ժամանակային կետում, ինչը թույլ է տալիս անցյալ պետությունների մասին տեղեկատվություն հաղորդել ներկաներին (հետևաբար ՝ կարճաժամկետ հիշողության ցանցերի անվանումով): Դրանք գտնվում են ժամանակակից նորագույն տեխնոլոգիաների հիմքում, որոնք զբաղվում են ժամանակային շարքերով (Alexa, Siri և այլն):

Այստեղ նրանք օգտագործում են այդ երեք հատուկ պայմանները.

  1. Plain LSTM. Սովորում է ներկառուցել հետագիծն ու ներկայիս վիճակը `այն կերակրելու համար բազմաշերտ ընկալիչով, որը կարտադրի շարժիչային գործողությունը
  2. LSTM ուշադրությամբ. Արտադրեք կշռված ներկայացում հետագծի գծանշանների նկատմամբ
  3. Ուշադրություն. Վերջնական վիճակ. Ուշադրության կենտրոնում օգտագործեք միայն վերջնական վիճակը, որպեսզի նշանակեք կշիռը հուշարձանների վրա, ինչպես նախորդ ճարտարապետությունը:

Արգելափակել stacking

Թեև, սկզբունքորեն, ընդհանուր նյարդային ցանցը կարող էր սովորել քարտեզագրումը ցուցադրումից և ընթացիկ դիտումից մինչև համապատասխան գործողություն, մենք կարևոր համարեցինք, որ օգտագործենք համապատասխան ճարտարապետություն: Բլոկի դասավորումը սովորելու մեր ճարտարապետությունը սույն հոդվածի հիմնական ներդրումներից մեկն է, և մենք հավատում ենք, որ այն ներկայացնում է, թե ապագայում ինչպիսի տեսք կարող են ունենալ ավելի բարդ առաջադրանքների միանգամյա իմիտացիա սովորելու համար:

Ուշադրության մոդուլներ

Հոդվածում մնում է համեմատաբար բարձր մակարդակ `ցանցի կառուցվածքը նկարագրելու համար, որն օգտագործվում է առաջադրանքը սովորելու համար: Արտարապետության հիմնական բաղադրիչը նրանց ուշադրության մոդուլն է, բայց ես կարծում եմ, որ այս թեմային հարկավոր է հատուկ գրառում, որը մանրամասն նկարագրում է իր հիմնական դերը: Անընդհատ ուշադրության ճանաչողական գիտության հայեցակարգին համեմատությամբ, ուշադրության մոդուլները օգտագործվում են տարածության և ժամանակի տարբեր տևողություններում պարունակվող համապատասխան տեղեկությունները պահելու և կենտրոնանալու համար: Այն արտադրում է հաստատուն չափի ելք, որը պարունակում է տեղեկատվական բովանդակության ներդնում, որը ձգվում էր ժամանակի և տարածության մեջ: Ըստ տոպոլոգիայի, մաթեմատիկական այնպիսի ճյուղի, որը, կարծում եմ, մեծապես կտեղեկացնի, թե ինչպես ենք մենք ապագայում հասկանում բաշխված ներկայացուցչությունները, ուշադրության ցանցը կատարում է տեղեկատվության տեղանքի, նույն կորի, տարբեր ձևի տեղաբանական isomorphism: Նկատի ունեցեք, որ այս ցանցը չի հանդիսանում բարեխղճության դետեկտորի դեր, որը կարող է կենտրոնանալ անսպասելի կամ հազվագյուտ իրադարձությունների վրա, ինչը գործառույթ է, որը կապված է նյարդագիտության մեջ ուշադրության հասկացության հետ:

Այստեղ նրանք օգտագործում են երկու տեսակի ուշադրության ցանց. Ա) ժամանակավոր ուշադրության ցանց, որը արտադրում է կշռված գումարով հիշողության մեջ պահվող բովանդակության (հարցում, համատեքստ և հիշողության վեկտորներ), և բ) հարևանության ուշադրության ցանց, որն ի վիճակի է վերականգնել տեղեկատվությունը `կապված բլոկի հետ: դիրքերը կախված գործակալի ներկայիս հարցումից:

Ժամանակավոր ուշադրության ցանց, c- ով ՝ համատեքստի վեկտոր, m: հիշողության վեկտոր, q: հարցման վեկտոր, v: սովորված վեկտորի քաշը: Արդյունքը նույն չափի է, ինչ հիշողության վեկտորը: Դա այդ վեկտորի գծային համադրություն է, որը հնարավորություն է տալիս որոշ վեկտորի հիշողությունների վեկտորին ավելի մեծ ազդեցություն թողնել ելքի վրա ՝ ելնելով համատեքստից և հարցման վեկտորներից:Նույն գաղափարն այստեղ ՝ տարածական տեղեկատվության միջև մրցակցությունը դինամիկ կերպով պահվում է ուշադրության համակարգի կողմից:

Քաղաքականության ցանց

Ամբողջ ցանցը բաղկացած է երեք տարբեր ենթաօրենսդրական ցանցերից `ցուցադրական ցանց, համատեքստային ցանց և մանիպուլյացիայի ցանց:

Demonstrուցադրման ցանցը որպես ներածություն ցուցադրում է հետագծի հետագիծ և ստեղծում է այն ցուցադրության ներկառուցումը, որը պետք է օգտագործվի քաղաքականության կողմից: Այս ներկառուցվածքի չափը գծային կերպով աճում է ՝ որպես ցուցադրման երկարության, ինչպես նաև շրջակա միջավայրի բլոկների քանակի գործառույթ:

Ինչպես ցույց է տրված այստեղ, ցուցադրական ցանցը ի վիճակի է տարբեր բարդությունների և չափերի ցուցադրում ներդնել ընդհանուր ձևաչափի, որը կօգտագործվի համատեքստային ցանցի կողմից առաջադրանքը ներկայացնելու համար: Հավանաբար, արդեն այս մակարդակում է, որ ընդհանրացում է տեղի ունենում, ցուցադրական ներկառուցումը պետք է տեղեկատվություն թողնի ցույցերի ընթացքում դիտարկված ճշգրիտ հետագծի և խորանարդի բացարձակ դիրքերի մասին:

Նայելով համատեքստային ցանցի կառուցվածքին, չնայած շատ բարձր մակարդակից, մենք տեսնում ենք, որ ցուցադրական ցանցի հետ ինտերֆեյսը ցույց է տալիս, որ ցույցը ներկառուցվում է կենտրոնական ժամանակային ուշադրության մոդուլներին: Մենք նաև տեսնում ենք, որ նախորդ գործողությունները (LSTM) և ներկայիս վիճակը սնվում են որպես ցուցադրական ներկառուցված զուգակցված մուտքագրում ՝ շարժիչային ցանց ուղարկված գլոբալ համատեքստի ներդրման համար:

Descriptionանցերի գործառույթի նրանց նկարագրությունը, իմ կարծիքով, թղթի ամենակարևոր մասն է.

Համատեքստային ցանցը սկսվում է հարցման վեկտորը հաշվարկելով որպես ներկայիս պետության գործառույթ, որն այնուհետև օգտագործվում է ցուցադրման ներկառուցման տարբեր ժամանակային քայլերին մասնակցելու համար: Միևնույն ժամանակահատվածում տարբեր բլոկների նկատմամբ ուշադրության կշիռներն ամփոփվում են միասին ՝ յուրաքանչյուր քայլի համար մեկ քաշի արտադրություն: Այս ժամանակավոր ուշադրության արդյունքը վեկտոր է, որի չափը համամասն է շրջակա միջավայրի բլոկների քանակին: Այնուհետև մենք կիրառում ենք հարևանության ուշադրությունը ՝ տարածելու տեղեկատվությունը յուրաքանչյուր բլոկի ներդրման համար: Այս գործընթացը կրկնվում է բազմակի անգամ, երբ պետությունը առաջադեմ է `օգտագործելով LSTM բջիջ` չհաշված կշիռներով:
Գործառնությունների նախորդ հաջորդ հաջորդականությունը արտադրում է ներդիր, որի չափը անկախ է ցուցադրման երկարությունից, բայց դեռ կախված է բլոկների քանակից: Այնուհետև մենք կիրառում ենք ստանդարտ փափուկ ուշադրություն ՝ ֆիքսված ծավալային վեկտորներ արտադրելու համար, որտեղ հիշողության պարունակությունը բաղկացած է միայն յուրաքանչյուր բլոկի դիրքերից, որոնք ռոբոտի վիճակի հետ միասին կազմում են մուտքի մուտքը մանիպուլյացիայի ցանց:
Ինտուիտիվորեն, չնայած շրջակա միջավայրի օբյեկտների քանակը կարող է տարբեր լինել, մանիպուլյացիայի գործողությունների յուրաքանչյուր փուլում համապատասխան օբյեկտների քանակը փոքր է և սովորաբար ամրագրված է: Հատկապես բլոկի բեկորային միջավայրի համար ռոբոտը պետք է միայն ուշադրություն դարձնի այն բլոկի դիրքին, որը նա փորձում է վերցնել (աղբյուրի բլոկ), ինչպես նաև այն բլոկի դիրքը, որը նա փորձում է տեղադրել վերևում ( նպատակային բլոկ): Հետևաբար, պատշաճ պատրաստված ցանցը կարող է սովորել ներկայիս վիճակին համապատասխանել ցուցադրման համապատասխան փուլի հետ և եզրակացնել, թե ինչպես են փափուկ ուշադրության կշիռները արտահայտված աղբյուրի և թիրախային բլոկների տարբերությունները տարբեր բլոկների նկատմամբ, որոնք այնուհետև օգտագործվում են համապատասխան դիրքերը հանելու համար: փոխանցվել մանիպուլյացիայի ցանցին:

Նրանց նկարագրությունն ավարտելու ձևը AI- ի հետազոտության ներկայիս շրջադարձի հիանալի օրինակ է ուսումնական համակարգի մոտեցման փորձագիտական ​​համակարգային մոտեցումից, և այն նաև ակնարկում է քննարկումների շուրջ, թե ինչպես է ուղեղը զարգացել ներքևում:

Չնայած մենք վերապատրաստման մեջ չենք կիրառում այս մեկնաբանությունը, մեր փորձի վերլուծությունը սատարում է այս մեկնաբանությանը այն մասին, թե ինչպես է սովորված քաղաքականությունը գործում ներքին:

Նրանք չգիտեն, թե ինչպես է այն աշխատում: Նրանք կառուցում են մի կառույց, որն ունակ է կատարել որոշակի հաշվարկներ և պահելու որոշակի տեղեկություններ, որոնք մենք կարծում ենք, որ նախապես օգտակար են, և այն կերակրում են ուսումնական հավաքածու `հուսալով, որ ամբողջ կառույցը կսովորի: Վերելքի մեջ կա մի տեսակ «Արհեստական ​​ինտելեկտ» հետազոտական ​​վուդու, որը արվեստ է, ուրուրիստական ​​որոնումը ճիշտ ուղղությամբ ուղղելու միջոց: Եվ, կարծես, այդ հրաշագործներից շատերը այժմ աշխատում են OpenAI- ի համար:

Իրենց խոսքերով, մանիպուլյացիայի ցանցը ամենապարզ կառույցն է ՝ սկսած բազմաշերտ ընկալման միջոցով սնուցվող համատեքստից, արտադրվում է շարժիչային գործողություն:

Արդյունքներ

Արդյունքները հաճախ մաս են կազմում, որի համար քիչ հետաքրքրություն եմ առաջացնում, հատկապես այդպիսի զարմանալիորեն փայլուն տեխնիկական փաստաթղթերի համար: Ես արագորեն կընթանամ, քանի որ այս մոտեցումը գործում է, այն իրականացնում է ճշգրիտ կոդավորված փորձագիտական ​​քաղաքականության նման ճշգրտությամբ և, հակառակ այդ հատուկ ընթացակարգային մոտեցմանը, ընդհանրացվում է խնդիրների մեծ զանգվածի համար:

Մասնիկների հասնում

Արգելափակում

Այս փորձարկումներում նրանք նաև փորձարկել են տարբեր պայմաններ: Օգտագործելով DAGGER- ը ՝ նրանք համեմատեցին երեք տարբեր մուտքերի պայմաններ `իջեցնելով ցուցադրված հետագիծը` լրիվ հետագիծ, հետագծի նախադրյալ, կամ միայն վերջնական վիճակի օգտագործմամբ: Նրանք նաև համեմատեցին վարքի կլոնավորման ալգորիթմը ցուցադրության ամբողջ հետագծի հետ:

Խորանարդ ինքնության նկատմամբ ընդհանրացման համակարգի ունակության ուժեղ ապացույց

Քննարկում

Կարդալով անցած ամիսների ընթացքում OpenAI- ի կողմից արված արագ տեմպերով առաջխաղացումները, ես զգում եմ աճող հորդոր `խոսելու նրանց աշխատանքի մասին և կիսելու մտքերս այն բանի վերաբերյալ, թե ինչին եմ հավատում իրենց աշխատանքը և ԱԻ բնագավառի ոլորտի առաջընթացները, որպես ամբողջություն, տեղեկացնել մեր պատկերացումներին կենսաբանական ուղեղները գործում են: Մասնավորապես այս աճող գաղափարը, որ թվացյալ ընդհանուր ճանաչողական գործառույթները մարդու միջև այնքանով չեն պայմանավորված այն համատեղ կառուցվածքով, որը բնածինորեն գիտի, թե ինչպես կատարել առաջադրանք, բայց փոխարենը համեմատաբար նման միամիտ կառույցների արդյունք է, որոնք, բախվելով նույն միջավայրին, սովորեք կատարել նմանատիպ առաջադրանքներ: Գործառույթը `որպես ֆունկցիոնալ կառույցի արդյունք է, որը կարող է միայն սովորել հատուկ խնդիր` որոշակի միջավայրի փոխարեն, այլ ոչ թե մի կառույցի միջոցով, որն ի վիճակի է կատարել գործը բնականաբար, պարզապես կսմթելով մի քանի պարամետր `միջավայրին հարմարվելու համար:

Առաջադրանքներ ընդդեմ կազմաձևերի. Թվացյալ կամայական սահմանում

Պետք է խոստովանեմ, որ չեմ հասկանում, թե ինչու են նրանք ընտրել իրենց առջև դրված տարբեր հանձնարարությունների մասին: Առաջարկը սահմանվում է բլոկի դասավորության փորձարկումում որպես մի շարք տողեր, որոնք ներկայացնում են բլոկների դիրքը միմյանց հետ համեմատաբար, հավաքածուի տարրերի քանակը սահմանում է փնջերի քանակը և նիշերի քանակը բլոկի քանակը, որը պետք է կազմակերպել . Այդ դեպքում խնդիր է դրվագների մեջ բլոկների դասավորությունը ՝ անկախ կեռիկի բացարձակ դիրքից:

Որոշ բլոկներ կարող են լինել սեղանի վրա, բայց ոչ առաջադրանքի մաս

Համեմատական ​​դիրքի և պատյանների քանակը որպես առանձին առաջադրանքի չափանիշ սահմանելու նրանց ընտրությունը կամայական է թվում: Իրոք, իմաստ կարող էր նաև խոսել տարբեր խնդիրների մասին ՝ հիմնվելով բլոկների բացարձակ սկզբնական դիրքի վրա (այն, ինչին նրանք անվանում են կազմաձևման): Ես կարծում եմ, որ խնդրի ընդհանուր բնույթը նրանց համար ակնհայտ է, բայց պարզության նպատակով նրանք գերադասում են չմտնել մանրամասների մեջ: Ավելի իմաստ ունի քաղաքականության ուսումը դասակարգել որպես ընդհանրացումների երկու տեսակ ՝ հետագայում նրանց կատարած ձևով.

Նկատի ունեցեք, որ ընդհանրացումը գնահատվում է բազմաթիվ մակարդակներում. Սովորած քաղաքականությունը ոչ միայն պետք է ընդհանրացվի նոր կազմաձևերի և արդեն իսկ տեսած առաջադրանքների նոր ցուցադրումների, այլև պետք է ընդհանրացնել նոր առաջադրանքների:

Պարզապես «առաջադրանքները» փոխարինեք «ստանդարտ պատվերով»: Առաջադրանքը ճիշտ սովորելու համար նշանակում է, որ գործակալը սովորում է ներկառուցվածքը, որը կարող է վերացնել խորանարդի դիրքը (կազմաձևումը), այլև դրանց ինքնությունը (առաջադրանքը), դռների քանակը (առաջադրանքը) և ցուցադրման հետագիծը (ներկայացվել է համառոտ մեջբերումը) համապատասխան շարժիչային պատասխան տալու համար:

Այդ ընդհանրացումները հակասական են թվում, ինչպե՞ս կարող է նույն ցանցը վերացնել խորանարդի նախնական կազմաձևը կամ դրանց ինքնությունը և միաժամանակ վերականգնել դրանց բացարձակ դիրքը շարժիչային պատասխանի համար:

Սա բացատրում է ուսուցման ընթացքում տարբեր համագործակցային ենթածրագրերի անհրաժեշտությունը, տարբեր մուտքագրումներ ստանալու անհրաժեշտությունը, և դա բացատրում է, որ համատեքստային ցանցում առաջադրանքի աբստրակտ ներկայացուցչությունը սնվում է ավելի ցածր կարգի տեղեկատվություն, ինչպես խորանարդի բացարձակ դիրքերը, նախքան վար իջնող հրամանը:

Կարող եք մտածել, որ մեկնաբանելով առաջադրանքների և կազմաձևերի այս տարբերությունը մեկնաբանելը հիմար է, բայց անհրաժեշտ է հասկանալ, որ դա ըստ էության նույն աբստրակցիայի գործընթացն է ՝ տարբեր առարկաների վրա խաղալու դեպքում (և սա բացվում է հետևյալ հատվածի համար):

Առանց անփոփոխության ուսուցում չկա

Տրանսֆերային ուսումը գուցե ճանաչման ամենահիասթափեցուցիչ հայեցակարգն է `լինի դա silic կամ in-vivo, դա շատ թեժ թեմա է ինչպես AI- ի հետազոտողների, այնպես էլ նյարդաբանագետների համար, և դա պատահում է, որ դա իմ դոկտորական թեզն է: Նկատի ունեցեք, որ սերտորեն կապված գաղափարները մեքենայական ուսուցումից առաջ ուսումնասիրվել են բազմաթիվ ոլորտներում, և այս վերացական և միշտ մասամբ սահմանված գաղափարը շատ անուններ ունի: Փիլիսոփաները, մարդաբանները և սոցիոլոգները կարող են դա անվանել որպես (հետընտրական) կառուցվածքայինություն (Կլոդ Լևի-Ստրոս, Միշել Ֆուկո), լեզվաբանը կխոսի Սինտագման և Բույնի ծառի կառուցվածքների (Նոամ Չոմսկի) մասին, մաթեմատիկոսները հավանաբար կմտածեն հոմեոմորֆիզմի կամ ինվարիանտների և կրթության մասին: հետազոտողները կամ նյարդաբանագետները կարող են դա անվանել որպես Կառուցվածքային ուսուցում: Կարող եք տեսնել նաև հարակից հայեցակարգ մեքենայական ուսուցման ոլորտում, ինչպիսիք են ներկայացուցչության ուսումը և մետա-ուսումը, որոնք կախված հեղինակի կողմից կարող են վերաբերել փոխանցման ուսմանը կամ ուսման պարադիգմին, որն օգտագործվում է փոխանցման ուսուցում իրականացնելու համար: Խորը նյարդային ցանցերի մասին խոսելիս այդ տարբերությունները քողարկված են, քանի որ ըստ էության նյարդային ցանցը սովորում է ներդնել որոշակի խնդիր (ներկայացուցչական ուսուցում) `փոփոխելով իր կառուցվածքը (մետա-ուսուցում) սովորաբար աղմկոտ միջավայրում, ինչը ենթադրում է փոխանցման ուսուցման ձև:

AI- ի հետազոտողները և ճանաչողական գիտնականը հաճախ փոխանցման ուսուցման շատ հստակ սահմանում են, այն գործընթացն է, որը համակարգը թույլ է տալիս օգտագործել որոշակի առաջադրանքով ձեռք բերված գիտելիքները `կատարելու մեկ այլ առաջադրանքի, որը կիսում է ընդհանուր կոմպոզիցիոն կառուցվածքը (ինչպես նկարագրված է հոդվածում): Cանաչողական գիտությունն ունի մոտ և հեռավոր փոխանցման այս գաղափարը ՝ կախված նրանից, թե երկու խնդիրներն ինչպես են տարբերվում: Բայց ավելի վերացական տեսանկյունից ՝ աղմկոտ և բարդ միջավայրում, ամբողջ ուսումնառությունը փոխանցման ուսուցման ձև է, և շատ մոտ և շատ հեռավոր փոխանցման միջև տարբերությունը միայն տարածված տեղեկատվության հարց է. Նորից մասշտաբի խնդիր է, որը բնույթ չունի:

Վերահսկվող միջավայրում նախևառաջ ջանքեր են գործադրվում իրականության կոդավորված դիսերտացիան կառուցելու համար, բայց, փաստորեն, այս հայեցողությունը վերարտադրվում է ընթացակարգայինորեն, թե ինչ է կատարում փոխանցման ուսուցումը, այն միավորում է իրականում գտնված անսահման մի շարք ընդհանուր կցորդիչ կառույցի ներքո: Ըստ էության, փոխանցման ուսուցումը վերաբերում է ուղղակիորեն կամ այն ​​գործընթացին ընդլայնելու միջոցով, որի միջոցով ուսումնական գործակալները օգտագործում են անշարժները `աշխարհի մոդելներ կառուցելու համար: Դա մի գործընթաց է, որն օգտագործում է նույնի նմանությունները, կրկնությունները և տատանումները ՝ ձևավորելու համար ավելի ու ավելի վերացական և կազմավորված ներկայացուցչություն, որը կկազմի անսամբլների համադրությունը տարբերակի տևողությամբ: Ընդհանուր իմաստով այն թույլ է տալիս ստեղծել այն հիմնական գործողությունները, որոնց միջոցով մենք շահարկում ենք տեղեկատվական խմբերը, ինչպես մաթեմատիկայում, դա թույլ է տալիս միավորել և խաչմերուկներ: Այն թույլ է տալիս ինքնություններ, դա բացատրում է օբյեկտները դասակարգելու մեր կարողությունը: Oshոշ Թենեմբաումը տալիս է մի օրինակ, որը իսկապես խոսեց ինձ հետ. Պատկերացրեք, որ դուք սովորեցնում եք երկու տարեկան երեխային առաջին անգամ ձի ճանաչել, նրան ցույց եք տալիս տարբեր ձիերի մի քանի պատկեր, իսկ հետո նրան ցույց եք տալիս մեկ այլ ձիու նկարը և տան նկարը և խնդրեք նրան ասել, թե որն է ձին: Երեխան այս գործը բավականին հեշտությամբ կկատարի, բայց համակարգիչը չի կարող լավ կատարել այդքան քիչ մուտքերի միջոցով (միանգամյա ուսուցում):

Ինչպե՞ս է դա արել երեխան:

Կենդանիների ճանաչումը երեխաների շրջանում ուսումնասիրվել է և առնչվում է օբյեկտների համապատասխան մասերի վերակառուցման մեր ունակությանը, մորթի գույնի միջակայքին, պարանոցի չափին, ընդհանուր ձևին և այլն: Այս ունակությունը նաև այն է, ինչը թույլ է տալիս ձեզ դուռ բացել: նախկինում երբեք չեք տեսել, դուք սովորել եք շարժիչային հաջորդականություն, որը ընդհանրացնում է ցանկացած իրավիճակի (տիրույթի ընդհանրացում): Այն նաև այն է, ինչ դուք օգտագործում եք աշխարհը պարզեցնող բացատրական մոդելներ կառուցելու համար, դուք կարող եք իսկապես զարմացնել հայտնի շվեյցարական ժամացույցում Կուկու հանկարծակիի բերումով, բայց երկրորդ տեսքից հետո դուք դա ակնկալում եք: Անփոփոխություն գտնելը այն է, թե ինչպես է սովորում նյարդային ցանցը և այդ մոդելները անգիտակցաբար են կառուցվում: Օրինակ է, թե ինչպես ենք մենք ինտուիտիվ սովորում ֆիզիկայի մասին, նույնիսկ նախքան մաթեմատիկայի և թվերի մասին լսելը:

Կարելի է օրինակ հարցնել, թե որքան արագ է միկրովերտության մեջ ծնված երեխան հարմարվել երկրի ծանրությանը և ինտուիտիվ սովորել, որ օբյեկտները գցելիս գետնին ընկնեն:

Կարող ենք ենթադրել, որ նորածիններն ու կենդանիները մեծ մասամբ անգիտակցաբար կվերանայեն իրենց մոդելը, ինչպես, օրինակ, երբ գուլպաներ դնեք շան թաթերի վրա, և որոշ ժամանակ է պահանջվում նոր տեղեկատվություններին հարմարվելու համար:

Բայց փոքր երեխայի համար տեղի է ունենալու իր ինտուիտիվ մոդելի գիտակցաբար հարցաքննություն և վերանայում ՝ հետաքրքրասիրությունից ՝ լեզվով, խորհրդանիշներով և հավատալիքներով: Մեր մոդելները գիտակցաբար հարցաքննելու և փոխելու մեր ունակությունը հետաքրքրաշարժ է, և որպես հենակետ, մարդիկ կարող են լինել միակ տեսակը, որը կարող է բանավորացնել գործընթացը, բայց այլ տեսակներ կարող են իրականացնել նման գիտակցական վերանայումներ:

Անընդհատությունը ժամանակի պարտադիր սեփականություն է, եթե ամեն ինչ միշտ լիներ նոր և ոչ մի կերպ կանխատեսելի, միևնույն է, կմնա այս եզակի անընդհատությունը, որ ամեն ինչ միշտ նոր է և անկանխատեսելի: Առանց անփոփոխության աշխարհ անհնար է պատկերացնել, քանի որ այնտեղ չէր կարող լինել մի աշխարհ, որի մասին կանդրադառնային, առանց անփոփոխության կյանքը անհնար կլիներ, և մեր ուղեղն անօգուտ: Կյանքը մի սարքավորում է, որն աշխատում է միայն իրադարձությունների կանխատեսելի կրկնությամբ, պատճառների և հետևանքների կրկնությամբ, օրգանիզմում էներգիայի ցիկլային վերաարտադրման միջոցով: Եվ Կյանքի որոնման մեջ `կատարելագործելու այդ անհրաժեշտ ցիկլերի օգտագործումը, մեր ուղեղը հանդիսանում է վերջնական գործիք: Դա կանխատեսման մեքենա է, հարմարվողական օրգան, որը կարող է դինամիկ կերպով գտնել կրկնությունը և օգտագործել այն աշխարհի հետ ավելի լավ շփվելու համար:

Կյանքն ընտրած այս մեթոդը չափազանց կայուն է կառուցվածքի աննշան փոփոխությունների համար: Ինչ մնում է նույնը, աշխարհն է, շրջակա միջավայրի վիճակագրական հատկությունները, բայց դրան հանդիպող նյարդային կառուցվածքը կարող է տարբեր լինել այնքան ժամանակ, քանի դեռ կարող է ներառել իր ստացված համապատասխան տեղեկատվությունը `բուժելու համար: Սա բացատրում է, թե ինչու մեր ուղեղը կարող է այդքան տարբեր լինել անհատականից մինչև անհատական, նույնիսկ առաջնային ծառի կեղևներ, և միևնույն ժամանակ կիսել նույն գործառույթները:

Նյարդային համակարգերը հարմարվողական են, նրանց պետք չէ էվոլյուցիա և դանդաղ գենետիկ մուտացիաներ `վարվելաձևը համապատասխան ձևերով փոխելու համար: Պարզ նյարդային համակարգը, ինչպիսին է C. Elegans- ում հայտնաբերված համակարգը, ծառայում է որպես բնածին ներքին համակարգող և արտաքին սենսոր. Սնունդը զգալով և դրանով շարժվելով, փախչել ցավից, վերարտադրել: Այս պարզ համակարգերը ի սկզբանե կոշտ էին և կատարում էին մեր խիստ աղմկոտ աշխարհի ծայրահեղ մոտարկումը, որպեսզի այն տարբերակեին հնարավոր հնարավոր վիճակների փոքր խմբում (ձախ կողմում սնունդ, տաքից ցածր և այլն): Մեր շարժիչային և զգայական ունակությունները զարգացան զուգահեռ մեր նյարդային համակարգի կանխատեսելի հնարավորություններով: Երբ մեր ցուցիչները ավելի ճշգրիտ դարձան, նյարդային համակարգը դանդաղորեն կարողացավ փոփոխել իր կառուցվածքը ՝ տեղեկատվություն պահելու և փորձառությունից սովորելու համար: Սկզբնապես այն կարողացավ սովորել ճանաչել ներմուծման որոշակի կատեգորիաներ, ինչպիսիք են հոտերի տեսակները կամ թեթև նախշերը, ինչպես նաև կարողացել են սովորել փորձության և սխալի միջոցով `վերահսկելու ավելի ու ավելի բարդ շարժիչային համակարգը: Նկատի ունեցեք, որ աշխարհն այնքան բարդ է, որ մեր ուղեղը, բնականաբար, զարգացավ դեպի ուսումնական պարադիգմ, այլ ոչ թե բնածին ընթացակարգային մոտեցում: Հաշվարկային առումով սա կատարյալ իմաստ է ստեղծում, որ Go- ի պարզ խաղն ունի տիեզերքի ատոմների քանակից շատ ավելի մեծ տարածություն (2.10¹⁷⁰), և քանի որ օրգանիզմները դառնում են ավելի բարդ ՝ փորձելով կոդավորել մոտավոր հնարավորությունները բոլոր հնարավոր հայտարարում է, որ այն կարող է արագորեն անհանդուրժելի դառնալ կոմբինատորային պայթյունի պատճառով:

Որոշ մարդիկ կարող են հավատալ, որ մեր ուղեղը կառուցված է այնպես, որ այն ներդաշնակորեն ներկայացնի այն տարածությունը, որով նա պատրաստվում է զարգանալ, որ ԴՆԹ-ում ինչ-որ տեղ կա գեն այն բանի համար, ինչը կազմում է դեմքը, կամ ձայնային ալիքների ժամանակավոր կազմակերպումը, որը կազմում է բառեր Նրանք գուցե հավատան, որ այս բնածին գիտելիքները կոդավորված են ինչ-որ տեղ ծննդից: Մյուսները կարող են հավատալ, ինչպես իմ փիլիսոփայության ուսուցիչը, երբ ես ավագ դպրոցում էի, այդ գոյությունը նախորդում է էությանը, և որ մեր ուղեղը ամբողջովին և բացառապես սահմանվում է օրգանիզմի և աշխարհի բախման միջոցով: Իրականությունն, իհարկե, ավելի բարդ է, և մինչ այժմ ուսումնասիրված հեռատեսային համակարգերի մեծ մասի համար ուղեղը բնօրինակը չի կոդավորում այն ​​գործառույթը, որը նա կկատարի, բայց կսովորի այն ՝ կախված իր ներդրումներում պարունակվող տեղեկություններից: Եթե ​​մուտքագրումը չափազանց վատ է համապատասխան տեղեկատվության մեջ, այդ կառույցում սովորելու կարողությունը կարող է ունենալ ժամկետի ավարտ (օր. ՝ Ամբլոպիա): Բայց եթե բնածին կառուցվածքը չի ծածկագրում վերջնական գործառույթը, ուղեղը ունի հատուկ կառուցվածք: Այս կառուցվածքը պահպանվում է անհատների մեջ, և նույն տեսակների անհատները կիսում են ընդհանուր գործառույթներն ու շարժիչները: ԴՆԹ-ն ստեղծում է որոշակի կառույց, կառույց, որը չի կարող ներսից կատարել իրենց վերջնական գործառույթը, բայց մի կառույց, որն ունակ է սովորելու առանձնահատուկ առաջադրանքների բարդությունը `հիմնվելով անհատական ​​փորձի վրա: Զարմանալի չէ, որ էվոլյուցիան հանգեցրեց խիստ արդյունավետ արյան-ուղեղային պատնեշի խթանման ուղեղի մարմնի մնացած մասի, ինչպես նաև meninges- ի և կոշտ ոսկրային կեղևի տարածման արտաքին աշխարհի, քանի որ ի տարբերություն այլ օրգանների, որոնցում կառուցվածքը կոդավորված է գենոմում, վերապատրաստված ուղեղի կառուցվածքը չի կարող վերածնվել բնածին պահված մոդելի: Հետաքրքիրն այն է, որ մենք տեսնում ենք ուսումնառության նույն մեխանիզմները, որոնք առաջանում են անալոգիայի միջոցով `ավելի բարդ բարդ խորքային ցանցերի զարգացման միջոցով, որոնք կատարում են ավելի բարդ խնդիրներ:

Կոմպոզիցիոն կառույցները դժվար է տեսնել, բայց ամենուրեք

Որպես զուգադիպություն տարօրինակ է, որ նույնիսկ հեղինակները չեն ընդունում, որ թիրախային հասնելու իրենց առաջին խնդիրն ունի կոմպոզիցիոն կառուցվածք:

Մասնիկները, որոնք հասնում են առաջադրանքների, գեղեցիկ կերպով պարզունակ սցենարով ցույց են տալիս ընդհանրացման մարտահրավերները: Այնուամենայնիվ, առաջադրանքները չեն կազմում կոմպոզիցիոն կառուցվածք, ինչը դժվարացնում է նոր խնդիրների առաջացման ընդհանրացումը:

Չնայած կառուցվածքը իսկապես ավելի ցածր մակարդակ է, քան բլոկի տեղադրումը, և փորձնական մանիպուլյացիաների համար մատչելի չէ, խնդիրն իսկապես բաղկացած է ընդհանուր կառուցվածքից: Մոտեցնելով աշխարհը ինքնաթիռի մեջ, մեկ կոմպոզիցիոն կառուցվածքն այն է, որ խորանարդի ինքնությունը (գույնը) պահպանվում է թարգմանությամբ, իսկ A- բլոկից `կամ պատահական մեկնարկային դիրքը` դիրքում (Xa1, Ya1), որպեսզի արգելափակվի B դիրքը (Xb1, Yb2 ) նույն ավելի բարձր կարգի կոմպոզիցիոն կառուցվածքի մի մասն է, քան A- ի դիրքի (Xa2, Ya2) բլոկից անցնելը `B դիրքում արգելափակելու համար (Xb2, Yb2):

Interանցերի միջերեսը

Նյարդային ցանցերի առկայությունը, որոնք կարող են բուժման տարբեր մակարդակների աբստրակցիաներ բուժել, անհրաժեշտ կլինեն ինտերֆեյսեր, դոմեյն, որը, կարծում եմ, բացահայտելու շատ բան է մնում: Այդ միջերեսները կարող են բազմաթիվ բնույթ ունենալ: Դրանք, օրինակ, կարող են դիտվել որպես ընդհանուր լեզու երկու ցանցերի միջև, ինչպես ցույց է տրված հոդվածում, ուշադրության համակարգով զինված ավելի ցածր մակարդակի ցանց (ցուցադրական ցանց) կարող է ներկայացումը ներկայացնել թարգմանության միջոցով, որը կարող է օգտագործել մեկ այլ ցանց (համատեքստային ցանցը): ուղղորդել գործողությունները ՝ անկախ ցուցադրության երկարությունից կամ նախնական կազմաձևից:

Այս լեզվի մակերեսը այստեղ ինքնաթիռ է, չափսերով ամրագրված, բայց կարելի է պատկերացնել հնարավոր փոփոխություններ, որոնք կարող են բարելավել հաղորդակցությունը ցանցի միջև: Օրինակ, մակերեսի չափը կարող է դինամիկորեն աճել կամ նեղանալ, քանի որ ցանցերը շփվում են սովորելու ընթացքում, հետևաբար սեղմելով կամ ընդլայնելով լեզվի բարդությունը: Մենք կարող էինք նաև պատկերացնել ավելի դինամիկ փոխազդեցություններ, օրինակ `հետադարձ կապի միջոցով: Մենք կարող էինք պատկերացնել դյուրացնող ցանցերի առկայություն, որոնք կսովորեին սահուն շփումը ցանցերի միջև, որոնք գոյություն ունեն որպես զուգահեռ ցանց, որոնք սովորում են կարգավորել առաջին ցանցի մուտքը ՝ հիմնվելով երկրորդ ցանցի մուտքի և ելքի վրա: Մենք կարող էինք պատկերացնել բարդ համատեքստային ցանցեր, որոնք գործում են որպես տոնիկ (դանդաղ տատանվող) ներհոսք դեպի ավելի շատ մասնագիտացված ցանցեր… Հետաքրքրաշարժ ապագա հետազոտությունների ոլորտը:

Ձախողումների դեպքերը ակնարկում են նոր մոդուլների հնարավոր դերերի մասին

Հարկ է նշել, որ սխալները հաճախ պայմանավորված են շարժիչային սխալներով, և որ սխալների քանակը մեծանում է առաջադրանքի բարդության հետ:

Շարժիչի գործառույթը չպետք է վատթարանա միայն թիրախների քանակը ավելացնելով, սա ուժեղ ապացույց է, որ վերարտադրման ցանցը սովորելու մասին խոսելը շարժիչ ցանցի հետ կապված չափազանց վերացական է: Տարօրինակ է, քանի որ նրանք ասում են, որ իրենց թեստը ցույց է տալիս, որ համատեքստային ցանցի և շարժիչային ցանցի միջև միջերեսը համեմատաբար կոնկրետ է (ռոբոտի դիրքը, թիրախի դիրքը):

Հնարավոր լուծումը կարող է լինել, քանի որ սա մոդուլային ճարտարապետություն է ՝ օգտագործել տարբեր կորուստների գործառույթներ կամ կորուստների մոդուլային գործառույթներ, որոնք յուրաքանչյուրից ներկայացնում են առաջադրանքի յուրահատուկ կողմ: Itույցի ապահովման համար ուղեղի նախա-շարժիչային տարածքների համարժեքը նույնպես կօգնի, իսկ համատեքստային ցանցը կարող է մնալ վերացական ՝ առանց շարժիչային հրամանի վատթարացման: Պրոտոտորային շրջաններն անհրաժեշտ են օբյեկտի ավելի լավ տեղայնացման համար `նպատակից ելնելով (վերացական ցանցերից) և զգայական մուտքերից` լավագույն շարժիչային հրամանը ընտրելու համար: Թվում է, թե համատեքստային ցանցը փորձում է ցույցը տեղափոխել ավելի բարձր մակարդակի ներդրում և միևնույն ժամանակ պատրաստել շարժիչային գործողություն ընթացիկ համատեքստում: Նախավտոտորային ցանցի դերը կլինի սովորել շարժիչ համակարգի հետ շփվել նպատակային և հարմարվողական եղանակով ՝ համատեղելով ինչպես պրոտոտորի, այնպես էլ ուղեղիկի գործառույթները շարժիչային ուսուցման և արագ հարմարվելու համար:

Գոյություն ունի մի հետաքրքիր տեսություն ՝ Մորավեչի պարադոքսը, որը կանխատեսում է, որ դա կլինի ոչ թե ավելի բարձր մակարդակի իմացություն, որը հաշվողականորեն հարկվելու է, այլ զգայական մուտքերի և շարժիչային համակարգերի արդյունքների բուժում: Սա իսկապես կարող է հաշվի առնել մեր ուղեղում առկա ավելի մեծ քանակությամբ նեյրոններ (ավելին, քան մեր ուղեղի մնացած մասը) `հարմարեցված կերպով վերահսկելու շարժիչի գործողությունը: Այս պարադոքսը ձևակերպվել է մի ժամանակաշրջանում (80-ականներ), երբ մենք դեռ հավատում էինք, որ մենք կարող ենք մեր սեփական գիտելիքները ներդնել մեքենայի մեջ `անվերահսկելի աղմկոտ միջավայրում բարդ առաջադրանք կատարելու համար: Իհարկե, այս պարադոքսը իմաստ ունի, եթե ինչ-որ կերպ մեքենան ի վիճակի լինի աշխարհը ներկայացնել պետությունների discretized շարքում, դրա վրա ավելի բարձր մակարդակի գործառույթ կառուցելը ավելի դյուրին կլիներ: Բայց ես հավատում եմ, որ երկուսն էլ ապացուցելու են, որ ծայրաստիճան հարկային են, և ցանցերի միջև ինտերֆեյսում օգտագործվող ներքին ներկայացուցչությունը հեռու կլինի մեր սեփական գիտակցված ներկայացուցչությունների նման որևէ բանից:

Եզրակացություն

Խնդրի յուրահատուկ բուժման համար յուրաքանչյուր պատասխանատու տարբեր նյարդային ցանցեր համատեղելով ՝ այս հոդվածը ցույց է տալիս, որ ստեղծելով առաջադրանք, որին բնորոշ է ընդհանրացում, և դոմենի պատահականացման միջոցով համապատասխան ուսումնական միջավայրի ստեղծում, նյարդային ցանց, որը հնարավորություն ունի հիշողություն ունենալու և ուշադրության համակարգը կարող է սովորել ընդհանրացնել պարզ վերարտադրությունից դուրս: Այն կարող է սովորել հայտնաբերել ավելի բարձր կարգի նպատակ, որը ցուցադրվել է միայն մեկ անգամ տեղեկատվության վերաբերյալ տեսողական հոսքով և կատարում է հաշվարկներ ընդհանրացված տարածության մեջ ՝ վերականգնելու համապատասխան գործողությունները, որոնք կարող են այլ նպատակներով վերափոխել այդ նպատակը:

Հետագայում մենք կտեսնենք, որ այդ ատոմային շինանյութերի վրա կառուցված կառուցվածքների ավելի բարդություն, որոնք ունակ են սովորել բարդացնել առաջադրանքները, բայց ավելի կարևոր է կատարել նմանատիպ մի քանի առաջադրանքներ ՝ նոր միջավայրում, ավելի քիչ հենվելով կոդավորված կոդավորված մեթոդների վրա, ինչպիսիք են մուտքերի նախամշակումը կամ հիշողության պահպանում: Հիշողության պահեստը կփոխարինվի բաշխված ներկայացուցչություններով `հիշողության ցանցի միջոցով, ուշադիր համակարգերը կփոխարինվեն ցիկլային ակտիվությամբ` իրական ժամանակի ուշադրության կենտրոնում գտնվող ցանցերում: Մնում է հարցը, թե ինչպես մենք կկարողանանք հարմարվել ուժեղ սերիական տեխնոլոգիա (Turing մեքենաներ) մարմնավորված համակարգում բաշխված հաշվարկների վրա մեր վստահության աճին: