50 տարի անց, արդյո՞ք ժամանակն է հրաժեշտ տալ ստեղնաշարին:

Մարդու և համակարգչային միջերեսների ակնարկ: Ի՞նչ է գալիս սենսորային էկրանից և ձայնի ճանաչումից հետո:

Apple Watch- ը, որը նույնիսկ չի համարվում շատ հզոր համակարգիչ, ի վիճակի է ամեն վայրկյան մշակել գիգաբայթ տվյալներ: Մեր ուղեղը ունի տասնյակ միլիարդավոր նեյրոններ և ավելի քան քառորդ միլիարդ կապ, և մարդու ուղեղը յուրաքանչյուր վայրկյան վառում է հսկայական քանակի տվյալների, որոնք մենք նույնիսկ չենք կարող գնահատել: Այդուհանդերձ, խոնարհ ստեղնաշարը և մկնիկը մինչ օրս մինչ օրս հանդիսանում են ամենաարագ կամուրջը հզոր մարդու ուղեղի և 0-ների և 1-ականների ծայրահեղ աշխարհի միջև:

Apple Watch- ը 250 անգամ ավելի հզոր է, քան այն համակարգիչը, որը Apollo- ն վայրէջք է կատարել լուսնի վրա: Թեև համակարգիչները զարգացել են մի ամբողջ շենքը պարզապես նանոմետրեր գրավելուց, ստեղնաշարերը շարունակում են մնալ հուսալի և ամենատարածված օգտագործվող մարդ-համակարգչային միջերեսը:

Համակարգչային ստեղնաշարի գյուտը անցնում է ավելի քան 50 տարի: Հասարակական տիրույթ:Մարդը սիրահարվում է իր ձայնային օգնականին «Հեր» ֆիլմում:

Ստեղնաշարից և մկնիկից այն կողմ շարժվո՞ւմ եք:

Համակարգիչները ներկառուցված են տարբեր առարկաների մեջ, և քանի որ մենք չենք կարող ստեղնաշար և մկնիկ կապել մեր շրջապատի յուրաքանչյուր օբյեկտի, մենք պետք է գտնենք այլ միջերեսներ: Խելացի օբյեկտների, IoT- ի հետ փոխհարաբերությունների ներկայիս լուծումը ձայնի ճանաչման միջոցով է, որն ակնհայտորեն ունի այնպիսի սահմանափակումներ, ինչպիսիք են հանրային օգտագործումը: Եկեք դիտարկենք այն մեթոդները, որոնց վրա ներկայում աշխատում են հետազոտողները և ընկերությունները:

Հպեք

Բազմամյա հպման տեխնոլոգիայի և բազմաշերտ հպման ժեստերի (առաջ մղման նման) առաջընթացները դիպուկ էկրանին դարձրեցին սիրված միջերեսը: Հետազոտողները և նորաստեղծներն աշխատում են ավելի լավ կապի փորձի վրա ՝ հասկանալով, թե որքան ուժեղ է ձեր հպումը, մատի որ մասը դիպչում է, և ում մատն է հուզիչ:

iPhone- ի 3D Touch- ը ուժ է հայտնաբերում: Աղբյուրը Giphy.

Ձայն

DARPA- ն ֆինանսավորել է հետազոտությունները այս ոլորտում 70-ական թվականներին: բայց ձայնը մինչև վերջերս օգտակար չէր: Խոր սովորելու շնորհիվ, այժմ մենք բավականին լավ ստացանք ձայնի ճանաչման հարցում: Ձայնի հետ կապված ամենամեծ մարտահրավերը այս պահին ոչ թե տառադարձումն է, այլ իմաստը ընկալելը `հիմնվելով ենթատեքստի վրա:

Աչք

Աչքի հետևելու դեպքում մենք կամ չափում ենք հայացքը (որտեղ մեկը նայում է) կամ գլխի համեմատ աչքի շարժումը: Տեսախցիկների և սենսորների արժեքի իջեցմամբ, ինչպես նաև վիրտուալ իրականության ակնոցների մեծ ժողովրդականությամբ, աչքի հետևելը, որպես ինտերֆեյս, օգտակար է դառնում:

Tobii- ն, որը 2015 թ.-ին ուներ IPO, աշխատում է էլեկտրոնիկայի սպառողական արտադրողների հետ `իրենց աչքերի հետևման տեխնոլոգիան ներդնելու համար: Պատկերի աղբյուր ՝ Flickr.

Ժեստ

Ժեստերի հսկողությունը իմ սրտին ամենամոտ գտնվող մարդ-համակարգչային միջերեսն է: Ես անձամբ գիտական ​​հետազոտություններ եմ կատարել ժեստերի վերահսկման տարբեր մեթոդների վերաբերյալ: Ժեստերի հայտնաբերման համար օգտագործվող որոշ տեխնոլոգիաներ են.

Իներցիայի չափման միավոր (IMU)

Արագացուցիչի, գիրոսկոպի և կողմնացույցի տվյալները (դրանցից բոլորը կամ դրանց մի մասը) օգտագործվում են ժեստերը հայտնաբերելու համար: Վերահաշվարկման անհրաժեշտությունը և ավելի ցածր ճշգրտությունը այս մեթոդի հետ կապված որոշ խնդիրներ են:

Ինֆրակարմիր + խցիկ (խորության ցուցիչ)

Սառը ժեստերի հայտնաբերման սառը համակարգերից շատերը, որոնք մենք տեսանք, օգտագործում են բարձրորակ ֆոտոխցիկի համադրություն `գումարած ինֆրակարմիր լուսավորիչ և ինֆրակարմիր տեսախցիկ: Ըստ էության, թե ինչպես է այն աշխատում, այն է, որ նախագծում է հազարավոր փոքր կետեր դեպքի վայրում, և հիմնվելով այն բանի վրա, թե որքանով է օբյեկտը, աղավաղումը տարբեր է (կան տարբեր մեթոդներ, ինչպիսիք են ToF- ը, որոնց մեջ ես չեմ մտնելու): Kinect- ը, Intel- ի RealSense- ը, Leap Motion- ը, Google- ի Tango- ն, բոլորն օգտագործում են այս տեխնոլոգիայի որոշ տատանումներ:

Leap Motion- ը Ժեստերի վերահսկման սպառողական սարք է:Apple- ը դա արել է մեկ քայլ առաջ ՝ տեղադրելով այս ամենը Face X- ի iPhone X- ի առջևի խցիկում:

Էլեկտրամագնիսական դաշտ

Այս մեթոդում օգտագործողի մատը կամ մարմինը հանդես է գալիս որպես հաղորդիչ օբյեկտ, որը աղավաղում է էլեկտրամագնիսական դաշտը, որն արտադրվում է հաղորդիչ և ստացողի ալեհավաքներ օբյեկտի մեջ դնելով:

Ռադարներ

Ռադարը վաղուց օգտագործվում էր օբյեկտների հետևելու համար ՝ ինքնաթիռներից մինչև նավեր և ավտոմեքենաներ: Google- ի առաջատար տեխնոլոգիաների և նախագծերի (ATAP) խումբը ուշագրավ աշխատանք է կատարել ՝ ռադարը նետելով 8 մմ միկրոտրիպով 8 մմ: Ժեստերի վերահսկման այս ընդհանուր չիպսեթը կարելի է ներկառուցել սմարթֆոնների, հեռուստացույցների և ժեստերի հետևման այլ առարկաների մեջ:

Google ATAP- ի Ծրագրի Սոլին: Աղբյուրը ՝ Սոլիի կայք:Մկանների մեքենայի միջերեսը թալմիկ լաբորատորիաներից: Աղբյուրը ՝ Թալմիկի տեսանյութը:

Կենսազանգվածներ

Եթե ​​դուք դեռ WOWed չեք եղել, եկեք այն էլ ավելի խորանանք: Բոլոր այն մեթոդները, որոնք վերը նշված էին, չափում և հայտնաբերում են մեր ձեռքի ժեստերի ենթածրագիրը:

Մկանների նյարդերից ուղղակիորեն բխող ազդանշանները վերամշակելով ՝ մենք կարող ենք մեկ քայլ ավելի մոտենալ մտադրությանը:

Մակերևութային EMG- ը (sEMG), որը ձեռք է բերվում սենսորներ մաշկի վրա ձեր երկգլխանի / թևկապի կամ նախաբազուկի վերևի մասում դնելիս, ազդանշան է ստանում մկանային շարժիչի տարբեր ստորաբաժանումներից: Չնայած sEMG- ը շատ աղմկոտ ազդանշան է, հնարավոր է հայտնաբերել մի շարք ժեստեր:

Myo by Thalmic Labs- ը առաջին ընկերություններից էր, որը մշակեց սպառողական սարք ՝ sEMG- ի հիման վրա: Աղբյուր Imgur:

Իդեալում, դուք կցանկանայիք սենսորները հագնել դաստակի վրա: Ձեռքի մկանները, այնուամենայնիվ, խորն են, ուստի դժվար է ձեռք բերել ազդանշան, որը կարող էր ճշգրիտ օգտագործվել ժեստերի հայտնաբերման համար:

Նոր ընկերությունը, որը կոչվում է CTRL Labs, կատարում է ժեստերի վերահսկողությունը դաստակի sEMG ազդանշաններից: CTRL Labs- ի սարքը չափում է sEMG ազդանշանը և հայտնաբերում է այս շարժման հետևից ուղեղից եկող նյարդային սկավառակ: Սա ուղեղին մոտ մեկ քայլ ավելի մոտ է: Նրանց տեխնոլոգիայի միջոցով դուք կկարողանաք ձեռքերը դնել գրպանին և մուտքագրել ձեր հեռախոսը:

Ուղեղի-համակարգչային միջերես

Անցած մեկ տարում շատ բան է պատահել: DARPA- ն 65 միլիոն դոլար է ծախսում նյարդային ինտերֆեյսերը ֆինանսավորելու համար: Elon Musk- ը Neuralink- ի համար 27 միլիոն դոլար է հավաքել, Kernel- ը $ 100 միլիոն ֆինանսավորում է ստացել իր հիմնադիր Բրայան nsոնսոնից, իսկ Facebook- ը աշխատում է Brain Computer Interface- ի վրա: ԲՍԻ-ների երկու շատ տարբեր տիպ կա.

Ոչ ինվազիվ BCI

ElectroEncephaloGraphy- ն (EEG) ազդանշան է ստանում գլխի մաշկի վրա:

Դա նման է մի խոսափողի տեղադրմանը ֆուտբոլային մարզադաշտի վերևում: Դուք չեք իմանա, թե ինչի մասին է խոսքը յուրաքանչյուր անձի մասին, բայց ի վիճակի եք հասկանալ, թե արդյոք գոլ է խփվել (բարձր գոռոցներից և ծալքերից):

EEG- ի վրա հիմնված միջերեսները իրականում չեն կարդում ձեր միտքը: Օրինակ, առավել օգտագործված BCI պարադիգմը P300 Speller- ն է: Դուք ուզում եք մուտքագրել «R» տառը; համակարգիչը պատահականորեն ցույց է տալիս տարբեր նիշ; էկրանին «R» տեսնելուն պես, ձեր ուղեղը զարմացած է և հատուկ ազդանշան է արձակում: Խելացի է, բայց ես չէի անվանի «մտքի ընթերցանություն», քանի որ մենք չենք կարող բացահայտել «R» - ի մասին մտածողությունը, այլ գտել ենք մի կախարդական հնարք, որն աշխատում է:

Ընկերություններ, ինչպիսիք են Emotiv- ը, NeuroSky- ը, Neurable- ը և ևս մի քանիսը, մշակել են սպառողական մակարդակի EEG ականջակալներ: Facebook- ի շենք 8-ը հայտարարեց ուղեղի մուտքագրման նախագիծ, որն օգտագործում է ուղեղի զննման մեկ այլ տեխնիկա, որը կոչվում է ֆունկցիոնալ Near Infrared Spectroscopy (fNIRS), որը նպատակ ունի հասնել 100 բառ / րոպե արագության:

Նյարդայնացնող: Աղբյուր ՝ Neurable կայք

Ինվազիվ BCI

Սա վերջնական մարդկային-կոմպակտ ինտերֆեյսն է և աշխատում է էլեկտրոդները ուղեղի ներսում դնելով, այնուամենայնիվ, կան հաղթահարելու լուրջ մարտահրավերներ:

Փոքրամասնությունների մասին հաղորդման կինոնկար: Ֆլիկր:

Մարտահրավերները

Կարող է պատահել ձեզ համար, որ հաշվի առնելով վերը նշված բոլոր հետաքրքիր տեխնոլոգիաները, ինչու ենք մենք դեռ սահմանափակվում միայն ստեղնաշարի և մկնիկի օգտագործմամբ: Theանկի ցուցակի մեջ կան որոշակի առանձնահատկություններ, որոնք պետք է նշվեն մարդու և համակարգչային փոխազդեցության տեխնոլոգիայի համար `զանգվածային շուկա տանելու իր ճանապարհը:

Accշգրտություն

Կօգտագործեք սենսորային էկրան, որպես հիմնական միջերես, եթե այն աշխատեր ընդամենը 7-ը 10 անգամից: Որպեսզի ինտերֆեյսը օգտագործվի որպես հիմնական միջերես, այն պետք է ունենա շատ բարձր ճշգրտություն:

Լատենտություն

Մի պահ պատկերացրեք, որ ստեղնաշարի վրա մուտքագրած տառերը հայտնվում են մեկ վայրկյան հետո `ստեղնը սեղմելուց հետո: Ուղղակի այդ մեկ վայրկյան կփորձեր այդ փորձը: Մարդկա-համակարգչային ինտերֆեյսը, որն ունի ավելի քան մի քանի հարյուր միլիարդ վայրկյան լատենտություն, պարզապես անօգուտ է:

Դասընթացներ

Մարդու և համակարգչային ինտերֆեյսը չպետք է պահանջի օգտվողին շատ ժամանակ ծախսել նոր ժեստեր սովորելու համար (այսինքն `յուրաքանչյուր այբուբենի տառի ժեստ սովորել):

Հետադարձ կապ

Ստեղնաշարի սեղմման ձայնը, հեռախոսի թրթռումը, ձայնային օգնականի փոքրիկ ձայնային ձայնը, բոլորը մտադիր են փակել հետադարձ կապի հանգույցը: Հետադարձ կապի օղակը ցանկացած ինտերֆեյսի ձևավորման ամենակարևոր կողմերից մեկն է, որը հաճախ օգտագործողների կողմից աննկատ անցնում է: Մեր ուղեղը շարունակում է հաստատում փնտրել, որ իր գործողությունն արդյունք է տվել:

Պատճառներից մեկը, որը շատ դժվար է ստեղնաշարի փոխարինումը ժեստերի կառավարման ցանկացած սարք օգտագործելով, ուժեղ հետադարձ կապի հանգույցների բացակայությունն է:

Մարդկային-համակարգչային միջերեսների ապագան

Վերոնշյալ մարտահրավերների պատճառով, թվում է, որ մենք դեռ ստեղ չենք դնում փոխարինել ստեղնաշարերը, համենայն դեպս դեռ ոչ: Սա այն է, ինչ ես կարծում եմ, որ ինտերֆեյսի ապագան կլինի.

  • Մուլտիմոդալ. Մենք կօգտագործենք տարբեր ինտերֆեյսներ տարբեր առիթներով: Մենք դեռ կարող ենք օգտագործել ստեղնաշարը մուտքագրելու, նկարելու և ձևավորման համար սենսորային էկրաններ, ձայնային հաղորդակցություն մեր թվային անձնական օգնականների հետ, մեքենայում ռադիոլոկատների վրա հիմնված ժեստերի հսկողություն, խաղերի և VR- ի վրա խաղերի վրա հիմնված ժեստերի հսկողություն, ինչպես նաև ընտրելու ուղեղի-համակարգչային միջերեսներ: ձեր տրամադրության համար նվագելու լավագույն երաժշտությունը:
  • Համատեքստից տեղյակ. Դուք կարդում եք ձեր նոութբուքի հոդվածը Հյուսիսային Կալիֆոռնիայի հրդեհների մասին հրդեհների մասին, ապա ձեր խելացի ականջակալին հարցնում եք ձայնային օգնականին. «Որքան քամի է այնտեղ»: Այն պետք է հասկանա, որ նկատի ունեք, թե որտեղ են գտնվում հրդեհները:
  • Ավտոմատացված. AI- ի օգնությամբ համակարգիչը ավելի լավ կլիներ կանխատեսել, թե ինչ եք պատրաստվում անել, այնպես որ ձեզ հարկավոր չէ նույնիսկ այն պատվիրել: Այն կիմանա, որ արթնանալիս ձեզ պետք է որոշակի երաժշտություն նվագել, այնպես որ ձեզ նույնիսկ ինտերֆեյսի կարիք չկա առավոտյան երգ գտնելու և նվագելու համար:

Ես սիլիկոնային հովտի ձեռներեց եմ, և իմ կիրքը մարդ-համակարգչային փոխազդեցությունն է: Ես հետազոտություններ եմ կատարել ուղեղի և համակարգչի միջերեսների, մկանների մեքենայի միջերեսների և ժեստերի կառավարման սարքերի վերաբերյալ: Ես փակցնում եմ ձեռներեցության, վենչուրային կապիտալի և նոր տեխնոլոգիաների մասին: Խնդրում եմ հետևեք ինձ LinkedIn- ում, Twitter- ում և Medium- ում: