Проследяването на срички от думи позволява английски и испански да си помагат взаимно
Мозъчните импланти ще възстановят комуникацията за тези, които са били парализирани поради нараняване или заболяване. Все още сме далеч от това бъдеще. Имплантите в момента са ограничени до тестване в клинични изпитвания.
Едно от тези клинични изпитвания, базирано в Калифорнийския университет в Сан Франциско, случайно разкри нещо ново за това, как мозъкът се справя с езика.
Един от пациентите, включени в проучването, е двуезичен. Той използва английски и испански. Чрез проследяване на активността в областта на мозъка, където намерението за говорене се превръща в контрол върху гласовия тракт, изследователите откриват, че и двата езика произвеждат последователни сигнали. Обучението на системата да улавя английски фрази би помогнало за подобряване разпознаването на испански.
Множество езици
Разбирането на билингвизма очевидно е полезно за осъзнаването как мозъкът борави с езика като цяло. Възстановяването на комуникацията на множество езици трябва да бъде цел за възвръщане на комуникацията. Двуезичните хора често сменят езиците въз основа на различни социални ситуации. Понякога го правят в рамките на едно изречение, за да се изразят по-ясно и лесно. Те често описват двуезичните способности като ключов компонент на техните личности. Ако наистина искаме да възстановим комуникацията между хората, предоставянето на достъп до всички езици, които говорят, трябва да бъде част от това.
BRAVO
Част от клинично изпитание, наречено BRAVO (мозъчно-компютърен интерфейс за възстановяване на ръката и гласа), включва поставяне на сравнително прости импланти (128 електрода) в двигателната област на мозъка. Това е частта, която преобразува намеренията за извършване на действия в необходимите сигнали за активиране на мускулатурата.
По отношение на речта, това означава активиране на невроните, необходими за преобразуване на желанието да се каже дума в мускулна активност. Последната е нужна за контролиране на устата и езика. Нужно е изтласкване на достатъчно въздух и напрежение на гласните струни. Това е надолу по веригата в тази част от мозъка, където се прави изборът на думи.
Ако части от думи са достатъчно сходни по отношение на това как звучат, мускулният контрол, необходим за произвеждането на този звук, също би бил подобен. Чрез проследяване на невронната активност тук, те трябва да могат да се справят с двата езика и дори да открият припокриване по между си.
Използване на езика
Процесът за откриване на тези сигнали е доста сложен. Невронната активност изглежда като шумна серия от пикове или изблици на промени в напрежението. Превеждането им в конкретни значения обикновено се обработва от AI системи. Те са обучени да свързват определени модели на дейност с конкретна информация.
Работата тук се концентрира върху обучение на софтуерната част на системата за разпознаване желанието на участникът да каже конкретни думи. Това включва представата му, че ги изговаря и разпознаване на думата от софтуера. Използвайки това, изследователите обучават системата да разпознава 50 английски, 50 испански думи и няколко, които са идентични и при двата езика.
Проба-грешка
Само по себе си това не е особено ефективно, с нива на грешка в думата около 70 процента. Но вече имаме невронни мрежи, обучени да поставят думи в нормални изречения, така че изследователите прехвърлят този резултат в GPT2, който идентифицира и класира вероятните изречения. Това намалява процента грешки на дума под 15 процента.
След като системата бъде обучена, участникът може да я използва, за да участва в разговори и да превключва езиците по избор. Системата е работила най-малко 40 дни, преди софтуерът да се нуждае от повторно калибриране чрез допълнително обучение. Това е сравнително по-добро от докладваното представяне на много други системи.
