Понеділок, 27 травня 2019,08:59

Вчені відтворили беззвучну мову за активністю мозку

25.04.2019 / Новини

Американські вчені та інженери розробили прототип інвазивного пристрою-декодера, що дозволяє синтезувати мову за активністю мозку при русі органів мовного тракту — причому в одному експерименті їм вдалося відтворити беззвучну мову, хоча і з втратою якості.

У майбутньому на основі цього прототипу можна буде створювати нові нейрокомп’ютерні інтерфейси, йдеться в статті, опублікованій в журналі Nature, повідомляє УНН.

Нейрокомп’ютерні інтерфейси дозволяють зчитувати і обробляти дані про активність головного мозку, вони, серед іншого, застосовуються для допомоги пацієнтам з втратою мови, але поки їм доступні в основному прилади, що дозволяють управляти курсором за допомогою рухів голови або очей, які працюють досить повільно в порівнянні з звичайною мовою. На початку року в Scientific Reports вийшла стаття, авторам якої вдалося навчити алгоритм відтворювати мову з мозкової активності людини при її прослуховуванні. Для цього вони використовували активність аудіторної кори, отриманої за допомогою електродів, імплантованих в мозок пацієнтів з епілепсією, при прослуховуванні окремих цифр, а потім синтезували на її основі короткі фрази. Отримана мова виявилася розбірливою в 75 відсотках випадків.

Група під керівництвом Едварда Ченга з Каліфорнійського університету в Сан-Франциско запропонувала свій метод синтезу мови по мозковій активності при русі щелепи, гортані, губ і язика. За їхніми словами, цей двоетапний метод (розпізнавання активності мозку, пов’язаної з рухом органів мови, і трансформації цих сигналів в слова) зараз дозволяє точніше синтезувати мову, ніж коли б добровольці, наприклад, думали про задані слова або навіть просто предмети, хоча такі методи теж цікавлять вчених.

Вони навчили одну рекурентну нейронну мережу розпізнавати в активності вентральної сенсомоторної кори, верхньої скроневої звивини і нижньої лобової звивини елементи руху мовного тракту, а другу мережу — розпізнавати в них акустичні параметри мови, виходячи з яких вона потім синтезувалася.

Читайте також:

Залишити коментар

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *


*