Пытаясь помочь людям, которые не могут говорить, нейробиологи разработали устройство, которое может преобразовывать сигналы мозга в речь.
Эта технология еще недостаточно отработана для использования за пределами лаборатории, хотя с ее помощью можно синтезировать целые предложения, которые в основном понятны. Создатели речевого декодера представили его описание в статье, опубликованной в журнале «Нейче» (Nature) 24 апреля.
Ученые и раньше использовали искусственный интеллект для преобразования сигналов головного мозга в отдельные слова, в основном состоящие из одного слога, говорит Четхан Пандаринатх (Chethan Pandarinath), нейроинженер из Университета Эмори в Атланте, штат Джорджия, который написал комментарий к статье. «Сделать скачок от одного слога к предложениям технически довольно сложно, и, в частности, поэтому проводимая работа настолько впечатляет», — говорит он.
Преобразование движений в звук
Многие люди, утратившие способность говорить, общаются с помощью устройства, при использовании которого они должны совершать небольшие движения, чтобы управлять курсором для выбора на экране букв или слов. Одним из известных примеров был британский физик Стивен Хокинг (Stephen Hawking), у которого была болезнь моторных нейронов. Он использовал речевое устройство, активируемое мышцей щеки, говорит руководитель исследования Эдвард Чанг (Edward Chang), нейрохирург из Калифорнийского университета в Сан-Франциско.
Поскольку люди, использующие такие устройства, должны печатать слова буква за буквой, эти устройства могут быть очень медленными, «произнося» до десяти слов в минуту, говорит Чанг. Естественная речь предполагает произнесение в среднем 150 слов в минуту. «Это получается благодаря эффективности голосового тракта», — говорит он. И поэтому Чанг и его команда решили при построении своего речевого декодера смоделировать голосовую систему.
Ученые работали с пятью людьми, которым в процессе лечения эпилепсии на поверхность головного мозга имплантировали электроды. Сначала, когда участники эксперимента читали сотни предложений вслух, ученые регистрировали деятельность мозга. Затем Чанг с коллегами объединили эти записи с данными предыдущих экспериментов, которые определяли, как движения языка, губ, челюсти и гортани приводят к образованию звука.
С помощью этих данных ученые «обучили» алгоритм глубокого обучения, а затем включили эту программу в свой декодер. Устройство преобразует сигналы головного мозга в указанные движения голосового тракта и превращает эти движения в синтетическую речь. Люди, которые прослушали 101 синтезированное предложение, смогли понять в среднем 70% слов, говорит Чанг.
В ходе другого эксперимента ученые попросили одного из участников прочитать предложения вслух, а затем изобразить те же самые предложения движением рта без звука. Предложения, синтезированные в этом случае, были более низкого качества, чем те, которые были синтезированы из «озвученной» речи, говорит Чанг, но результаты по-прежнему обнадеживают.
Понимание синтезированной речи — вопрос будущего
Речь, синтезируемую путем преобразования сигналов головного мозга в движения голосового тракта и перевода их в звук, легче понять, чем речь, которая синтезируется путем преобразования сигналов головного мозга непосредственно в звук, говорит Стефани Риес (Stephanie Riès), нейробиолог из Университета штата Сан-Диего в Калифорнии.
Но неясно, будет ли новый речевой декодер работать со словами, которые люди «произносят» только мысленно, говорит Эми Орсборн, нейроинженер из Университета Вашингтона в Сиэтле. «В статье действительно хорошо показано, что устройство работает с мимической речью, — говорит она. — Но как оно работает, если человек не шевелит губами?»
Марк Слуцки (Marc Slutzky), невролог из Северо-Западного университета в Чикаго, штат Иллинойс, согласен с этим и говорит, что эффективность речевого декодера можно повысить. Он отмечает, что слушатели идентифицировали синтезированную речь, выбирая слова из набора вариантов, но по мере увеличения числа вариантов понимать слова становилось труднее.
Это исследование «является действительно важным шагом, но прежде чем синтезированную речь можно будет легко понимать, предстоит сделать еще многое», говорит Слуцки.
Материалы ИноСМИ содержат оценки исключительно зарубежных СМИ и не отражают позицию редакции ИноСМИ.
Лучшие
Показать новые комментарии (0)
Все комментарии

| 0 В США пеерводят речь, в Китае импульсы с мозга уже смогли расшифровать и направить из в манипулятор, дублирующий конечность... А в России... А хрен знает, чем в России занимаются, чубайс молчит в тряпочку Раскрыть всю ветку (2 сообщений в ветке) 
| 2 SUSUL, "Во всём виноват Чубайс"... гы-гы-гы. А вот что на самом деле: Ростех планирует выпустить в свободную продажу шлем-нейроинтерфейс Госкорпорация Ростех создала предсерийный образец устройства для обмена информацией между мозгом и внешним устройством (бытовыми приборами, компьютером, экзоскелетом, искусственными органами чувств, инвалидной коляской). Нейроинтерфейс устойчиво работает в местах большого скопления людей, в транспорте, в окружении большого числа передающих устройств. Над созданием технологии работал Институт электронных управляющим машин (ИНЭУМ) им. И.С.Брука, входящий в состав концерна «Автоматика» Госкорпорации Ростех. В изобретении реализован механизм адаптивной цифровой обработки электрической активности мозга и неинвазивный метод снятия данных на основе «сухих» электродов. Это позволяет с точностью 92-95% регистрировать сигналы без прямого контакта с мозгом, встроив интерфейс в специальный шлем, который можно легко снять и надеть. rostec.ru/news/rostekh-planiruet-vypustit-v-svobodnuyu-prodazhu-shlem-neyrointerfeys1 
| 0 SUSUL, чубайсу вивисекцию проводят? И шокером либератствуют конечности. 
| 2 Самарский медицинский университет испытывает устройство «Нейрочат» для набора текста силой мысли. Об этом сообщил «ТАСС» со ссылкой на директора отраслевого союза «Нейронет» Александра Семенова. Прибор помогает общаться людям с тяжелыми нарушениями речи — в частности, перенесшим инсульт. Действует он так: к голове пациента подключается беспроводная гарнитура с электродами, которые считывают импульс коры головного мозга. yandex.ru/turbo?text=https%3A%2F%2Frg.ru%2F2017%2F10%2F12%2Freg-pfo%2Fv-samare-ispytaiut-ustrojstvo- 
| 0 " ...устройство работает с мимической речью, — говорит она. — Но как оно работает, если человек не шевелит губами?» " Как минимум, нужно было попросить испытуемых прочитать одни и те же предложения про себя и вычесть показания из обычного чтения вслух. А ещё правильнее, запоминая простые (заданные исследователем) предложения, сначала подумать о них (проговорить мысленно), а потом скоррелировать с их прочтением про себя и вслух. Ведь когда человек формулирует мысль, которую хочет высказать, он не смотрит в бумажку. Раскрыть всю ветку (1 сообщений в ветке) 
| 0 Но это в буувальном смысле чрезвычайно "поверхностные" исследования. Тупиковый путь. Хотя, используя маркеры и МРТ, можно проникнуть чуть глубже, но для прослеживания динамики, следует совершенствовать МРТ дальше, может даже разработать мобильный вариант с мониторингом в реальном времени. 
| 0 биочипы испытывают ! на последнем этапе всем в обязательном порядке внедрят, и они не только речью управлять будут ))) 
| 0 Погодите, а как же незабвенный "гений" космоса Стивен Хокинг?! Он же во всю юзал эту технологию еще 30 лет назад!!! Бгага.. Ну как, те кто верили на голубом глазу в это инженерное чудо? Достаточно? Наглосаксы по природе своей лживы и безнравственны. Их большие лажи-лжи на каждом шагу, куда не плюнь. 
| 0 звездочет там по другому маленько, его мышцы глаз не парализованы были. ими то он и печатал на компьютере, с помошью подсоеденённых электродов в компу. это не то ))) Раскрыть всю ветку (1 сообщений в ветке) 
| 0 ктотыч, дадада. канешна. только такого "печатанья" это одно, а скорость его воспроизведения "синтезатором речи" это другое. При чем как точно надо попадать в букву, и без ошибок. Еще и 30 лет назад. Не гоните гусей, там суфлер и целая бригада. Цель - мерикосское чудо!
Показать новые комментарии (0)SUSUL
Либеральный пейсатель
Чтоб я так жил
Skytten
Чтоб я так жил
Чтоб я так жил
ктотыч
звездочет
ктотыч
звездочет
в ответ(Показать комментарийСкрыть комментарий)