Биоинженеры из Калифорнийского университета в Лос-Анджелесе создали устройство в виде перчатки, которые может осуществлять перевод с жестового языка в реальном времени. Пока в эксперименте использовался только язык жестов, применяемый в США, а также английский язык, но ученые, которые уже подают заявку на патент, не исключают возможности использовать данную систему с другими языками. Результаты исследования совсем недавно были опубликованы в журнале Nature Electronics.
«Мы надеемся, что это поможет людям, использующим язык жестов, напрямую общаться с теми, кто им не владеет, не прибегая к помощи других людей», — объясняет глава исследования и профессор биоинженерии факультета инженерных наук имени Генри Самуэли Калифорнийского университета Цзюнь Чэнь (Jun Chen). «Мы также надеемся, что это поможет большему количеству людей выучить жестовый язык».
Как работает это устройство
Устройство состоит из двух перчаток с очень тонкими и эластичными сенсорами, расположенными по всей длине пальцев. Эти сенсоры сделаны из волокон, проводящих электричество. Они фиксируют движения рук и положения пальцев, которые обозначают буквы, цифры, слова или целые фразы.
Затем устройство превращает движения в электрические сигналы, которые направляются на плату, размером с монету, расположенную на тыльной стороне руки прямо над запястьем. Плата передает сигналы по беспроводной сети на смартфон, а он, в свою очередь, преобразует их в слова. Скорость составляет примерно одно слово в секунду.
Во время эксперимента ученые работали с четырьмя глухими людьми, которые используют американский жестовый язык. Они повторяли каждый жест рукой по 15 раз. Автоматический алгоритм машинного обучения, настроенный под конкретного человека, превращал эти жесты в буквы, цифры и слова, которые они обозначают. Система распознала 660 жестов, включая все буквы алфавита и цифры от 0 до 9.
Кроме того, исследователи прикрепили дополнительные сенсоры на лица участников эксперимента, использующих жестовый язык. Электроды расположили между бровями и рядом со ртом, чтобы фиксировать выражение лица.
Предшествующие устройства
Это не первое переносное устройство по синхронному переводу с языка жестов, но, по словам его создателей, оно самое легкое и удобное в использовании. Устройство, разработанное командой ученых Калифорнийского университета в Лос-Анджелесе, создано из эластичных легких полимеров. Кроме того, как подчеркивают сами исследователи, они не очень дорогие, но «при этом довольно долговечные». Электронные сенсоры «считывающие» движения рук, также очень эластичные и недорогостоящие.
