Технологии и медиа , 24 авг 2023, 12:21

Парализованная после инсульта женщина «заговорила» через цифровой аватар

В США парализованная после инсульта женщина заговорила через цифровой аватар

Фото: Monika Skolimowska / dpa / Global Look Press

Парализованная после инсульта американка «заговорила» благодаря инновационному импланту: мозговая активность пережившей инсульт женщины была преобразована с помощью искусственного интеллекта в слова и мимику, произнесенные цифровым аватаром, сообщает New York Times.

23 августа исследователи Калифорнийского университета в Сан-Франциско и Калифорнийского университета в Беркли сообщили о значительном прогрессе и открытии в сфере нейробиологии и искусственного интеллекта. Имплантированные в мозг женщины электроды помогли расшифровать сигналы мозга парализованной Энн Джонсон, преобразовать их в речь и позволить аватару на экране компьютера произносить слова, улыбаться, поджимать губы и демонстрировать другие эмоции, указывает издание. Результаты исследования также были опубликованы в журнале Nature.

Женщина сама выбрала, как будет выглядеть ее цифровой аватар, а для синтезированной речи ученые использовали запись со свадьбы женщины, где она произносила тост.

Технология, на основе которой работает имплант, основана на предиктивной языковый модели, которая предсказывает, какое слово будет стоять в предложении следующим. Пока она работает не без ошибок и примерно в четверти случаев неверно расшифровывала отдельные слова. Например, когда Энн Джонсон попыталась сказать: «Может быть, мы их потеряли», система расшифровала это как «Может быть, это имя». Однако почти в половине предложений, которые она пыталась произнести, система абсолютно корректно расшифровала каждое слово.

В перспективе технология сможет помогать людям, которые потеряли речь из-за инсульта или таких состояний, как церебральный паралич и боковой амиотрофический склероз. В данный момент для работы имплант подключается кабелем от головы пациента к компьютеру, однако ученые уже разрабатывают его беспроводные версии.

Два года назад та же команда ученых опубликовала исследование, в котором парализованный мужчина по прозвищу Панчо использовал более простой имплантат для произношения 50 основных слов, таких как «привет» и «голодный». Слова отображались в виде текста на компьютере.

В то время как система, которой пользовался Панчо, могла декодировать от 15 до 18 слов в минуту, система, которую использовала Энн Джонсон, может декодировать 78 слов в минуту. Обычный человек в среднем произносит около 160 слов в минуту.