Новая нейросеть переводит мысли в текст с точностью до 97%

Система искусственного интеллекта может переводить деятельность человеческого мозга в полностью сформированный текст. Исследователи из Калифорнийского университета описывают свой проектююю в новом исследовании, о котором сообщает ScienceAlert со ссылкой на журнал Nature Neuroscience.

Команда использовала новый метод для декодирования электрокортикограммы: запись электрических импульсов, возникающих во время кортикальной активности, регистрируется электродами, имплантированными в мозг. Во время эксперимента четыре пациента с эпилепсией носили имплантаты для мониторинга судорог, вызванных их болезнью. Исследователи попросили пациентов прочитать и повторить несколько предложений вслух, в то время как электроды регистрировали активность мозга. Полученные данные были переданы в нейронную сеть, которая анализировала закономерности активности мозга, соответствующие определённым речевым сигнатурам (гласные, согласные, движения губ). Другая нейронная сеть расшифровала эти закономерности и использовала их, чтобы перевести ещё не сказанные слова в текст, основываясь исключительно на активности мозга.

По итогам эксперимента нейросети удалось правильно расшифровать и перевести в текст до 97% нейронной активности. По мнению учёных, система может представлять собой новый пример декодирования мозговой деятельности на основе ИИ. Обычно подобным программам для корректной работы необходимо изучить десятки тысяч слов. Новому ИИ достаточно было изучить только кортикальные сигнатуры примерно 250 слов, используемых в коротких предложениях. Команда предполагает, что однажды система может выступить в качестве основы речевого протеза для пациентов, которые потеряли способность говорить.

Вопросы, ответы, комментарии