Внутреннюю речь человека декодировали из активности моторной коры. И нашли способ предотвратить расшифровку частных мыслей

Нейробиологи из США показали, что внутренняя речь надежно представлена в моторной коре людей. Используя записи нейронной активности нескольких пациентов с боковым амиотрофическим склерозом, они декодировали внутреннюю речь в режиме реального времени с точностью до 74 процентов при словаре в 125 тысяч слов. Также исследователи смогли научить декодер запускаться только после кодового слова — таким образом они предотвратили декодирование внутренней речи, которой пациент не собирался делиться. Работа опубликована в Cell.

Одна из главных задач, стоящих перед учеными, которые разрабатывают речевые нейроинтерфейсы — декодирование внутренней речи пациентов, которые не могут не только говорить вслух, но и пытаться что-то произнести. Чаще всего массивы электродов устанавливают в моторную кору и записывают активность двигательных нейронов, задействованных в говорении. Считается, что для их активации пациентам необходимо хотя бы беззвучно артикулировать — то есть шевелить челюстью. Когда артикуляция невозможна, записывать активность становится сложнее: речевая кора, да и другие корковые области слабо реагируют на внутреннюю речь. Недавно исследователям удалось декодировать как внутреннюю, так и вокализованную речь из сигналов другой кортикальной области — надкраевой, или супрамаргинальной извилины. Словарь такого декодера состоял лишь из шести слов и двух псевдослов, но зато точность расшифровки достигла 79 процентов. Эти результаты показали, что внутренняя и артикулированная речь могут быть представлены в одних и тех же областях коры.

Теперь исследователи из Стэнфордского университета под руководством Фрэнсиса Уиллетта (Francis R. Willett), которые ранее ускорили работу нейроинтерфейсов в четыре раза, все же смогли декодировать внутреннюю речь из сигналов моторной коры. В исследовании участвовало четыре пациента — два мужчины и две женщины. У трех пациентов была дизартрия, связанная с боковым амиотрофическим склерозом: они могли произносить звуки или даже неразборчиво и медленно говорить. У четвертого пациента была анартрия: он тоже страдал боковым амиотрофическим склерозом, но был полностью парализован, находился на аппарате искусственной вентиляции легких и общался только с помощью движений глаз. Микроэлектроды были имплантированы в моторную кору каждого участника вдоль прецентральной извилины еще до начала исследования.

Сначала ученые сравнили записи с электродов во время попыток говорить, внутренней речи, слушания и чтения. Они обнаружили, что все эти процессы представлены в трех регионах прецентральной извилины — 4, 6v и 55b. Воспринимаемая и внутренняя речь были представлены в моторной коре, но не так четко, как попытки говорить. Нейронные расстояния между отдельными словами во время внутренней речи были значительно меньше, чем во время артикулированной — из-за этого отличить одно слово от другого по нейронной активности становилось сложнее. Затем исследователи обучили декодер на основе рекуррентных нейронных сетей и языковой модели, предложив пациентам проговаривать про себя несколько блоков по 40–50 предложений. Сначала предложения составляли лишь из 50 слов, затем словарь увеличили до 125 тысяч слов. Говоря про себя, участники представляли собственные артикуляционные движения или воображали, что слушают речь от первого лица.

После этого ученые попросили пациентов с дизартрией произносить про себя написанные на экране предложения, чтобы декодер мог расшифровать внутреннюю речь в реальном времени. Пациент с анартрией не участвовал (вероятно, из-за тяжести своего состояния). При словаре в 50 слов доля ошибок для трех пациентов составила 24 процента, 14 процентов и 33 процента. Словарь в 125 тысяч слов тестировали только на двух пациентах: доля ошибок составила 26 и 54 процента. Таким образом, точность расшифровки при большем словаре достигала 74 процентов. Дополнительно ученые попробовали расшифровать внутреннюю речь пациентов с помощью декодера, обученного на попытках речи со словарем в 50 слов. В этом случае доля ошибок составила около 50 процентов для двух пациентов и около 86 процентов для третьего.

Далее ученые дали пациентам несколько заданий, способных вызвать произвольную внутреннюю речь. Один участник должен смотрел на изображения трех стрелок на мониторе (например: вверх, вправо, вверх), а затем перемещал джойстик последовательно в этих направлениях. Декодер, обученный различать последовательности, отличающиеся на один элемент, расшифровал направления с точностью около 80 процентов. Двум другим участникам дали другое задание: их считать фигуры только одного цвета на сетке из фигур двух цветов. Декодер, обученный на инструктированной внутренней речи, предсказывал последовательность увеличивающихся чисел. В завершение участникам предложили подумать на случайные темы — вспомнить любимую цитату из фильма или любимую еду. Декодер работал и в этом случае, хотя большинство расшифрованных предложений представляли собой скорее набор слов, чем связную речь.

Поскольку ученым удалось декодировать произвольную внутреннюю речь по крайней мере частично, они предложили два способа предотвратить расшифровку того, чем пациент не собирался делиться. Сперва они обучили декодер на беззвучной и внутренней речи одновременно, а затем заблокировали расшифровку сигналов о внутренней речи. Затем они обучили декодер расшифровывать внутреннюю речь только после ключевого слова — декодер распознавал его присутствие или отсутствие с точностью 98,75 процента. Впрочем, как отметили сами ученые, случайное декодирование частной внутренней речи может быть ограничено само по себе — из-за того, что мышление далеко не всегда представляет из себя четкий внутренний монолог.

Авторы подчеркнули, что пока неясно, распространяются ли результаты, полученные на четырех пациентах, на других людей. Однако в этой работе они не только расшифровали внутреннюю речь по активности моторной коры, но и показали, что нейронные репрезентации внутренней, воспринимаемой и беззвучной речи коррелируют и существуют в общем нейронном пространстве — а не в ортогональных, как предполагали иногда прежде.

Интерфейсы компьютер-мозг быстро развиваются: еще десять лет назад пациенты могли только управлять курсором силой мысли со скоростью один клик в несколько секунд. Теперь инвазивные нейроинтерфейсы учатся декодировать внутреннюю речь и уже довольно точно расшифровывают беззвучную — скорость при этом достигает 78 слов в минуту при словаре в 125 тысяч слов. Также совсем недавно ученые начали учить декодеры расшифровывать тоновый язык — но пока ограничились несколькими слогами. 

Источник