20.04.2024
Подписывайтесь на Telegram-канал по ссылке

Машинное обучение помогло доказать схожесть мысленной и устной речи

Схожесть мысленной и устной речи доказал ИИ

Используя методы электроэнцефалографии и машинного обучения, российские учёные определили схожие паттерны активности мозга во время мысленной и реальной речи. Результаты исследования в перспективе можно будет использовать, чтобы создавать речевые «протезы» для людей, которые утратили способность разговаривать. Статья опубликована в журнале Biomedical Signal Processing and Control.

Из-за травмы головы, инсульта и других нейродегенеративных заболеваний человек может утратить способность разговаривать, что сделает его социально изолированным. Учёные из Центра нейротехнологий Южного федерального университета занимаются разработкой немышечных каналов коммуникации, позволяющих общаться людям, которые не могут разговаривать.

Распознать речь по активности мозга достаточно сложно. Сделать это детально возможно, если разместить электроды непосредственно в ткани головного мозга. Однако метод электроэнцефалографии (ЭЭГ), при котором электроды располагаются на коже головы, позволяет исследовать некоторые особенности сигналов мозга в процессе устной и внутренней речи без хирургических вмешательств. Чтобы человек говорил, требуется координация ряда структур коры больших полушарий. Поэтому авторы исследовали показатели когерентности ЭЭГ. Это позволило оценить степень взаимодействия различных областей мозга при устной речи и мысленном проговаривании слов.

В первом этапе исследований приняли участие студенты университета. Результаты показали, что при устной речи уровень синхронизации и взаимодействия различных структур мозга заметно повышался, наиболее существенно — на частотах гамма-2-ритма (55–70 Гц). Эти частоты наблюдаются при реализации когнитивных, познавательных функций мозга. В условиях мысленного произношения тех же слов в левом полушарии также наблюдалось формирование особых пространственных паттернов когерентности, отражающих связь проекционных, речевых областей неокортекса.

Использование машинного обучения и нейросетевой классификации показало значительное сходство механизмов формирования устной и внутренней речи. Это указывает на высокую перспективность использования мысленной речи для разработки устройств на основе интерфейсов мозг — компьютер (ИМК), обеспечивающих прямое сопряжение активности мозга человека с внешними устройствами, такими как моторизированные кресла, протезы и речевые коммуникаторы.

«Основная задача на данном этапе — увеличить количество распознаваемых слов, а также совершенствовать методы анализа мозговой активности, в том числе за счёт применения алгоритмов искусственного интеллекта. Использование показателей когерентности и мысленного произнесения слов, полученных в рамках проведенного исследования, может помочь в разработке так называемых речевых «протезов» для парализованных лиц, мысленную речь которых в перспективе станет возможно воспроизвести, например, через «умную» колонку, подключенную к ИМК», — говорит руководитель исследования Дмитрий Шапошников.