Автор: 
Исследователи использовали модель машинного обучения Brain2pix для преобразования сканов изображений мозга в изображения. Модель успешно восстановила увиденные человеком сцены путём анализа его мозговой активности.
Испытуемого поместили внутрь аппарата функциональной магнитно-резонансной томографии и попросили просмотреть 30 сцен из сериала «Доктор Кто». Полученные фМРТ сканы мозга передавались в нейронную сеть. Каждый скан был преобразован в массив чисел с использованием карт рецептивного поля. Этот метод позволяет визуализировать карту активности определённых участков мозга. Модель Brain2pix обрабатывала массивы входных данных и выдавала визуальное изображение, переводя активность мозга в пиксели.
Brain2pix содержит генеративную сеть, которая воссоздаёт увиденную сцену, а затем все эти попытки передаются в сеть дискриминатора, которая должна угадать, выглядит ли изображение, созданное с помощью машинного обучения, как реальное из обучающих данных. Если восстановленное изображение не подходит, то дискриминатор отклоняет его, и генератор должен повторить попытку.
Пока работа Brain2pix ограничена. Модель не может воссоздать изображение, которое она не видела раньше. Кроме того, модель обучали на данных о работе мозга конкретного человека, который посмотрел то же самое телешоу. Даже если бы два человека смотрели одну и ту же серию «Доктора Кто», нейронная сеть, вероятно, не смогла бы реконструировать изображения из сканов мозга, если бы не была специально обучена на них.
Тем не менее, исследователи считают, что их работа может оказаться полезной в будущем. Работа модели может дать представление о том, как мозг представляет окружающую среду, что является ключевым вопросом в области сенсорной нейробиологии.
Кроме того, систему можно будет использовать для разработки медицинских приложений, к примеру, интерфейса «мозг-компьютер», который позволит общаться с пациентами, получая доступ к состояниям их мозга. Наконец, Brain2pix можно задействовать в работе по восстановлению зрения у слепых. Модель поможет создавать у незрячих пациентов соответствующее восприятие, стимулируя их мозг.
