Исследование может помочь усовершенствовать искусственный интеллект и привести человечество к новому пониманию функций мозга. Критически важным здесь является тип алгоритма, называемый сверточной нейронной сетью, который сыграл важную роль в разрешении компьютерам и смартфонам распознавать лица и объекты.

Исследователи получили 11,5 часов данных МРТ у трех женщин, просмотревших 972 видеоролика, на которых показаны люди или животные в действии и на фоне природы. В первую очередь, данные были использованы для обучения модели сверточной нейронной сети, которая необходима для прогнозирования активности в зрительной коре головного мозга, пока испытуемые наблюдали за видео. Затем эту модель использовали для декодирования данных МРТ женщин для восстановления видеороликов, даже тех, которые модель никогда не наблюдала ранее.

Модель смогла точно расшифровать данные МРТ в определенных видах изображений. Фактические видеоизображения были затем представлены бок о бок с интерпретацией компьютером того, что мозг человека видел на основе данных МРТ.

«Примерами могут быть водное животное, луна, черепаха, человек, птица в полете, – отмечает докторант Хайгуанг Вэнь, –  я думаю, что уникальным аспектом этой работы является то, что мы делаем расшифровку почти в режиме реального времени, поскольку испытуемые смотрят видео. Мы сканируем мозг каждые две секунды, и модель восстанавливает визуальный эффект по мере его возникновения изображения».

Исследователи смогли выяснить, как определенные области мозга были связаны с конкретной информацией, которую видел человек. «Неврология пытается выявить, какие части мозга отвечают за определенную функцию, – утверждает Вэнь, – это знаковая цель неврологии. Я думаю, что данный эксперимент приближает нас к достижению этой цели. Сцена с автомобилем, движущимся перед зданием, расщепляется на куски информации мозгом: одно место в мозге может представлять автомобиль, другое место может представлять здание».

Если использовать такую технику, то можно визуализировать конкретную информацию, представленную любым местоположением мозга, и просматривать все места в зрительной коре головного мозга. Делая это, человек может увидеть, как мозг разделяет визуальную сцену на куски и снова собирает части в полное понимание визуальной сцены.

Перевод и адаптация Екатерины Тёриной