У экспертов из Университета Осаки получилось создать нейросеть, способную показать изображение, на которое смотрит человек. За основу исследователи взяли программу для генерации картинок при помощи текста Stable Diffusion. Её способ работы заключается в разработке изображения по основным словам. Новые подсказки для нейросети делают картинку более точной, пишет biorxiv.
Специалисты добавили ещё один буффер обучения — мозг человека. ИИ должен был сопоставлять информацию о мозговой активности четырёх человек благодаря функциональной магнитно-резонансной томографии. Участники видели изображения, а нейросеть училась читать их по активности нейронов в мозге.
Учёные начали использовать активность мозга и взаимодействие нейронов в качестве языка программирования. Нейросеть определяла активность мозга и создавала базу данных, часть сканов перевели в текстовый формат.
После просмотра 10 000 картинок, ИИ должен был пройти этап соотношения приобретённых данных, соотнеся их с зафиксированной активностью мозга.
В итоге удалось разбить информацию на зоны «где» и «что». Из них первая была ответственна за общее построение картины, а вторая зона за определённые объекты. Так получилось создать картинки, на 80% совпадающие с тем, что видели участники исследования.
