«Мы можем двигать предметы силой мысли»: учёные НовГУ работают над созданием искусственного интеллекта

Разработчики лаборатории VR и AR подали заявку в Фонд Бортника на создание «программно-аппаратного комплекса контроля внимания дистанционных и инклюзивных групп». ИИ-ассистент сообщит педагогу, насколько студенты сосредоточены на лекции. Для создания комплекса учёным НовГУ удалось объединить в единую систему виртуальную реальность и нейроинтерфейс — прибор для обмена информации между мозгом человека и электронным устройством. Разработка является частью большого проекта учёных НовГУ по созданию искусственного интеллекта. В зависимости от задач, он сможет обучать маленьких детей, аппаратчиков сложных станков, тренировать бойцов. На пути к созданию ИИ учёные разрабатывают игры с элементами виртуальной реальности, VR-тренажёры для производств и проводят масштабные исследования. Подробнее — в материале «Газон Медиа».

Конь Достоевского и «большой бум» на Акроне

С 2019 года Лаборатория VR и AR разрабатывает трёхмерные модели: от демонстрационных музеев до интерактивных квестов и игр. Один из проектов — виртуальный дом-музей Достоевского был продемонстрирован в бизнес-инкубаторе и получил массу положительных отзывов. В VR-музее нет заграждений и защитных стекол, поэтому его посетители могут вплотную приближаться даже к самым ценным экспонатам. В экспозиции всего одна комната, воссозданная по фотографиям. Все предметы идеально проработаны и детализированы, вплоть до игры света и тени. Несмотря на то, что виртуальный музей — лишь небольшая часть реального, в нём много увлекательного.

— Игрушечная лошадка — любимый экспонат у наших посетителей, — рассказала завлабораторией Дарья Бурцева. — Почти все пытаются её погладить или оседлать. Особенно чудо-конь полюбился школьникам из ДНР и ЛНР. Но сейчас взаимодействовать с предметами нельзя, поскольку VR музей — это прототип. Мы сделали его для демонстрации наших возможностей. При необходимости музей можно расширить и добавить опцию «брать и рассматривать экспонаты».

Виртуальные пространства, где предметы можно и даже нужно трогать, лаборатория тоже создает. Под ее руководством студенты разработали VR-модели производственных цехов на предприятиях «Лактис», «Мстинское молоко», «Медовый дом», «Крестецкая строчка». Виртуальные промзоны полностью повторяли реальные производства с поточными линиями, панелями управления и системами оповещения. Они создавались для обучения персонала и отработки внештатных ситуаций.

— VR-моделью производства заинтересовалась группа компаний «Акрон», — отметил профессор НовГУ Роман Петров. — Виртуальная реальность позволяет безопасно проработать все внештатные ситуации, включая катастрофические: куда бежать при пожаре, при утечке каких веществ прижиматься к полу, а каких — подниматься повыше, как действовать при взрыве. Конкретного технического задания от «Акрона» пока нет, идёт переговорный процесс. Но важно, что региональные компании уже знают — такой продукт могут разработать в Новгородском университете.

Двигать кубик силой мысли

Полтора года назад в лаборатории решили, что только в виртуальной реальности им уже тесно, нужен новый предмет исследований. Внимание ученых привлекли нейроинтерфейсы и технологии, способные повышать биологические возможности человека. Нейроинтерфейс — система для обмена информации между мозгом и электронным устройством. Устройство крепится к голове, считывает и расшифровывает желание человека совершить какое-то действие — оно отображается в изменениях электроэнцефалограммы. Ученые решили объединить виртуальную реальность и нейроинтерфейс в единую систему. Уже создан демонстрационный проект, позволяющий перемещать предметы силой мысли. Пока только в виртуальном пространстве.

— При помощи силы мысли мы можем взаимодействовать с виртуальным миром, эта область мало изучена, — рассказал программист лаборатории виртуальной и дополненной реальности Евгений Менделеев. — Нейроинтерфейс подключается к компьютеру по bluetooth соединению и отправляет туда данные активности мозга. На мониторе отражается уровень внимания и объекты, с которыми можно взаимодействовать: кубики, цилиндр, капсула. Если мы наведем на них камеру, то есть просто посмотрим, произойдет заранее запрограммированное действие. Например, цилиндр будет вращаться. Причем настолько быстро, насколько высоко к нему внимание. У кубика четыре диапазона внимания. Слабому соответствует зеленый цвет, среднему — желтый, высокому — красный. Если внимание максимально пристальное, то включается четвертый уровень и кубик исчезает. Эта небольшая программа доказывает, что с помощью силы мысли с предметами можно взаимодействовать, что-то вроде телекинеза. Всего нам потребовалось около трёх месяцев: основное время тратилось на изучение нейроинтерфейса и разработку модуля, который будет считывать и сохранять данные. На разработку приложения ушёл месяц.

Разработчики лаборатории создали игру, чтобы углубиться в понимание работы нейроинтерфейса и тренировку способов концентрации внимания. В игре нужно проходить лабиринт, решать загадки и при помощи интерактивных табличек узнавать факты про Новгород. Взаимодействовать с предметами можно силой мысли.

Разработка пока экспериментальная. Мы привязываем уровень внимания к определенному действию — препятствия в игре уменьшаются и исчезают. Таким образом, можно преодолеть преграду нестандартным способом — поставить что-то, дернуть рычаг, а в нашем случае — силой мысли с нейроинтерфейсом. Механика ловушек в игре завязана на концентрации. Если человек спокоен, он их преодолеет, не получив урон.

Илья Хонинсотрудник лаборатории виртуальной и дополненной реальности

Нейроинтерфейс — американская разработка, но учёным НовГУ по силам сделать аналог. Нужны только средства и соответствующий заказ.

— Там три электрода, которые считывают мозговые ритмы, — рассказал профессор Петров. — Тем не менее, все далеко не так просто, как выглядит. Американцы провели глубочайшие исследования, повторить которые пока никому не удалось. Но это вызов.

ИИ-ассистент

Объединение нейроинтерфейса и виртуальной реальности позволило команде ученых начать работы по созданию искусственного интеллекта. Уже сегодня они пишут программу ИИ и проводят исследования.

То, что у нас нейроинтерфейс работает в виртуальной реальности — это прорыв. Не все исследовательские группы в мире способны это сделать. Сейчас мы выясняем, как можно применить нашу разработку в медицине. С точки зрения науки мы уже подали заявку в фонд Бортника. Мы предлагаем проект программно-аппаратного комплекса контроля внимания дистанционных и инклюзивных групп. С помощью нейроинтерфейса четко видно, насколько они сконцентрировали внимание на предмете. Если внимание низкое, то лектор провел свою лекцию впустую. Пока это гипотеза. Но мы уже начали её проверять.

Роман Петровпрофессор НовГУ

Согласно гипотезе, объем запоминаемой информации больше всего зависит от внимания, а не от других факторов. Чем оно выше, тем лучше люди вникают в суть предмета и правильно выстраивают причинно-следственные связи. Для доказательства гипотезы ученые разработали специальный тест.

Тест разделен на два этапа. Я написал программу, которая отслеживает во времени все параметры, которые снимает нейрогарнитура. Можно наблюдать, когда внимание повышается, когда уменьшается. На первом этапе испытуемому предлагается прочитать стихотворение за минуту и рассказать, в чем там суть. Второй этап — выучить короткое стихотворение наизусть и пересказать его за шесть минут. Так мы формируем базу данных. Она будет исследоваться. Несмотря на простоту теста, над его концепцией мы работали полгода. Все испытуемые поставлены в одну ситуацию, но проявляют себя в ней по-разному. Опираясь на исследования, в будущем мы сможем понять отличие одного человека от другого и предсказать его поведение. Сможем оценивать эмоции и умственные способности.

Евгений Менделеевпрограммист лаборатории виртуальной и дополненной реальности

По словам Романа Петрова, все разработки молодых ученых являются вехами на пути к созданию искусственного интеллекта. Насколько далеко им удастся продвинутся, станет ясно через год.

— Изучив мозговые ритмы, мы можем создать ИИ, скопировав функции, которые есть у реальных людей, — рассказал Роман Петров. — Потому что живой организм характеризуется в том числе мозговыми ритмами. Попав в виртуальную реальность, вы будете общаться с компьютерными созданиями — ботами, у которых искусственный разум. Но будете ощущать, что они живые, потому что они будут наделены качествами живого организма. Искусственный разум можно использовать в игровых ситуациях для обучения. Например, детей в садике: посмотреть на Африку, погулять со слонами. Или Антарктику, с пингвинами. Или вообще на Марс улететь и ощущать другую гравитацию. С таким же успехом в виртуальной реальности можно тренировать бойцов. Это гораздо дешевле, чем строить фортификации и обучать солдат в условиях боя. Через год мы постараемся найти подходы. Образование в ИТИС — мирового уровня, наши студенты могут сделать всё это.

За рубежом искусственный интеллект уже стал частью образовательной системы. В Технологическом институте США система искусственного интеллекта читает лекции студентам, в Японии ИИ отслеживает успеваемость учеников и борется с буллингом.