Исследователи Университета Иннополис, Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Джадавпурского университета разработали гибридную нейросетевую архитектуру, которая анализирует электроэнцефалограммы для определения стресса, радости и других эмоциональных состояний. Решение полезно при создании систем мониторинга психического здоровья и адаптивных интерфейсов человек—компьютер. Результаты экспериментов опубликовал научный журнал Scientific Reports, входящий в Nature Portfolio.
Новая модель была протестирована на трёх общедоступных эталонных наборах данных ЭЭГ. Максимальную точность — 99,99% — модель показала на наборах данных, где нужно было определить спокойствие, стресс или радость и эмоциональные состояния в условиях стресса: в первом случае система совершила 3 ошибки из 27 130 образцов, во втором — всего 1 ошибку из 78 328 вариантов. Наибольшее количество ошибок модель сделала на наборе, где требовалось выявить негативное, нейтральное и положительное настроения — 15 ошибок на 427 случаев — точность 96,49%.
«Мониторинг психического здоровья с помощью распознавания эмоций играет важную роль в разработке систем персонализированного здравоохранения и в ранней диагностике депрессии, тревожности и связанных со стрессом расстройств. Если существующие подходы к распознаванию эмоций по ЭЭГ с помощью искусственного интеллекта требуют ручного выбора и настройки признаков, плохо обобщаются на разные наборы данных и вычислительно сложны, то наша новая ИИ-архитектура снимает эти ограничения: позволяет получить результат быстрее, точнее и с меньшими вычислительными затратами», - отметил Дмитрий Каплун, ведущий программист-математик Исследовательского центра в сфере ИИ Университета Иннополис.
Предложенная исследователями архитектура объединяет две параллельные ветви нейронной сети. Временная ветвь использует сеть долгой краткосрочной памяти, которая обрабатывает сырые сигналы электроэнцефалограмм и улавливает изменения, связанные с эмоциональными состояниями. А спектральная ветвь с помощью свёрточной нейросети извлекает из ЭЭГ-сигналов признаки. Результаты обеих ветвей объединяются, а итог классифицируется с помощью компактной нейросети. Учёные также придумали ввести механизм кросс-модального улучшения, который позволяет двум этим ветвям обмениваться информацией и обогащать друг друга признаками, что делает прогноз эмоций точнее.
В сравнении с существующими моделями, решение исследователей на тех же наборах данных превзошло или сравнялось с известными результатами. На наборе данных с негативными, нейтральными и положительными эмоциями лучший результат был 95,99% — новая модель показала 96,49% точность. На наборе данных с спокойным, стрессовым и радостным состояниями прежний лучший результат составлял 98,55%, а предложенная модель достигла точности в 99,99%.
В дальнейшем учёные планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ и интегрировать ИИ-архитектуру для использования с другими методами и данными психофизиологической диагностики: электрокардиограммами, фотоплетизмограммами и электродермальной активностью.
Статья «Двухветвевая структура глубокого обучения для распознавания эмоций по сигналам ЭЭГ» опубликована в научном журнале Scientific Reports. Её авторы — Вячеслав Гульванский и Дмитрий Каплун (Университет Иннополис и ЛЭТИ), а также Дебам Саха, Асфак Али и Рам Саркар (Джадавпурский университет, Индия).