Специалисты Института интеллектуальных кибернетических систем Национального исследовательского ядерного университета «МИФИ» разрабатывают программную систему виртуального ассистента композитора, способного определять эмоциональный настрой человека и следовать его логике.
Несмотря на существование развитой музыкальной теории, создание музыки до сих пор с трудом поддается формальной алгоритмизации из-за неразрывной связи с эмоциональной жизнью человека-творца. Изучение этого аспекта творческого процесса представляет большой интерес для специалистов по машинному интеллекту.
Сегодня исследователи уже могут наладить взаимодействие между человеком и программным агентом таким образом, чтобы программа, получая информацию об эмоциональном состоянии и намерениях человека, позволяла компьютеру стать продолжением человеческого разума и тела.
Ассистент композитора — это программное обеспечение, которое способно самостоятельно создавать музыкальные композиции на «человеческом» уровне, высокого эстетического качества. Ассистент — «умный» творческий помощник, который способен дополнять ноты, написанные композитором, «собственными» нотами, аккордами и их комбинациями, сотрудники Института интеллектуальных кибернетических систем НИЯУ МИФИ.
По словам ученых, чтобы достигнуть этой цели, необходимо было проанализировать теорию музыки (выделить музыкальные звуки, аккорды, их комбинации), создать семантические карты на базе этого анализа и связать их с моделями эмоционального восприятия музыки человеком.
Новая программная система принципиально отличается от похожих разработок тем, что виртуальный агент способен поддерживать эмоциональный контакт с человеком, отметил профессор Института интеллектуальных кибернетических систем НИЯУ МИФИ Алексей Самсонович.
«Большинство подобных приложений представляют собой нейронные сети, обученные писать музыку или рисовать картины. Но у нас идея в другом: уловить эмоциональный настрой человека и следовать логике этого настроя», — рассказал он.
Семантическая карта вместо нейросети
По его словам, метод основан не на нейросети, а на семантической карте, где состояние человека представлено точкой в аффективном пространстве. Каждое возможное действие также имеет координаты в этом пространстве, и существует некоторый закон, связывающий одни координаты с другими, следуя логике эмоционального восприятия. Есть также ограничения, определяемые законами музыкальной гармонии и ритма.
«Однако ограничения не могут определять все и оставляют некоторую «свободу для творчества». Эту свободу и использует наш модуль, руководствуясь семантической картой и правилами выбора координат на ней с учетом эволюции эмоционального состояния человека. Замечу, что здесь речь идет не об обучении: модель выводится из «первопринципов» психологии (базисных психологические аспектов поведения). В этом смысле такая модель может объяснить суть явления творчества, в то время как нейросеть не может», – пояснил Алексей Самсонович.
«Взаимопонимание» между композитором и виртуальным агентом оказывается возможным благодаря систематизации и хранению в программной среде различных типов эмоциональной реакции человека на музыкальные элементы — аккорды, их последовательности и интервалы.
Для накопления и использования программой информации об удачных и уместных сочетаниях звуков, используется методика семантической карты, которая позволяет «виртуальному композитору» не только продолжать по своему вкусу заданную пользователем мелодию, но и отслеживать его настроение, предлагая разные вариации развития и подбирая аккомпанемент.
При разработке методики было использовано специальное приложение, предлагавшее участникам тестирования оценить различные комбинации аккордов по десятибалльной шкале для трех критериев: «приятно-неприятно», «весело-грустно», «возбуждающе-скучно». Такая система оценки позволяет создавать трехмерные семантические карты.
«Мы исходим из предположения, что выбор человеком того или иного поведения на основе социальных эмоций, чувств и взаимоотношений можно описать сравнительно простыми динамическими уравнениями. Простая модель поведения на основе семантической карты и двух уравнений оказывается неотличимой от человека в простейшей парадигме социального взаимодействия в виртуальном окружении», — рассказал Алексей Самсонович.
Он отметил, что наиболее перспективный подход в этой области исследований обеспечивают когнитивные архитектуры, созданные на основе данных психологии и нейронауки, — так называемые «биологически инспирированные когнитивные архитектуры» (БИКА).
По словам ученых, разработанная технология обладает масштабируемостью и сможет применяться не только в музыке, но и во многих других видах цифрового творчества, а также более широко в человеко-машинных системах. Создание и внедрение подобных разработок — важнейший шаг на пути изучения социоэмоционального аспекта интеллекта, ответственного за распознавание и выражение эмоций, намерений, мотиваций и желаний.