Исследователи Центра искусственного интеллекта НИУ ВШЭ разработали новый метод оценки надежности моделей машинного обучения. Они показали, что подход работает в восемь раз быстрее, чем полный перебор моделей, и существенно снижает объем ручной проверки. Метод можно использовать в задачах физики элементарных частиц с нейросетями различной архитектуры.
Чтобы проще и быстрее анализировать экспериментальные данные, в физике элементарных частиц все чаще используют машинное обучение и искусственный интеллект. Например, нейросети помогают обрабатывать сигналы приборов и восстанавливать недостающие данные о свойствах частиц. Такие предсказания влияют на дальнейший анализ, поэтому необходимо знать их надежность. При этом часто оценивается только точность модели и редко учитывается, насколько сильно меняются ее результаты при повторных обучениях. Особенно это заметно в работе с глубокими нейросетями: их поведение сложно интерпретировать, и результаты разных запусков обучения могут расходиться. Поэтому, несмотря на потенциальную пользу применения нейросетей, многие физики относятся к ним с недоверием.
Ученые Центра ИИ НИУ ВШЭ предложили свое решение. Они разработали метод, который автоматически сравнивает десятки вариантов нейросетей и отбирает среди них наиболее надежные и устойчивые. Идея следующая: если модель каждый раз по-новому обучать на слегка измененных данных и с разными начальными весами, то разброс ошибок покажет, насколько уверенно она работает при небольших изменениях условий. Устойчивая модель в таких испытаниях будет давать почти одинаковый результат. Исследование опубликовано в журнале IEEE Access.
Исследователи проверяли метод на задаче, где по картинке из ячеек электромагнитного калориметра нужно определить, с какой энергией и в какую точку в детекторе попала частица. Электромагнитный калориметр — это устройство, состоящее из множества ячеек и измеряющее количество энергии в каждой ячейке после попадания частицы.
«Для анализа мы сгенерировали полмиллиона виртуальных сигналов, имитирующих работу детектора, и многократно прогнали их через разные модели, каждый раз меняя обучающие и тестовые выборки. Потом с помощью нашего метода выбрали самые надежные модели и исследовали их характеристики. Так мы оценили минимальный объем примеров, при котором модель становится робастной — устойчиво ведет себя при разных запусках», — рассказал ведущий научный сотрудник Научно-учебной лаборатории (НУЛ) методов анализа больших данных Института ИИ и цифровых наук НИУ ВШЭ Федор Ратников.
Ключевой элемент подхода — специальный алгоритм отбора. Для каждого варианта модели исследователи собирали набор ее ошибок, накопленный за десятки независимых запусков, и по этому распределению оценивали, насколько предсказуемо ведет себя модель. Такой подход позволяет автоматически отсеивать модели, которые случайно сделали хорошие предсказания, и выделять те, что работают стабильно при любых разумных изменениях условий.
«Все модели мы многократно обучали на полумиллионе событий симуляции калориметра, каждый раз по-новому деля данные на обучающую и тестовую части и задавая разные случайные начальные веса. Это позволило не только измерить, как часто ошибается модель, но и отследить, как она обучается от запуска к запуску», — пояснил сотрудник НУЛ методов анализа больших данных Института ИИ и цифровых наук Алексей Болдырев.
Исследование также показало, что модели, которым вместе с сырыми сигналами передают и простые заранее известные физические величины, обходятся меньшим количеством данных и быстрее выходят на устойчивый результат. Авторы оценили минимальный объем данных, при котором такие модели сохраняют качество от запуска к запуску, и выделили две стабильно точные и надежные архитектуры.
«Новый метод позволяет ускорить выбор надежных ИИ-моделей для решения некоторых задач физики элементарных частиц. И делает это в восемь раз быстрее, чем традиционный способ полного перебора всех вариантов», — отметил стажер-исследователь НУЛ методов анализа больших данных Института ИИ и цифровых наук Андрей Шевелев.
Исследователи подчеркнули, что алгоритм полностью автоматизирован и не требует ручной настройки. Благодаря этому его можно использовать как основу для самообучающихся систем, которые смогут стабильно работать вне зависимости от колебаний в обучающих данных и собственных ограничений моделей.