Эксперимент NICA, созданный на базе Объединенного института ядерных исследований (ОИЯИ) в городе Дубна, как и все мегасайенс-проекты, производит огромное количество данных, которые нужно оперативно обрабатывать. Ожидается, что в процессе работы эксперимента SPD (Spin Physics Detector) будет производиться более десяти петабайт данных в год.
Эксперименты такого масштаба формируют крупные коллаборации из научных коллективов. В коллаборации SPD на текущий момент участвуют представители более чем 30 исследовательских центров из более чем десяти стран. Важным участником коллаборации является Институт ядерной физики им. Г. И. Будкера СО РАН (ИЯФ СО РАН). Вклад ИЯФ в эксперимент SPD заключается не только в участии в физической программе и создании важных элементов детектора, но и в развитии IT-инфраструктуры эксперимента. Разрабатываемая специалистами ИЯФ СО РАН информационная система CRIC (Computing Resource Information Catalog) является одним из ключевых компонентов для построения распределенной системы обработки экспериментальных данных SPD.
Ученые, задействованные в таких масштабных физических проектах, как Большой адронный коллайдер (БАК) или проект NICA, сталкиваются с проблемой обработки и анализа большого количества данных, а также организации доступа к этим данным участников проекта. Чтобы хранить и анализировать собранную статистику эксперимента ATLAS, ЦЕРН использует специализированную географически распределенную систему вычислений на основе всемирной компьютерной грид-сети БАК. Для обеспечения работоспособности, настройки и эффективного управления подобной распределенной вычислительной средой в ЦЕРН использовалась информационная система AGIS, разработанная командой Института ядерной физики им. Г. И. Будкера СО РАН.
«В 2010-2011 годах шел период разработки и частичного внедрения системы AGIS (ATLAS Grid Information System). Перед нами стояла задача по созданию информационной системы для компьютерной инфраструктуры распределенной вычислительной сети эксперимента ATLAS, которую мы решили и сразу начали поэтапно внедрять систему в производство в ЦЕРН. Пошаговое внедрение очень удобно, потому что позволяет эксперименту плавно адаптироваться к новым решениям, постепенно подключая программные сервисы и новых пользователей, — говорит научный сотрудник ИЯФ СО РАН и координатор проекта CRIC Алексей Анисёнков, — в 2011-2012 годах система уже полностью вошла в эксплуатацию. С ее помощью решались реальные задачи, производилась настройка и организация среды распределенных вычислений, уже тогда была возможность устанавливать, какие ресурсы работают, какие временно отключены, то есть эффективно настраивать большую грид-инфраструктуру из сотен вычислительных кластеров, чтобы в итоге обеспечить работоспособность всей системы обработки данных эксперимента».
Система AGIS успешно справилась с поставленными задачами для эксперимента ATLAS, поэтому ЦЕРН и ИЯФ СО РАН приняли решение создать ее расширенную версию для других экспериментов. В 2016 году началась разработка новой системы CRIC, а постепенный переход экспериментов БАК на ее использование начался уже в 2020 году. На сегодняшний день распределенная среда обработки данных экспериментов БАК включает более 170 крупных компьютерных центров в разных точках мира. Система CRIC позволила обеспечить настройку и согласованную работу распределенной инфраструктуры, чтобы хранить и обрабатывать 700 петабайт данных с одного только эксперимента ATLAS. Петабайт (1024 терабайта) — это очень большой объем данных, для хранения лишь одного петабайта потребовалось бы более 200 тысяч дисков DVD, а для хранения 700 петабайт понадобится более 150 миллионов дисков.
Опыт работы ЦЕРН показывает, что система CRIC подходит для обслуживания мегасайенс-проектов самого разного назначения. Поэтому в 2019-2020 годах началось изучение возможности применить систему CRIC для систем обработки физических данных, полученных на коллайдере NICA, который создается в городе Дубна на базе Объединенного института ядерных исследований. Уже в 2022 году систему стали внедрять на NICA для эксперимента SPD, который тогда находился на этапе проектирования.
«Основная цель этого эксперимента — проверка основ квантовой хромодинамики путем изучения поляризованной структуры нуклона и спиновых явлений при столкновении протонов и дейтронов», — отметил старший научный сотрудник ЛИТ ОИЯИ, заместитель координатора по компьютингу и программному обеспечению эксперимента SPD кандидат технических наук Данила Олейник.
По его словам, после того, как в 2024 году ИЯФ СО РАН вступил в научную коллаборацию SPD, специалисты института принимают активное участие не только в создании экспериментальной установки, но и в развитии инструментов, обеспечивающих обработку данных, важной составляющей которой является система CRIC.
«Ведущий разработчик системы, научный сотрудник Алексей Владимирович Анисёнков курирует в проекте SPD Software & Computing текущее сопровождение и развитие системы CRIC в соответствии с потребностями эксперимента», — подчеркнул Данила Олейник.
Система CRIC будет обеспечивать настройку не только системы обработки экспериментальных данных, но также моделирование физических событий, доступ к статистике и согласованную работу центров в географически распределенной вычислительной среде. Система позволяет управлять и передачей данных, и нагрузкой, а также помогает решать задачи по мониторингу, учету и предоставлению различных форм отчетов об использовании ресурсов.
«Ожидаемый объем получаемых экспериментальных данных измеряется десятками петабайт в год, что ставит данный эксперимент в один ряд с экспериментами на БАК. Естественным образом обработка экспериментальных данных, включая моделирование физических событий, осуществляется в географически распределенной вычислительной среде, одной из ключевых систем которой является CRIC», — отметил Данила Олейник.
По словам Алексея Анисёнкова, в дальнейшем запланировано активное развитие системы и помощь в обеспечении текущих нужд эксперимента SPD, сопровождение проекта.
“Информационная система CRIC является составной частью комплексной системы распределенной обработки данных эксперимента SPD, над развитием которой работают представители различных научных организаций. Основной вклад в доработку и ввод в эксплуатацию других элементов комплекса, системы управления нагрузкой PanDA и системы управления данными Rucio для нужд SPD осуществляется специалистами ЛИТ ОИЯИ, в развитии географически распределенной инфраструктуры обработки данных активно участвует «Петербургский институт ядерной физики им. Б. П. Константинова Национального исследовательского центра «Курчатовский институт» (Гатчина)”, - отметил Данила Олейник.