Впервые обучить нейросеть поиску и анализу наночастиц с помощью микроскопа смогли ученые Национального исследовательского ядерного университета "МИФИ" (НИЯУ МИФИ). Предложенный ими метод обучения нейросетей позволит отказаться от ручной обработки микрофотографий, что многократно увеличит скорость и качество анализа новых наноматериалов. Данные исследования опубликованы в журнале Ultramicroscopy.
Чтобы обучить нейросеть решать ту или иную задачу, необходимо, как объяснили ученые, "скормить" ей массив уже решенных примеров. Обычно такие обучающие примеры создают люди — так называемые разметчики данных. Чтобы научить сеть анализу изображений, требуются нескольких десятков тысяч размеченных фото, что, по словам ученых, крайне затруднительно для ряда узкоспециальных научных задач.
Одной из таких областей является анализ данных микроскопии наночастиц, для которого до сих пор не существовало удобных инструментов. Исследование ученых НИЯУ МИФИ показало, что эффективно обучать нейросети анализу изображений со сканирующего электронного микроскопа (СЭМ) можно не размечая реальные микрофотографии вручную, а генерируя имитирующие их изображения на компьютере.
"СЭМ, использующий вместо видимого света пучок электронов, применяется при изучении наночастиц, синтезируемых для медицины и других целей. Анализ снимков СЭМ заключается в обнаружении частиц и распределении их по размерам. Нейросетевые подходы в этой области не развиты, а стандартные методы обработки изображений не дают нужного качества", – объяснил специалист Инженерно-физического института биомедицины НИЯУ МИФИ Александр Харин.
Обычно и анализ микрофотографий, и их разметка для нейросетей проходит в ручном режиме — ученый обводит каждую частицу и измеряет ее размеры. При этом на одном снимке их может быть несколько тысяч. Существующие архитектуры нейросетей позволяют эффективно анализировать подобные изображения, так что проблема, по словам ученых, лишь в отсутствии достаточного массива размеченных данных.
Оказалось, по словам ученых НИЯУ МИФИ, можно просто нарисовать наночастицы с учетом их текстуры на реальных микрофотографиях из открытых баз снимков, сделанных на СЭМ. Тогда для каждого сгенерированного изображения будет точно известно, где расположены частицы и каковы их размеры.
"Подобный подход использовался для решения некоторых задач, например, для обучения беспилотных автомобилей, однако оказалось, что нарисовать фотореалистичные и достаточно вариабельные изображения непросто. Но применительно к СЭМ такой подход полностью оправдан: нейросеть, обученная на нарисованных изображениях, отлично работает и на реальных снимках", – отметил Харин.
Результаты исследования позволят автоматизировать обработку снимков СЭМ, совершив переворот в стандартных методах исследования новых материалов, уверены ученые. Это поможет не только сократить время исследования, но и увеличить количество анализируемых частиц — от сотен единиц до десятков тысяч.
В ходе исследования использовалась нейросеть с архитектурой RetinaNet. В дальнейшем научный коллектив намерен использовать этот же подход для классификации наночастиц по форме — пока что это также полностью ручная работа.