Команда NordClan выполняла проект для крупнейшего в России производителя углеродного волокна. Завод входит в состав композитного дивизиона госкорпорации Росатом.
Расскажем о том, как с помощью нейросетей и машинного зрения анализировали качество жгутов углеродного волокна.
Завод занимает первое место в России и входит в десятку мировых лидеров по производству углеродного волокна. Мощность его производства составляет 1400 тонн продукции в год. Для поддержания высокого уровня качества продукции компания приняла решение автоматизировать процесс контроля качества с помощью новых технологий.
“Идея автоматизированного определения дефектов волокна с помощью машинного зрения появилась давно. Мы понимали, что для аппаратчиков это большая нагрузка и, чтобы в том числе устранить человеческий фактор, и добиться высокого качества производимой продукции, решили доверится более острому зрению – машинному зрению. Мы идем в ногу со временем и используем инновационные решения для поставленных задач”, — рассказывает инженер-технолог производства углеродного волокна Алина Бутусова.
Контроль качества на производстве волокна
Углеродное волокно — материал, состоящий из тонких нитей диаметром от 6 до 8 мкм, образованных преимущественно атомами углерода. Композитный дивизион поставляет волокно в качестве сырья для производства композитных крыльев, ракетных двигателей, лопастей ветрогенераторов, а также хоккейных клюшек, велосипедов, карбоновых деталей для кузовов дорогих спорткаров и мотоциклов, лодок и т.д.
Обычно углеродное волокно получают при помощи термической обработки химических или природных органических волокон. В результате образуются межатомные связи, приближающиеся к кристаллической структуре алмаза, что придает волокну (по направлению вдоль) невероятную прочность.
В процессе производства на углеродных нитях могут появляться различные дефекты: обрыв, узел, ворс (пучок), отклонение толщины жгута и полотна на 2 мм и более по ширине или по высоте, посторонние включения (капли смолы аппрета, мусор и т.п.).
Примеры некоторых дефектов волокна, которые распознает система ML SenseИ если для декоративного применения качество волокна не так важно, то для производства углеродной ткани дефектные нити не подойдут.
Дефекты на производстве контролировались аппаратчиками и контролерами отдела ОТК, которые смотрели на десятки жгутов на линии шириной 3 метра и устраняли дефект, который замечали. Рассмотреть все дефекты при таком объеме человеческому глазу достаточно сложно. Это как наблюдать за стадом одинаковых зебр, которые весь день быстро скачут перед глазами — скорость линии до 12 метров в минуту.
Вал с волокнами углеродного волокнаЧтобы упростить работу и автоматизировать процесс было решено использовать машинное зрение, а компания NordClan выступила подрядчиком с опытом реализации подобных проектов по контролю качества. Наш продукт ML Sense подошел под все требования: система способна распознавать дефекты от 0,1 мм и обеспечивает высокую точность детекции (не менее 97%).
Оценка масштабов и сложности задачи
На старте проекта мы выехали на производство, чтобы определить точки контроля, на которые будем устанавливать оборудование. Важно было оценить факторы, которые влияют на работу системы ML Sense — уровень освещения, наличие пыли, вибраций.
Мы ориентировались и на производственный процесс, чтобы установленное оборудование не мешало сотрудникам производства выполнять свои задачи, и одновременно было защищено от случайного повреждения, ведь стоимость одной камеры может достигать сотен тысяч рублей.
“Ожидания от новой системы высоки. Мы ставили сложную задачу коллегам NordClan добиться не менее 97 % выявления дефектов, т.к. мы, как производители углеродного волокна, понимаем ответственность изделий, для производства которых используется наше волокно. Мы дорожим своей репутацией и коллеги NordClan проявили высокую заинтересованность и нацеленность на результат. Общаться с ними было легко, т.к. они, как профессионалы своего дела, легко улавливали наши пожелания и превращали их в жизнь".
Команда NordClan на производстве Наше решение должно детектировать дефекты на финальной стадии производства и вовремя оповещать ответственных сотрудников, чтобы они успели принять меры — устранить дефектный участок волокна и продолжить процесс намотки.
Подбор оборудования
Для каждого проекта на основе машинного зрения наши специалисты подбирают набор оборудования. Например, если для выявления дефекта на листе металла достаточно камеры стандартного разрешения, то с поиском дефектов на тончайших нитях волокна она не справится. Из-за санкций нам пришлось отказаться от немецких камер Basler и найти аналог достойного качества — Hikrobot (Китай).
Была вероятность, что при замене камеры придется переучивать нейросеть, т.к. алгоритм ML Sense обучен на определенном типе оборудования и чувствителен к правильному расположению камеры и освещения. Для дополнительных тестов системы мы запросили у завода бобины углеродного волокна и воспроизвели весь процесс проверки качества волокна в собственной лаборатории. Испытания показали тот же уровень точности распознавания до 98% и мы были готовы к следующему этапу работ.
Второй важный фактор для выявления дефектов с помощью машинного зрения — освещение. Для точного распознавания нейросеть должна получать четкие снимки высокой контрастности, в нашем случае это черные нити на ярком белом фоне.
Сложность в том, что высокоскоростная камера способна делать до тысячи кадров в секунду и обычный светильник при таких скоростях будет мерцать и ровный белый фон мы не получим. Эффект будет примерно как при съемке на телефон видео с экрана старого телевизора — картинка будет “прыгать”. Такое мерцание незаметно для человеческого глаза, но у системы с машинным зрением в таких условиях может снижается процент точности распознавания.
Также ширина вала в месте контроля волокна почти 3 метра и типовое освещение для этой задачи не подходило. Для проекта мы заказали светильник по индивидуальным параметрам: нестандартной длины и со светодиодами высокой интенсивности, которые расположены плотно друг к другу.
Параллельно с процессом подбора оборудования наши инженеры моделировали виртуальную 3D сцену в SolidWorks на основе замеров оборудования с производства. Рассчитали оптимальное расстояние для установки камер, светильника и подготовили чертежи мачты для крепления оборудования, по которым изготовили конструкцию.
Создание алгоритма
Для проекта использована предобученная система с машинным зрением ML Sense, которая способна определять дефекты на производстве различного типа. В ее основе сверхточная нейросеть, каждый элемент (слой) которой отвечает за распознавание разных параметров: форма, размер, цвет и др. Для определения дефектов волокна мы добавили новые слои нейросети, которые обучили распознавать типовые дефекты нитей.
Сбор данных для обучения нейронной сети
Для этого мы установили на заводе камеры и обеспечили сбор данных, а после отобрали кадры, на которых были видны дефекты волокна. Сбор проходил около месяца, но так как на производстве дефект не такое частое явление, а для обучений нейросети требуются тысячи изображений, то дополнительные данные мы сгенерировали синтетическим путем, а также сделали фото дефектов волокна в собственной лаборатории.
Разнообразие материалов обеспечили процессом аугментации данных. В результате мы имеем датасет из 10 000 фотографий, где каждый вид дефектов размечен и классифицирован для обучения нейросети: это узел, это ворс и т.д.
Как теперь работает обученный алгоритм?
Линейная камера направлена на нити волокна и делает фото в заданной точке шириной 1 пиксель. Таких кадров камера делает 40 000 штук в секунду - рабочая частота кадров камеры синхронизирована со скоростью конвейера, чтобы получать данные такими, как они есть в реальности, а не вытянутые фотографии из-за движущегося конвейера. Далее, для дальнейшего анализа нейросетью, эти кадры собираются в полноценное изображение по “строчкам” шириной 1 пиксель, примерно как линни при игре в тетрис. Полученный кадр нейросеть сравнивает с имеющимися в своей “памяти” данными и определяет есть ли на изображении дефект.
Разработка системы оповещения
Особенностью производства углеродного волокна является то, что полотно жгутов распределяется и наматывается на бобины на разных приемных местах, расположенных на разных отрезках производственной линии. Условно разделили полотно на 3 зоны (красный, зеленый и оранжевый), чтобы аппаратчик мог быстро понять на какие места приемной машины движется дефект и сразу направиться в зону дефекта.
Схематичное разделение по цветовым зонам приемочной машиныДля быстрого оповещения сотрудников о дефектах вместе с технологами завода мы придумали систему оповещения:
1. Световые индикаторы зон приемной машины (красный, желтый и зеленый) должны показывать в какую зону намотки попадает готовый жгут и как быстро нужно принять меры по устранению дефекта.
Настройка световых оповещателей2. Голосовое оповещение дублирует данные о дефекте. Это помогает ускорить получение аппаратчиками и контролерами ОТК информации, когда он находится вдалеке от киоска с АРМ. Уведомления записаны мужским и женским голосом - отдельно для каждого этажа, так аппаратчик понимает в какую зону ему подойти.
“Новая система оповещения очень удобна в эксплуатации. Теперь аппаратчику не требуется непрерывно отслеживать полотно жгутов, он может заниматься пересъемом бобин с волокном, учетом готовой продукции и др. сопутствующими работами не боясь пропустить дефект на волокне. Ведь система машинного зрения вовремя просигнализирует и привлечет его внимание”, — рассказывает инженер-технолог производства углеродного волокна Алина Бутусова.
3. Каждому дефекту присвоили свой класс (числовой код от 1 до 9), чтобы аппаратчик производственной линии быстро понимал насколько дефект критичен.
Интерфейс системы ML Sense: в красной зоне обнаружен критический дефект узел (класс 2)Запуск системы контроля качества волокна ML Sense
После тщательной подготовки и тестирования в нашей ML-лаборатории система была готова к монтажу на объекте. Но на реальном производственном объекте нельзя просто так взять и приехать на установку оборудования. Для допуска к производству работ создается пакет исходно-разрешительной документации, включая исполнительные схемы, допуски, ведомости, сметы, удостоверения и всё, что требовали регламенты ФЗ и ГОСТ. Наконец мы доставили, собрали и установили мачты с камерами на трех постах контроля качества завода.
Мачта с установленной высокоскоростной камерой на одном из постовБлок с освещением был интегрирован в производственные конструкции так, чтобы не мешать и не изменять производственный процесс.
Смонтированное освещение на производственной конструкции заводаРядом с мачтой установлено автоматизированное рабочее место (АРМ) оператора системы ML Sense — это киоск с защитой IP65. Такая защита нужна из-за того, что углеродное волокно — токопроводящий материал, также как и пыль, которая образуется в процессе производства. Установленная на приемной машине светосигнальная колонна загорается, когда в эту зону намотки катушек движется дефект.
“При обнаружении дефекта, система машинного зрения подает сигнал и, в зависимости от вида дефекта, аппаратчик линии может либо устранить дефект, либо вовремя снять бобину с дефектным волокном, — рассказывает инженер-технолог производства углеродного волокна Алина Бутусова. — Во время обучения были вовлечены как аппаратчики линии и контролеры ОТК – непосредственные участники процесса, так и технологи, инженеры КИП и А, ИТР службы главного инженера. Именно благодаря совместному интересу и участию всех служб, работа шла эффективно и плодотворно (некоторые решения по улучшению систему принимались на ходу во время обучения, и коллеги NordClan сразу же их подхватывали)”.
АРМ оператора ОТК: киоск поста контроля качества
Светосигнальная колонна на линии приемочной машиныОптимизация работы системы после запуска на производстве
Алгоритмы системы ML Sense обрабатывают большой массив данных, моделируя из полученных кадров полноценное изображение и выявляя признаки дефектов на полученном фото. Для подобных высоконагруженных задач был установлен отдельный сервер. Однако, первое время выходил из строя стабилизатор напряжения, через который подключались серверы для работы системы. Это происходило из-за токопроводящей способности углеродного волокна и его пыли. Изначально сервера были установлены в отдельной комнате, но в ней банально часто открывалась дверь и на оборудование попадало много пыли с производства. Сервера переместили в более защищенное помещение на территории завода и проблема с перебоями напряжения была решена.
После первых запусков системы, мы обнаружили вибрацию на нитях от намоточных машин. Камера фиксировала причудливые узоры, которые нейросеть детектировала как аномалии.
Пример аномалий из-за вибрации нитей после первых запусков системы ML SenseЧтобы система игнорировала подобные события, добавили в систему дополнительный готовый алгоритм из библиотеки системы ML Sense. Решение заработало в штатном режиме и было введено в эксплуатацию.
Пост контроля качества волокнаНа каждом этапе внедрения системы с нами активно взаимодействовали технологи предприятия. Благодаря вовлеченности персонала мы смогли глубоко погрузиться в производственные процессы компании, чтобы система контроля качества упростила работу аппаратчиков линии. Каждый сотрудник со стороны Заказчика был заинтересован в результате проекта и мы быстро проходили все этапы согласования.
Отличительно то, что руководство завода лично присутствовало на рабочих встречах по согласованию точек контроля дефектов и мест установки постов с АРМ оператора. Именно такая заинтересованность и вовлеченность в процесс внедрения новых технологий позволяет нам максимально эффективно использовать возможности решения ML Sense на пользу производству.
В установленной системе обнаруженные дефекты отображаются в интерфейсе: на временной шкале отмечены все события возникновения дефекта. По каждому событию можно просмотреть подробный отчет, где указано в какой цветовой зоне находится жгут, на каких нитях обнаружен дефект и какой именно. Система контроля дефектов интегрирована с MES-системой завода.
“От внедрения системы машинного зрения мы ожидаем и экономический эффект в том числе. Сколько? Покажет время… Но самый главный эффект, который мы нацелены получить – это стопроцентная уверенность в качестве нашей продукции и, соответственно, наша репутация перед клиентами”, — инженер-технолог производства углеродного волокна Алина Бутусова.