Для обучения моделей машинного зрения в дефектоскопии нужны размеченные датасеты с изображениями бракованных и годных изделий. Готовые наборы данных доступны в открытых репозиториях, но чаще их собирают на производстве под конкретные задачи. Процесс включает выбор оборудования, съёмку, разметку и валидацию выборки.
Что такое датасет для дефектоскопии
Датасет — структурированный набор изображений или видеокадров с аннотациями, где указаны типы дефектов, их координаты и классы. В промышленном контроле качества используют два типа данных:
- Синтетические: генерируются алгоритмами на основе 3D-моделей или фотореалистичных симуляций.
- Реальные: снимаются на производственной линии с помощью камер, микроскопов или тепловизоров.
Ключевые параметры датасета:
- Разрешение изображений (обычно от 1 Мп до 20 Мп).
- Баланс классов (соотношение годных и бракованных образцов).
- Освещение и ракурсы съёмки (равномерное, направленное, с подсветкой дефектов).
Где взять готовые датасеты
Открытые репозитории содержат универсальные наборы данных, но редко покрывают специфику российских производств. Основные источники:
| Источник | Тип дефектов | Формат разметки | Примеры классов |
|---|---|---|---|
| Kaggle | Поверхностные (царапины, сколы) | COCO, Pascal VOC | Ржавчина, трещины, вмятины |
| Roboflow Universe | Сварные швы, литьё | YOLO, JSON | Непровар, поры, шлаковые включения |
| MVTec AD | Текстиль, пластик, металл | Pixel-wise segmentation | Загрязнения, разрывы, коробление |
| GDXray | Рентгеновские снимки | XML, CSV | Трещины в отливках, инородные тела |
Ограничения готовых датасетов:
- Узкая специализация (например, только сварка или печатные платы).
- Низкое разрешение для микродефектов (менее 0,1 мм).
- Отсутствие специфичных для отрасли классов (например, дефекты эмали на трубах).
Как собрать датасет на производстве
Этапы сбора
| Этап | Задачи | Оборудование/инструменты |
|---|---|---|
| Планирование | Определение типов дефектов, классов, объёма выборки | Техническое задание, ГОСТ на брак |
| Съёмка | Получение изображений с разных ракурсов и освещения | Промышленные камеры, стробоскопы |
| Разметка | Аннотирование дефектов (рамки, полигоны, сегментация) | LabelImg, CVAT, Supervisely |
| Валидация | Проверка разметки, удаление артефактов, балансировка классов | Скрипты на Python, ручной контроль |
| Аугментация | Генерация дополнительных изображений (повороты, шум, изменение яркости) | Albumentations, OpenCV |
Критерии качества датасета
- Репрезентативность: выборка должна включать все типы дефектов, встречающиеся на линии.
- Разнообразие: изображения с разных смен, партий сырья, оборудования.
- Чистота данных: отсутствие бликов, смазанных кадров, посторонних объектов.
- Метки: единообразие аннотаций (например, все трещины размечаются полигонами, а не рамками).
Оборудование для съёмки
Для сбора данных используют:
- Камеры высокого разрешения: от 5 Мп для макродефектов до 50 Мп для микротрещин.
- Специализированные объективы: телецентрические для точных измерений, макрообъективы для мелких деталей.
- Системы освещения: кольцевые светодиоды для равномерной подсветки, поляризационные фильтры для устранения бликов.
- Роботизированные платформы: для съёмки с нескольких ракурсов без остановки линии.
Пример конфигурации:
- Камера Basler ace с разрешением 12 Мп.
- Телецентрический объектив для контроля диаметра отверстий.
- Кольцевая подсветка с регулировкой яркости.
Типичные ошибки при сборе данных
Недостаточный объём выборки
- Модель не обучается на редких дефектах (например, 1-2 изображения на класс).
- Решение: использовать аугментацию или синтетические данные.
Неравномерное освещение
- Тени или блики маскируют дефекты, что приводит к ложным срабатываниям.
- Решение: калибровка освещения перед съёмкой, использование диффузоров.
Некорректная разметка
- Разные аннотаторы размечают один и тот же дефект по-разному (например, трещина как линия или полигон).
- Решение: единый гайд по разметке, перекрёстная проверка.
Игнорирование фоновых шумов
- Посторонние объекты (пыль, отражения) попадают в обучающую выборку.
- Решение: предобработка изображений (фильтрация, бинаризация).
Применение датасетов на производстве
Обучение моделей детекции
- Используют архитектуры YOLO, Faster R-CNN или сегментационные сети (U-Net) для поиска дефектов.
- Пример: модель на основе YOLOv8 для контроля сварных швов на трубопроводах.
Валидация алгоритмов
- Тестовый датасет с известными дефектами проверяет точность модели (метрики: precision, recall, mAP).
Цифровые двойники
- Данные с камер интегрируются в симуляцию производственной линии для прогнозирования брака.
Адаптация к новым задачам
- При изменении продукции или стандартов датасет дообучается на новых изображениях.
FAQ
1. Сколько изображений нужно для обучения модели? Обычно от 1000 до 10 000 размеченных изображений на класс дефекта. Для простых задач (например, детекция трещин) хватает 500–2000 примеров, для сложных (сегментация микродефектов) — 5000+.
Числовые пороги здесь — типовые ориентиры для планирования, а не гарантированный результат. На конкретной линии их согласуют и фиксируют в техническом задании до старта работ.
2. Можно ли использовать синтетические данные вместо реальных? Да, но с оговорками. Синтетические данные ускоряют сбор, но модель может не распознавать реальные дефекты из-за артефактов симуляции. Рекомендуется смешивать оба типа данных.
3. Как хранить и обрабатывать большие датасеты? Используют облачные платформы (AWS S3, Yandex Object Storage) или локальные серверы с RAID-массивами. Для разметки подходят инструменты с поддержкой распределённой работы (CVAT, Label Studio).