Автор: 
Российские исследователи разработали систему для автоматического выделения этапов производственных процессов по видеопотокам. С её помощью нейросеть сможет сама определить отклонения от производственного процесса и даже предотвращать аварийные ситуации. Используемый подход самообучения (self-supervised learning) позволяет сократить затраты на ручную разметку данных и повысить устойчивость работы модели в реальных условиях. Результаты исследования опубликованы в журнале IEEE Access (Q1).
Технология предназначена для временной сегментации видеопотоков с производственных площадок. Система понимает, на каком этапе находится та или иная операция — например, замена масла или сборка компонентов — и автоматически выделяет ключевые моменты в видеоматериале. Внедрение таких систем даёт реальную экономию: теперь не нужно вручную разбирать сотни часов видео, чтобы обучить нейросеть распознавать производственные этапы. Модель будет самостоятельно выделять закономерности в больших объёмах необработанного материала. Это позволяет промышленным камерам в реальном времени выявлять отклонения от нормального хода процесса и помогать предотвратить аварийные ситуации.
Нейросеть обучается на большом массиве неразмеченных видеозаписей, самостоятельно выделяя ключевые признаки без участия разметчиков. Затем проходит дообучение на небольшой размеченной выборке и адаптируется под конкретные задачи (например, для классификации событий «замена колеса», «замена масла», «статическое состояние»). Система показала высокую скорость обработки видеопотоков, что делает её пригодной для применения в реальном времени в промышленных условиях. В ближайших планах команды — расширить количество поддерживаемых сценариев и типов производственных операций, протестировать систему на реальных объектах с непрерывным мониторингом большого числа процессов, интегрировать подход в комплексные системы для умного видеонаблюдения на промышленных площадках.
