Кейс Компьютерное зрение для дронов
КЕЙС

Компьютерное зрение для дронов

Система компьютерного зрения для распознавания и сопровождения объектов в реальном времени в БПЛА-сценариях.
О решении

Описание

Система компьютерного зрения для автономного распознавания и трекинга объектов в реальном времени при работе с БПЛА. Решение применяется как на борту дрона, так и на наземной станции управления, поддерживает работу с видеопотоками RGB и IR и адаптировано к ограничениям по вычислительным ресурсам и задержкам передачи данных.
Отрасль БПЛА / безопасность / мониторинг
Тип решения Система компьютерного зрения
Среда Борт БПЛА + наземная станция

Проектирование под реальные условия эксплуатации

Боль
Нестабильные условия съёмки (освещение, погода, углы обзора) снижают качество детекции
Вибрации и динамика полёта осложняют устойчивое сопровождение объектов
Ограниченные вычислительные ресурсы на борту требуют жёсткой оптимизации алгоритмов
Динамично меняющиеся реалии и бизнес требования для задач с БПЛА
Задача
Real-time детекция и классификация объектов в RGB и ИК диапазонах
Устойчивый трекинг объектов при вибрациях и активном движении платформы
Работа как на борту БПЛА, так и на наземной станции управления
Масштабируемость под новые сценарии и классы объектов
подход

От данных — к работающему решению

Система разрабатывалась для бортовой эксплуатации БПЛА — с ограничениями по latency, углам обзора и вычислительным ресурсам.
1

Анализ входных данных

Анализ входных данных Анализ видеопотоков с БПЛА (RGB и ИК), оценка условий эксплуатации, ограничений по latency и вычислительным ресурсам.
2

Разработка CV-моделей

Разработка CV-моделей
Обучение и оптимизация моделей детекции, классификации и трекинга объектов.Поддержка различных классов: люди, техника, стационарные объекты.
3

Интеграция и тестирование

Интеграция и тестирование
Интеграция решения на борт (Rockchip / Nvidia Jetson) и в НСУ.Тестирование устойчивости в реальных сценариях полёта.
реализация

Что сделано

Реализована система компьютерного зрения для бортовой эксплуатации БПЛА, включающая:
  • Детекцию и классификацию объектов в реальном времени
  • Устойчивый трекинг целей при движении и вибрациях платформы
  • Обработку видеопотоков в RGB и ИК диапазонах
  • Оптимизацию под ограниченные вычислительные ресурсы и требования по latency
  • Интеграцию с бортовыми вычислителями и наземной станцией управления
  • Поддержку автономных и полуавтономных сценариев работы
Статус: опытно-промышленная эксплуатация.
Пример работы модели
пример работы модели на реальных данных
результат

Система в реальной эксплуатации

Система проходит обкатку в реальных сценариях и уже используется как инструмент поддержки оператора.
ОБРАБОТКА

Real-time CV

Работа с живыми видеопотоками
Стабильность

RGB / IR

Устойчивые алгоритмы
Масштаб

Edge → Ground

Готовность к расширению
Есть задача или нестандартные условия?
Коротко опишите сценарий — мы оценим подход и предложим варианты реализации.