Вычисление в видеопотоке пространственно-временных характеристик объектов посредством использования методов фотограмметрии и компьютерного зрения

Аннотация

В данной статье представлено исследование, направленное на извлечение пространственно-временных характеристик объектов в видеопотоке с использованием методов фотограмметрии и компьютерного зрения. Особенностью подхода является применение ограниченного количества непрофессиональных видеокамер. В качестве прикладной области была выбрана задача автоматизации спортивной аналитики, в частности – анализ видеозаписей баскетбольных матчей. Тем не менее предложенные решения обладают универсальностью и могут быть адаптированы для других прикладных направлений, таких как системы видеонаблюдения, обеспечение общественной безопасности, мониторинг транспортных потоков, анализ поведения потребителей в розничной торговле, а также повышение эффективности взаимодействия между продавцами и покупателями. Адаптация предложенной методики к различным областям достигается за счёт изменения исходных обучающих данных и настройки соответствующих алгоритмов машинного обучения, подробно рассмотренных в рамках настоящего исследования. Разработанная система включает два последовательных этапа. На первом этапе осуществляется детектирование объектов на видеопотоке с применением методов компьютерного зрения и глубокого обучения, что позволяет выделить интересующие объекты на каждом кадре. На втором этапе выполняется расчёт пространственных характеристик обнаруженных объектов с использованием методов фотограмметрической реконструкции, позволяющих восстановить их трёхмерные координаты и траектории движения. Для реализации задачи детектирования объектов (игроков, мяча, судей, баскетбольного кольца и щита) использована модель YOLOv8, обученная на специально сформированном датасете, составленном из видеозаписей матчей FIBA. Для восстановления пространственных координат применён метод прямой фотограмметрической засечки, модифицированный для функционирования с использованием доступного оборудования. В ходе эксперимента, проведённого на баскетбольной площадке размером 23×11 метров с использованием двух камер смартфонов, была достигнута средняя точность позиционирования 4 см при среднеквадратичном отклонении до 8 см. Метрики модели YOLOv8 продемонстрировали значения точности и полноты в диапазоне 0,85–0,95, а показатель mAP составил от 0,70 до 0,85. В рамках работы также предложены усовершенствования, включая использование метода обратной фотограмметрической засечки для автоматизации калибровки на основе разметки площадки. Разработанная система представляет собой перспективное решение для поддержки судейства и аналитики на локальных спортивных соревнованиях, обеспечивая при этом экономичную альтернативу традиционным системам спортивного видеонаблюдения и анализа.