Как сделать слежение за объектом
8 идей для применения трекинга в видеоредакторе VSDC
Этот пост для тех, кто хочет прокачать свои навыки монтажа и научиться применять отслеживание движения объектов на видео (motion tracking). В качестве видеоредактора, позволяющего работать с инструментом motion tracking, мы возьмём VSDC Pro.
Если вы никогда не слышали о VSDC, это многофункциональный видеоредактор, который набрал популярность за счёт своей бесплатной версии для Windows. Однако в этой статье мы будем говорить о модуле отслеживания движения объектов, доступном только в продвинутой версии программы VSDC Pro. Ниже мы расскажем о том, что такое модуль motion tracking, как он работает (спойлер: очень просто), а также приведём массу примеров, чтобы помочь вам с вдохновением.
Что такое motion tracking?
В сфере монтажа motion tracking – это процесс отслеживания движения объекта в кадре. По окончании трекинга программа «запоминает» и сохраняет траекторию движения, чтобы потом применить её к объекту, которого изначально не было на видео: подписи, изображению, иконке, маске – буквально любому графическому элементу.
Скажем, вы редактируете видеозапись игры в футбол и хотите разместить стрелку над головой футболиста, чтобы зрителям было легче за ним следить. Поскольку игрок постоянно в движении, вам нужно, чтобы и стрелка двигалась вместе с ним – иначе в ней нет никакого смысла, верно? Это как раз тот случай, когда инструмент motion tracking придётся кстати. С технической точки зрения, всё, что вам нужно сделать, это отследить траекторию движения футболиста, добавить изображение стрелки, разместить её над головой игрока и наложить сохранённую траекторию.
Есть множество других примеров применения инструмента motion tracking. Чаще всего это необходимость «привязать» подпись или маску к движущемуся объекту на видео. Об этих примерах мы поговорим через несколько абзацев.
Сперва давайте на практике разберём пример с футболистом и пошагово воспроизведём его непосредственно в видеоредакторе VSDC Pro. Так вам будет понятна логика применения инструмента, и вы сможете использовать её для аналогичных задач.
Как отследить движение объекта на видео в VSDC Pro
Многие относят motion tracking к «продвинутому» уровню видеомонтажа. Начинающим пользователям сперва даже может показаться, что это очень сложно. Однако если вы всерьёз увлечены работой с видео, рано или поздно вам понадобится освоить этот инструмент, поскольку он незаменим в большом количестве ситуаций.
Кроме того, на практике всё гораздо проще, чем кажется. Ниже – пошаговая инструкция для тех, кто хочет научиться отслеживать объекты на видео с помощью VSDC Pro:
Шаг 1. Импортируйте видеофайл в VSDC.
Шаг 2. Правой кнопкой мыши кликните по видео и в открывшемся меню выберите опцию «Создать карту движения». Во всплывающем окне вам необходимо будет подтвердить папку, в которой будет храниться карта. Для удобства вы можете дать карте название, затем нажмите «Сохранить».
Шаг 3. Обратите внимание, что в верхней части интерфейса активировалось меню Motion Tracker. На сцене же появилась рамка красного цвета с точкой в центре. Разместите рамку на сцене так, чтобы она полностью закрывала объект, движение которого вы хотите отследить. Нажмите «Начать анализ».
Шаг 4. По мере проигрывания видео будет вырисовываться траектория зелёного цвета – это и есть карта движения. Через пару шагов вы привяжете к ней изображение стрелки. Как только создание траектории завершится, проверьте её корректность и нажмите «Применить редактирование».
Шаг 6. Захватите изображение мышкой и разместите его в отправной точке, затем сделайте по нему двойной щелчок.
Шаг 7. Используйте сочетание «Shift + Alt +M», чтобы применить к добавленному объекту траекторию, выстроенную ранее (вместо сочетания клавиш вы можете воспользоваться кнопкой «Вставить объект» >> «Движение» >> «Карта движения»). Во всплывающем окне выберите название той карты, которую вы сохранили ранее, и нажмите «Ok».
Используйте функцию предпросмотра и убедитесь в том, что всё выглядит так, как вы задумывали. При необходимости вы можете корректировать расположение и размер добавленного изображения вручную.
На этом инструкционная часть закончена. Сохраните готовое видео на компьютер через вкладку «Экспорт проекта».
8 идей для применения инструмента motion tracking на видео
Пора применить знания на практике. Трекинг объектов широко используется как для творческих задач, так и для информирования зрителя с помощью контекстуальных подписей. Идеи можно подсмотреть и в блогах на YouTube, и в рекламе, и даже в кино.
Мы собрали 8 таких примеров, которые вы сможете легко повторить самостоятельно.
Пример первый. Применение цензуры к объекту на видео
Первый и самый распространённый пример – это добавление пиксельной маски на видео, чтобы скрыть какой-либо объект. Например, вам может понадобиться спрятать лицо человека, который не должен быть узнан, скрыть номер машины, название улицы или логотип.
Поскольку мы уже разобрали пример с привязкой полученной траектории к изображению, логика работы инструмента вам должна быть понятна. В случае с пиксельной маской единственный дополнительный нюанс – это её создание. Вместо того, чтобы добавлять стороннее изображение, маску вам необходимо будет создать прямо в редакторе.
В видеоинструкции ниже подробно показано, как это сделать:
Пример второй. Текст, который двигается за выбранным объектом на видео
Отдельная большая тема (в которой будет целых 6 идей) – это трекинг текста на видео. Следуя логике, описанной выше, вы можете сделать так, чтобы текст двигался вслед за объектом, к которому он привязан. Текстом в вашем случае может быть заголовок, подпись, призыв к действию – практически что угодно.
Разместить текст можно как на объекте, так и рядом с объектом. Ниже – пошаговая инструкция:
Теперь давайте посмотрим, как можно использовать трекинг текста на видео в различных ситуациях.
1. Создайте анимированное интро для своего канала
Если вы работаете с серией роликов или ведёте свой канал, вы скорее всего используете фирменное интро в начале каждого видео. С помощью инструмента motion tracking вы можете добавить в интро текст, который будет двигаться вслед за логотипом или любым другим объектом. Текстом может быть, например, название канала, адрес вашего сайта или ник в Instagram.
2. Используйте трекинг для отображения текстовых сообщений
Узнали, откуда взят этот кадр? Это сериал «Шерлок», в котором motion tracking используется многократно для отображения текстовых сообщений, обозначения локаций, и визуализации размышлений самого Шерлока. Чтобы повторить эффект с сообщениями, всё что вам нужно сделать – это отследить движения телефона, а затем наложить полученную траекторию на текст сообщения.
Таким же образом вы можете визуализировать мысли и речь героя, если это актуально в вашем контексте.
3. Добавьте динамики во вступительные титры
Движущиеся титры в начале фильма помогают мгновенно привлечь внимание зрителя. Почему бы вам не добавить этот приём в свой арсенал? Несмотря на то, что для таких титров часто используется 3D-текст, вы можете просто скачать стильный шрифт из бесплатной библиотеки шрифтов и это уже добавит эффект кинематографичности. Для максимальной естественности вы можете применить к титрам эффект постепенного исчезания (fade out).
4. Пусть подписи движутся вместе с обозначенными объектами
Динамические подписи делают видео более информативным и помогают избежать перегруженности в заголовках и субтитрах. Такой формат обеспечивает дополнительный контекст, что особенно удобно для зрителей, если в видео нет голосового повествования. Вы наверняка замечали этот приём в рекламных роликах – в частности, когда речь идёт о спортивных товарах и электронике.
Например, ниже – отрывок из рекламы спортивного браслета Fitbit. Создатели ролика применяют motion tracking к текстовым обозначениям сильных сторон продукта.
5. Подчеркните детали в продающих видео
Ещё одна ниша, в которой трекинг текста будет полезен – это ролики для бизнеса. Например, если вы снимаете видео о недвижимости, и вам необходимо донести большой объём информации до потенциального покупателя, гораздо удобнее сделать это с помощью контекстных подписей, каждая из которых будет принадлежать к конкретному объекту. Используйте этот приём, чтобы подчеркнуть цифры, даты и вообще любые данные, которые легче воспринимать визуально, чем на слух.
6. Сделайте видео из путешествий более информативными
Видео, снятые во время путешествий, как правило, увлекательны сами по себе, но их восприятие также можно облегчить, если использовать теги, стрелки, факты и подписи там, где это поможет зрителю. Ведь даже если вы предварительно озвучили видео, детали запомнятся лучше, если вы повторите их текстом прямо в ролике.
Motion tracking в данном случае – идеальная техника, поскольку позволяет очень точно обозначить объекты на видео, даже если они находятся в отдалении и двигаются в кадре.
Прежде чем вы приступите к работе
Когда вы приступаете к монтажу, самое главное – иметь представление о том, какой результат вы хотите получить. Как только ваша идея сформирована, визуализировать её не составит большого труда. Если вы прежде не редактировали видео, и это ваш первый опыт трекинга, обратите внимание на следующие рекомендации:
Тогда скачайте VSDC на свой компьютер и начинайте экспериментировать! За идеями загляните на наш канал на YouTube, а написать нам можно на Facebook.
Motion tracking в VSDC: подробная инструкция для работы
В феврале 2020 года команда VSDC анонсировала выпуск модуля Motion tracking – долгожданного инструмента, позволяющего отслеживать движение объекта в кадре и задавать ту же траекторию любым другим элементам на видео. Функционал модуля Motion tracking открывает огромное количество возможностей для тех кто увлекается монтажом, и это далеко не только наложение цензуры на движущийся объект с помощью маски из пикселей. Например, вы сможете создать подпись, которая будет перемещаться вместе с объектом, или заставить изображение двигаться вслед за выбранным объектом в кадре.
Чтобы помочь вам быстрее освоить новый инструмент, мы подготовили подробную пошаговую инструкцию по работе с модулем Motion tracking в VSDC. Из инструкции вы узнаете о том, что такое карта движения, как её построить и привязать к новому объекту. Мы также расскажем, что делать, если отслеживаемый объект на видео принимает новую форму или “теряется” из вида.
1. Как установить версию VSDC с модулем Motion tracking
Motion tracking – это инструмент, доступный пользователям VSDC по подписке. Если вы уже работаете в версии VSDC Pro, то при установке новой версии модуль будет автоматически доступен вам среди инструментов для продвинутого пользования.
2. Начало работы с модулем Motion tracking в VSDC: как построить карту движения
Сделать это можно следующим образом:
3. Как привязать объект к карте движения
После того, как карта движения построена, вы можете привязать к ней любой объект, соответствующий вашей задумке. Это может быть изображение, иконка, маска или текст. В качестве примера, мы покажем, как сделать так, чтобы подпись перемещалась вместе с объектом на видео.
Here is how to get started:
4. Что такое область потери объекта
В некоторых случаях программа может «потерять» объект в процессе отслеживания. Чаще всего это происходит, если в определенный момент объект становится полностью перекрыт сторонними предметами в кадре или принимает абсолютной другой вид (например, человек превращается в машину, как в фильме «Трансформеры»). Изменение цвета, размера и формы объекта также может привести к его «потере».
В таких ситуациях программа достраивает приблизительную траекторию движения объекта вне зоны видимости. При необходимости, вы можете вручную отредактировать построенную программой карту движения с помощью дополнительных маркеров (ключевых кадров), а затем запустить отслеживание повторно с их учётом.
Добавить ключевые кадры можно следующим образом:
Если в процессе построения карты движения вам необходимо выделить какой-либо участок траектории, например, чтобы удалить его, вы также можете сделать это вручную. Просто расположите курсор на шкале времени в начале участка и воспользуйтесь иконкой «Добавить ключевой кадр», чтобы поставить маркер на этом моменте. Затем таким же образом поставьте маркер в конце временного отрезка. Щелчком мыши выделите отрезок и нажмите «Удалить».
Следует отметить, что появившиеся области потери отслеживаемого объекта по времени не всегда могут совпадать с началом реального перекрытия объекта. В этом случае, для уточнения или расширения отрезка потери необходимо выполнить следующие действия:
Если полученная карта движения вас устраивает, используйте кнопку «Применить редактирование», чтобы сохранить её, закрыть модуль Motion tracking и перевести редактор в стандартный режим.
Чтобы быстро перемещаться между ключевыми кадрами в режиме «Motion Tracker», вы можете использовать стрелки на клавиатуре. Нажатие кнопок «вправо» и «влево» мгновенно перемещает курсор с текущего кадра на следующий ключевой кадр.
5. Обозначения настроек карты движения
После того, как вы привязали объект к карте движения, вы можете осуществить более детальные настройки траектории и движения объекта.
Чтобы начать работу, сделайте двойной щелчок по объекту, который был привязан к карте движения. На шкале времени появится слой под названием «Карта движения». Все последующие настройки доступны в Окне свойств справа (чтобы вызвать Окно свойств, щёлкните правой кнопкой мыши по объекту «Карта движения» и выберите «Свойства»).
Ниже мы поясним, за что отвечает каждый параметр:
Координаты (X/Y) – исходные координаты объекта в окне предпросмотра.
Время создания объекта (мс/кадр) – время начала применения карты движения.
Длительность показа объекта (мс/кадр) – продолжительность применения карты движения. Подобно предыдущему параметру, может обозначаться как в секундах, так и в кадрах.
Настройка карты движения включает в себя несколько пунктов:
Обратите внимание, что если в режиме «Не обрабатывать карту» дополнительная траектория не построена, объект будет двигаться в режиме «Приблизительная траектория».
На этом обзор модуля Motion tracking в VSDC закончен. Работа с ним не требует особых знаний или опыта монтажа – достаточно следовать инструкции и использовать окно предпросмотра для контроля результата.
Остались вопросы? Напишите нам на Facebook.
Не хватает идей? Подписывайтесь на наш YouTube канал.
Motion tracking для новичков: с чего начать и как использовать
Чтобы создать интересный, динамичный и захватывающий ролик, необязательно быть профессиональным монтажером. Достаточно постоянно прокачивать свои навыки: смотреть обучающие ролики, много снимать и использовать все инструменты видеоредактора. Например, при помощи функции отслеживания движения вы сможете наложить текст или графику на движущийся объект.
Заинтересованы? Читайте дальше, чтобы узнать больше и понять, как применять этот эффект на видео.
Для чего используется отслеживание движения в видео?
Инструмент motion tracking в роликах отслеживает траекторию движения объекта и закрепляет на нем изображение, текст, эмодзи или стикеры.
Например, мы не раз видели в новостях заблюренное лицо человека, где «маска» перемещается вместе с персонажем. Такого эффекта достигли как раз с помощью отслеживания движения. Еще один пример — это всплывающие сообщения и электронные письма в сериале «Шерлок». Здесь motion tracking позволяет не отвлекаться от главных персонажей и оставаться в курсе всех фактов.
Отслеживание движения объекта считается функцией для продвинутых пользователей и используется профессиональных программах вроде Adobe After Effects или Vegas Pro. Что же делать новичкам, которые пока не могут работать с «тяжелым» софтом? Есть несколько видеоредакторов, которые помогут начинающему монтажеру. Например, в Movavi Video Editor Plus инструмент motion tracking можно применить за несколько кликов мышкой.
Как использовать motion tracking самостоятельно
В Movavi Video Editor Plus есть несколько способов работы с инструментом motion tracking, которые можно использовать для разных целей. Расскажем про каждый из них.
Прикрепите подпись к объекту в ролике
С помощью motion tracking прикрепите текст к объекту в движении, чтобы отобразить мысли, сообщения или оповещения ноутбука, например. Такой прием поможет разнообразить видео и передать смыслы, которые иначе были бы скрыты.
Попробуйте применить эффект самостоятельно, следуя инструкции ниже:
1. Добавьте ролик в видеоредактор, перейдите во вкладку Титры и выберите один из понравившихся стилей подписи. Перетащите его на дорожку
3. Перейдите в раздел Движение. В окне предварительного просмотра переместите знак «+» на объект, перемещение которого хотите отслеживать. Отрегулируйте пунктирную рамку под размер объекта.
4. Выберите метод отслеживания: Точный лучше сработает на сложных движениях, а Быстрый на более спокойных. Если применить Быстрый метод на объектах со сложным перемещением, конечный результат может получится не совсем корректным. Нажмите Отследить.
Добавьте стикеры и эмодзи
Используйте функцию отслеживание движения объекта, чтобы добавить на ролик подвижные наклейки. Например, красная стрелка поможет не потерять мяч на видеозаписи футбольного матча. А стикер в форме сердечка сделает клип более милым и запоминающимся.
Чтобы применить отслеживание движение к стикеру, следуйте этой инструкции:
1. Добавьте видео на дорожку, затем перейдите в раздел Стикеры и выберете подходящую наклейку. Переместите ее на дорожку
2. На дорожке растяните клип стикера до желаемой продолжительности. Чтобы открыть настройки стикера, щелкните два раза по его клипу. Отредактируйте размер и положение наклейки на экране предпросмотра видео.
3. Перейдите в раздел Движение. Выберите метод отслеживания: Точный лучше сработает на сложных движениях, а Быстрый на более спокойных. Если применить Быстрый метод на объектах со сложным перемещением, конечный результат может получится не совсем корректным. Нажмите Отследить и просмотрите результат.
Скройте или выделите объект на видео
Отслеживание движения также используют для размытия или подчеркивания различных объектов в роликах: лица людей, номера машин, названия брендов.
В Movavi Video Editor это можно сделать так:
1. После того, как вы добавили ролик, перейдите во вкладку Другие инструменты и выберите инструмент Выделение и цензура. Примените одну из масок, настройте ее размер и положение на экране предпросмотра видео.
2. Перейдите в раздел Движение. Выберите метод отслеживания: Точный лучше сработает на сложных движениях, а Быстрый на более спокойных. Если применить Быстрый метод на объектах со сложным перемещением, конечный результат может получится не совсем корректным. Нажмите Отследить и просмотрите результат.
Советы напоследок
Мы понимаем, что по одной статье вряд ли получится освоить motion tracking в совершенстве — одной теории недостаточно. Но если следовать этим рекомендациям, с каждым разом ваши ролики будут становится все лучше:
1. Вдохновляйтесь. Смотрите рекламные ролики, фильмы, сериалы, шоу — там можно почерпнуть много интересных фишек. Так вы разовьете свою насмотренность.
2. Учитесь. Смотрите обучающие ролики на YouTube, читайте специализированную литературу, запишитесь на курсы по видеоредактуре. Даже если вы не хотите становиться профессиональным монтажером, это будет полезно — в хобби тоже нужно разбираться.
3. Практикуйтесь. Да, без практики никуда — это основа для развития любого навыка. Только так вы сможете набить руку и в дальнейшем создавать более сложные и завораживающие видео.
Как видите, использовать трекинг объектов на видео не так трудно, как может показаться на первый взгляд. Особенно, если практиковаться вместе с Movavi Video Editor. Начните с базы: анимируйте текст, скрывайте при помощи блюра лицо и экспериментируйте со стикерами. Главное — подключайте воображение и творите! 🙂
Интеллектуализация купольной поворотной камеры: автоматическое патрулирование, выбор целей и слежение
Автоматизация системы управления купольной поворотной камеры (PTZ-камеры) – интересная и актуальная задача. По мере концентрации ситуационных центров и внедрения видеоаналитики возникает потребность в интеллектуальных алгоритмах, позволяющих не только анализировать видео со стационарных (неподвижных) камер, но и наводить роботизированную камеру на цель без участия оператора. Задержка, вносимая цифровой подсистемой кодирования и декодирования видео, ограничивает возможности дистанционного слежения за целью при помощи поворотной камеры и усиливает необходимость локальной автоматизации слежения. Наш пост Хабру содержит обзор основных задач по интеллектуализации PTZ-камер, подходов к их решению и предложений на рынке.
 |  |
| Рис. 1. Экспериментальная установка для автономного PTZ-слежения: видеоаналитическое устройство MagicBox, PTZ-камера Pelco и обзорная камера CNB. | Рис. 2.Предпозиции PTZ-камеры, управляемые зональным детектором движения. |
Задачи автоматизации
Рассмотрим основные задачи, решаемые при автоматизации системы управления PTZ-камерой:
1. Автоматическое патрулирование
В рамках функции патрулирования, PTZ-камера циклически «обходит» предпозиции наблюдения, заданные оператором, останавливается в каждой позиции на заданное время и транслирует видео с выбранным увеличением. Данная функция является стандартной и встроена практически во все модели купольных поворотных камер. Преимуществом патрулирования по предпозициям является возможность охватить большую территорию и получить изображения в каждой позиции с хорошей детализацией. Недостатки функции – наличие слепой зоны во всех позициях кроме текущей и постоянное изменение фона сцены, что затрудняет анализ видео аналитикой и оператором. В режиме патрулирования сложно распознать медленные изменения сцены за короткий интервал нахождения камеры в каждой позиции. Если оператор направляет камеру в некоторую позицию, то события, происходящие в других позициях, не регистрируются в видеоархив.
Перечисленные недостатки могут быть устранены установкой обзорных неподвижных камер, полностью закрывающих охраняемую территорию. Тогда PTZ-камера используется исключительно для получения детализированного изображения целей, обнаруживаемых при помощи обзорных камер. Так же увеличивается срок службы PTZ-камеры за счет того, что уменьшается ее механическая нагрузка.
2. Автоматический выбор цели для PTZ-слежения
Источниками сигнала для автоматического выбора цели могу быть: а) обзорная неподвижная камера, используемая параллельно с купольной; б) купольная камера в режиме патрулирования; в) другие сенсоры, например, радиоволновые или вибрационные датчики периметральной системы. Видеосигнал с телевизионной или тепловизионной камеры обрабатывается видеоаналитикой, которая детектирует цели и определяет их местонахождения для наведения PTZ-камеры без участия оператора. Пример установки, реализуемый данных подход представлен на рис. 1. Если используется несколько обзорных камер с перекрывающимися зонами действия, то желательно многоканальная (мнокамерной) видеоаналитика. Особенно важна многоканальная видеоаналитика при частом появлении целей. Повторное детектирование цели каждой камерой будет приводить к неэффективному использованию PTZ-камер и срывам слежения, что затруднит ретроспективный анализ архива.
3. Автоматическая расстановка приоритетов для детализации и слежения
В случае, когда в поле зрения системы наблюдения находится несколько целей, а число PTZ-камер ограничено, требуется распределять задачи между PTZ-камерами оптимальным образом с точки зрения их важности. Алгоритм может вычислять приоритет цели с учетом нескольких критериев, таких как: а) местонахождения цели (близость к охраняемому рубежу или наиболее важному объекту); б) время слежения за объектом (например, каждая цель может должна сопровождаться PTZ-камерой не менее 10 секунд, после чего возможно переключение на другую цель); в) классификации поведения человека (например, поведение «праздношатание в зоне» может иметь более высокий приоритет, чем «вход в зону»). Все найденные цели ставятся в приоритезированную очередь для последующей обработки интеллектуальной системой видеонаблюдения.
4. Автоматический выбор PTZ-камеры
Алгоритм должен забирать цели из приоритезированной очереди в порядке их важности и распределять цели между доступными PTZ-камерами с учетом взаимного расположения целей и доступных камер. В работу алгоритма может вмешаться оператор, подающий команды на PTZ-камеру с помощью джойстика или программного интерфейса (рис. 4). В этом случае, алгоритм должен задействовать другие PTZ-камеры для слежения за целями, оставшимися без внимания оператора. На сложных объектах необходимо применение трехмерных моделей охраняемого объекта и зон действия камер.
5. Автоматическое наведение PTZ-камеры
В простейшем случае, алгоритм наведения может быть реализован при помощи многозонного детектора движения обзорной камеры: кадр разбивается на множество зон, каждая из которых ассоциируются с препозициями PTZ-камеры. При срабатывании детектора движения в зоне (рис. 2), PTZ-камера переводится в соответствующую предпозицию (риc. 4). Чем больше зон задается при настройке, тем большее увеличение можно получить на PTZ-камере. Недостатком данного подхода являются неустойчивая работа при наличии нескольких целей и ограничения точности наведения, связанными с выбранными предпозициями PTZ-камеры.
На объекте с большим пространством наблюдения и большим числом камер рекомендуется аналитическое преобразование координат обзорной камеры в систему координаты поворотной камеры без разделения кадров на зоны (рис. 3,4).
Более качественное наведение может быть получено при помощи профессиональной видеоаналитики. Связь обзорной и управляемой камерой устанавливается через глобальную систему координат реального мира, к которой привязываются все камеры. Точность преобразования из двумерной системы координат кадра в трехмерное пространство реального мира ограничивает приближение PTZ-камеры, т.к. в случае ошибки преобразования, на сильном увеличении объект может оказаться вне поля зрения. Поэтому особенные требования предъявляются к видеоаналитики обзорной камеры: необходима качественная локализация (сегментирование) цели и качественная калибровка для связи его координат с поворотной камерой.
6. Автоматическое слежение за целью
После того как PTZ-камера наведена на цель, желательно применение алгоритмов слежения для отображения и записи целостного фрагмента видео цели, сопровождаемой PTZ-камерой. В процессе настройки алгоритма слежения приходиться искать компромисс между степенью увеличения (и, следовательно, детализацией) цели и частотой смещений PTZ-камеры. Чем сильнее увеличение, тем чаще приходиться передвигать камеру.
Распространенные PTZ-камеры не позволяют плавно поворачивать камеру с переменно скоростью. При шаговом смещении положение PTZ-камеры изображение «дергается» и смазывается. Поэтому хороший алгоритм слежения должен минимизировать количество смещений камеры для заданного увеличения. Алгоритм слежения должен корректно работать в случае временного взаимного перекрытия целей, например, если люди идут навстречу друг-другу (см. видеодемострацию и слайды про алгоритм).
PTZ-cлежение за целью может осуществляться тремя способами: а) при помощи PTZ-камеры (самослежение); б) при помощи обзорной камеры (внешнее слежение) и в) гибридными образом. Каждый из способов имеет свои преимущества и недостатки, которые мы сравним в отдельной публикации. Алгоритм самослежения удобен в случае, когда оператор задает цель в ручную, а обзорная камера отсутствуют или не видит цель. Алгоритм внешнего слежения более устойчиво работает при наличии нескольких целей. Для объектов одинокого видимого размера, алгоритмы слежения на подвижной камере работают хуже, чем на неподвижной камере, т.к. в последнем случае алгоритм может лучше адаптироваться к неподвижному фону. В теории, гибридный способ должен обеспечить наиболее устойчивое слежение во всех ситуациях, но в известных нам системах он пока не реализован
Влияние задержки
Слежение за целью при помощи привода PTZ – задача реального масштаба времени, чувствительная к задержке. Если общая задержка видео в IP-сети превышает 500 мс (половина секунды), то эффективно управлять камерой не может ни оператор, ни серверная видеоаналитика. Как правило, около 300 мс вносится передающим устройством (камерой или кодером) и около 100 мс вносится VMS-системой, декодирующей видео.
Качественное слежение за объектом может быть реализовано при локальной обработке видео до компрессии. В этом случае координаты цели могут быть рассчитаны по данным обзорной или PTZ-камеры за 20-40 мс. Такая система может сопровождать быстродвижущиеся цели, такие как бегущий человек и транспортное средство, на хорошем увеличении.
Поддержка стандартов
Начиная с версии 1.02, международный стандарт ONVIF позволяет строить унифицированные решения для автоматического и ручного управления PTZ-камерами. В частности, стандарт описывает команды управления и считывания положения PTZ-камеры, системы координат, а так же формат передачи метаданных о подвижных объектов с обзорной камеры в систему управления видео (VMS) и/или иные устройства для управления PTZ-камерой.
Оживленные сцены
Применение интеллектуальных функций PTZ в общественных местах ограничено возможностями видеоаналитики слежения. Сегодня на рынке не существует видеоаналитики, способной сопровождать человека в толпе без применения детектора лиц на обзорной камере. Если разрешающая способность и угол наблюдения обзорной камеры позволяет использовать детектор лиц, то возможно автоматизация наведения PTZ-камеры для более точного распознавания лиц и записи детализированного изображения. При этом необходима реализация системы слежения по данным детектора лиц, чтобы оптимизировать работу PTZ-камеры для нужного сценария, например, для слежения за одним человеком или для быстрого сканирования всех лиц в поле зрения.
Специальные требования к PTZ-камере
Большинство PTZ-камер, представленных на рынке, с интерфейсами Pelco D (для последовательного интерфейса RS422/485) или ONVIF (для IP-сети) не имеют обратной связи системой управления, в частности, невозможно запросить текущую позицию камеры и установить камеру по абсолютным координатам. Это ограничение не позволяет использовать PTZ-камеру для слежения по координатам обзорной камеры.
Обзор решений на рынке
В модуле Trassir ActiveDome компании DSSL реализована функция PTZ-слежения с аналитическим преобразованием координат. В кадре обзорной камеры задается область, которая путем процедуры калибровки создает связь координат с поворотной видеокамерой. По информации от разработчика, количество обзорных камер в системе видеонаблюдения может быть неограниченно и связано с размером контролируемой зоны. Например, чтобы обеспечить обзор в 360°, рекомендуется установить 4 обзорные и одну поворотную камеру.
В продукте Интеллект компании iTV может быть реализовано PTZ-слежение при помощи многозонного детектора движения обзорной камеры без автоматизации процесса калибровки. Для этого необходимо выполнить шаги: 1) разбить кадр обзорной камеры на множество зон детектирования движения; 2) запрограммировать соответствующие предпозиции на PTZ-камере; 3) написать скрипт, который будет устанавливать PTZ-камеру в предпозицию, соответствующую зоне движения. Для PTZ-слежения в условиях движения двух и более целей, необходима реализация более сложной логики, при помощи скрипта или компонента ActiveX.
Наша компания работает над реализацией PTZ-слежения с многозонным детектором движения и аналитическим преобразованием координат в IP-видеосервере MagicBox. В текущей версии прошивки устройства, передача метаданных с координатами целей и управления приводом PTZ осуществляется в рамках международного стандарта ONVIF, что позволяет реализовать внешнюю логику управления PTZ-камеры. Приложение Менеджер устройств ONVIF, с которым Хабр уже знаком, иллюстрируют взаимодействие клиента ONVIF с PTZ-камерой и видеоаналитическим сервисом (рис. 4).
Рис. 3. Слежение за целью при помощи встроенной видеоаналитики. Передача 2D и 3D координат цели в метаданных ONVIF для автоматического наведения PTZ-камеры. Буква M означает, что цель двигается (moving). Буква S означает, что цель остановилась. Фон цели подвижный (листья деревьев шевелятся).
Рис. 4. Ручное и автоматическое управление PTZ-камерой по протоколу ONVIF через Менеджер устройств ONVIF.