Название проекта на русском языке
Разработка методов и средств логического программирования для интеллектуального
видеомониторинга аномального поведения людей
Название проекта на английском языке
Development of logic programming approach to intelligent monitoring of anomalous human
activities
Фундаментальная научная проблема, на решение которой направлен проект
Распознавание и анализ семантики видеоизображений
Конкретная фундаментальная задача в рамках проблемы, на решение которой
направлен проект
Разработка методов и средств логического программирования для анализа динамических
изображений с участием людей
Предлагаемые методы и подходы к решению поставленных задач
В рамках проекта будут разработаны методы и средства объектно-ориентированного
логического программирования для высокоуровневого анализа динамических изображений
с участием людей. Идея выбранного подхода заключается в том, что логические правила
используются для формализации сложных событий с участием людей (например, драка,
ограбление, несанкционированное проникновение и т.п.), а также для описания результатов
низкоуровневого анализа видеоизображений (к анализу низкого уровня мы относим
распознавание людей, объектов, трассирование объектов, выявление оптических потоков и
т.п.) и вспомогательной информации об анализируемых сценах и объектах (геометрические,
временные ограничения и т.п.). На основе собранной информации с помощью логического
вывода осуществляется анализ динамических сцен и распознавание сложных событий.
Новизна разрабатываемого подхода заключается в использовании объектно-ориентированного
логического языка для преодоления основных «узких мест» логического
подхода, выявленных на примере существующих в мире проектов видеонаблюдения
методами логического программирования, а именно:
1. Методы и средства объектно-ориентированного логического программирования будут
использованы для структурирования набора логических правил и фактов, а также для
разбиения на отдельные этапы (параллельные процессы) алгоритмов анализа
видеоизображений. Логический вывод должен осуществляться параллельно на разных
этапах обработки изображений, причём скорость логического вывода должна зависеть от
решаемой задачи и объёма данных, обрабатываемых на каждом конкретном этапе.
2. Методы объектно-ориентированного логического программирования будут использованы
для постоянного пересмотра набора логических фактов. В существующих
экспериментальных системах, как правило, набор фактов может расти бесконечно, что
делает средства логического вывода непригодными для практического применения.
3. Будут осуществлены выбор и реализация адекватных решаемой задаче методов нечёткого
вывода. Предполагается формализовать такие аспекты анализируемых изображений, как
нечёткость временных и пространственных отношений, отсутствие информации о
некоторых атрибутах анализируемых объектов, возможные ошибки на этапе анализа
низкого уровня и др.
4. Будет исследована проблема логического описания и анализа сложных (протяжённых в
пространстве и во времени) объектов и событий, таких как траектории движения, плотность
потока людей и пр.
5. Разработанные методы будут реализованы в виде системы логического
программирования, поддерживающей анализ видеоизображений. В качестве основы
системы будет использован транслятор Акторного Пролога в Джаву, созданный в
приоритетном порядке российскими участниками проекта. В ходе выполнения проекта
будет создана библиотека с открытым кодом, обеспечивающая взаимодействие между
системой логического вывода и существующими библиотеками машинного зрения с
открытым кодом.
Согласованный с зарубежными партнерами детальный план научных исследований
• план конкретных научных работ, выполняемых российскими участниками проекта
(по годам)
2013 год:
1. Разработка методов и средств логического описания динамических сцен, аннотированных
вручную. На первом этапе проекта предполагается анализировать данные, находящиеся в
открытом доступе (например, архивы проекта CAVIAR). Для анализа данных
предполагается реализовать ввод информации в формате CVML.
2. Разработка и реализация средств обработки изображений в логическом языке. В ходе
проекта предполагается создать библиотеку с открытым кодом, реализующую
взаимодействие логического языка с процедурами открытой библиотеки машинного зрения
OpenCV.
3. Исследование и разработка методов логического описания сложных сцен и событий.
Предполагается выбрать и реализовать методы (нечёткого) описания таких аспектов
анализируемых изображений, как нечёткость временных и пространственных отношений,
отсутствие информации о некоторых атрибутах анализируемых объектов, возможные
ошибки на этапе анализа низкого уровня и др.
2014 год:
1. Эксперименты с анализом видеоизображений в реальном времени. Предполагается
реализовать отдельные этапы анализа в виде взаимодействующих параллельных процессов,
каждый из которых осуществляет логический вывод на основе фактов, полученных на
предыдущем этапе анализа.
2. Исследование различных стратегий пересмотра набора логических фактов в ходе
логического анализа.
• план конкретных научных работ, выполняемых зарубежными участниками проекта
(по годам)
2013 год:
1. Исследование предметной области и примеров использования интеллектуального
видеонаблюдения с целью выявления задач низкоуровневой обработки изображений и
выбора методов их решения. Предполагается проанализировать три группы примеров
использования:
(1) ситуации, когда возможно распознавание отдельных людей и групп
людей,
(2) ситуации, когда наблюдается большое скопление людей (толпа), и возможно
распознавание лишь голов отдельных людей в толпе,
(3) случаи, связанные с анализом видеоизображений толпы большой плотности
(когда распознавание отдельных людей практически невозможно).
2. Разработка и обучение детекторов для реализации низкоуровневого анализа
видеоизображений (для распознавания людей, лиц, голов, предметов и пр.)
2014 год:
1. Эксперименты с логическим описанием сложных событий (т.е. событий с участием
нескольких человек и объектов, находящихся в некоторых пространственных и временных
отношениях).
2. Реализация и описание прикладного пользовательского интерфейса библиотеки с
открытым кодом, реализующей взаимодействие логического языка с процедурами открытой
библиотеки машинного зрения OpenCV.
• обоснование целесообразности выполнения работы именно с этим зарубежным
партнером
Российские участники проекта (сотрудники ИРЭ РАН, Москва), а также индийские
партнёры (сотрудники Индийского института информационных технологий, Аллахабад)
имеют опыт научного сотрудничества, в частности выполнили ряд совместных проектов
РФФИ и Департамента Науки и Технологии Правительства Индии (ДНТ), а также
совместных проектов ДНТ и Министерства Образования и Науки РФ. В данном проекте
предполагается объединить опыт российских участников в области логического
программирования и обработки изображений с опытом индийской стороны в области
информационной безопасности и биометрического анализа.
Ожидаемые по окончании проекта научные результаты
Планируется получить следующие научные результаты:
1. Разработать и реализовать специализированную систему логического программирования,
предназначенную для интеллектуального видеомониторинга, в том числе для анализа
динамических изображений с участием людей.
2. Разработать методы и средства объектно-ориентированного логического
программирования для структурирования набора логических правил и фактов, а также для
разбиения на отдельные этапы (параллельные процессы) алгоритмов анализа
видеоизображений.
3. Разработать методы постоянного пересмотра набора логических фактов в ходе
логического анализа. Исследовать различные стратегии пересмотра набора логических
фактов.
4. Разработать методы и средства нечёткого вывода, формализующие нечёткость
временных и пространственных отношений, отсутствие информации об атрибутах
анализируемых объектов и др.
5. Исследовать проблему логического описания и анализа сложных (протяжённых в
пространстве и во времени) объектов и событий, таких как траектории движения, плотность
потока людей и пр.
6. Создать библиотеку с открытым кодом, обеспечивающую взаимодействие между
системой логического вывода и существующими библиотеками машинного зрения с
открытым кодом.
7. Создать Веб-сайт проекта, поддерживающий участие независимых разработчиков в
экспериментах по логическому описанию и анализу сложных событий, а также в
дальнейшем развитии системы.
