Машинное обучение и компьютерное зрение

Краткое описание

Машинное обучение и компьютерное зрение – активно  развивающиеся смежные области, весьма перспективные с точки зрения фундаментальных и прикладных исследований с практическим применением в целом ряде задач (видеонаблюдение, автоматическое управление транспортными потоками, автономные транспортные средства, интернет-поиск по изображениям и др.), актуальных для современного общества, что обуславливает научную и практическую значимость данной тематики.

Основополагающими этапами в понимании содержания изображений являются классификация изображений и детектирование объектов. Сложность надежного решения данных проблем во многом обусловлена тем, что изображения являются динамическими «сценами» с различным освещением, степенью удаленности объектов от камеры и углом поворота относительно объектива, а также возможным перекрытием объектов. Другой сложностью является большое количество искомых объектов, что, в свою очередь, ведет к необходимости обработки объемной базы изображений. С учетом того, что многие алгоритмы машинного обучения, применяемые для решения указанной проблемы, имеют трудоемкость, зависящую квадратично или даже кубично от объема исходных данных, время решения больших задач может оказаться неприемлемым. Данный вопрос встает особенно остро, когда задача должна решаться в реальном времени (on-line). В связи с этим также встает проблема разработки высокоэффективных алгоритмов для современных компьютерных архитектур.

Коллектив

Со-руководители проекта

Участники проекта

  • Павел Дружков, аспирант, ВМК ННГУ
  • Евгений Козинов, ассистент каф. МО ЭВМ, ВМК ННГУ.
  • Валентина Кустикова, ассистент каф. МО ЭВМ, ВМК ННГУ.
  • Андрей Мильченко, м.н.с, каф. МЛиВА, ВМК ННГУ.
  • Алексей Половинкин, м.н.с., каф. МО ЭВМ, ВМК ННГУ.
  • Татьяна Ханова, студент, ВМК ННГУ.

Сотрудничество

  • Игорь Чикалов, к.ф.-м.н., ст.н.с., факультет информатики, электротехники и математики, университет науки и технологий короля Абдуллы (Саудовская Аравия).

Основные результаты

Авторами выполнены высокопроизводительные программные реализации одного из наиболее перспективных алгоритмов обучения с учителем – алгоритма градиентного бустинга деревьев решений (GBT – gradient boosted trees) и  алгоритма детектирования объектов разных классов Latent SVM. Разработаны схемы распараллеливания алгоритма GBT [12]. Результаты вычислительного эксперимента, проведенного с использованием широко распространенных наборов реальных данных UCI (http://archive.ics.uci.edu/ml), свидетельствуют о конкурентоспособности предложенной параллельной реализации. Наряду с этим разработаны схемы распараллеливания для систем с общей памятью алгоритма Latent SVM [8], также выполнена реализация и распараллеливание каскадной модификации Latent SVM [22]. Результаты апробации (качество и время) на широко известных данных PASCAL Visual Object Classes Challenge 2007 сравнимы с существующими реализациями. Разработанный программный код параллельных реализаций алгоритмов GBT, Latent SVM и его каскадной модификации интегрирован в одну из наиболее известных свободно распространяемых библиотек компьютерного зрения OpenCV (http://opencv.org) [10].

Затем разработан высокопроизводительный алгоритм для задачи классификации объектов на изображении с большим числом классов. Разработан новый алгоритм и прототип его программной реализации для задачи детектирования пешеходов, основанного на новом методе отбора признаков с помощью ансамблей деревьев решений [2]. Разработан новый алгоритм для решения задачи детектирования автомобилей на видеопотоке и прототип его программной реализации [1, 5]. На данный момент получены результаты, качественно сравнимые с существующими исследовательскими работами.

Построены оценки сложности ряда алгоритмов машинного обучения и компьютерного зрения: алгоритма градиентного бустинга деревьев решений с распределенными данными, иерархического алгоритма классификации изображений с большим числом категорий, алгоритма отбора признаков с помощью ансамблей деревьев решений, алгоритма детектирования объектов Latent SVM, разработанных алгоритмов видеодетектирования автомобилей.

Разработаны технологии детектирования автомобилей в видеопотоке [13] и пешеходов на изображениях, включающие в себя прототипы программных реализаций и инструкции по их применению. Программные реализации разработаны на базе библиотеки OpenCV и находятся в открытом доступе в сети Интернет. Разработанные технологии могут использоваться при создании реальных систем компьютерного зрения и при решении практических задач машинного обучения (в частности, систем помощи водителю и систем детектирования пешеходов).

Текущие исследования

Проект направлен на решение задач классификации изображений с большим числом категорий и детектирования объектов на изображениях.

В рамках задачи классификации дано обучающее множество изображений с присвоенными им метками категорий, идентифицирующими наличие объектов того или иного класса (например, «человек», «автомобиль», «велосипед» и т.д.). На основании данного набора требуется построить алгоритм, позволяющий для произвольного изображения получить список классов, т.е. определить все присутствующие на нем объекты. В простейшем случае предполагается, что изображение содержит только один объект, и алгоритм должен точно определить какой именно. Отметим, что при наличии нескольких объектов одного класса не требуется определять их количество.

Задача детектирования объектов заключается в построении по обучающему множеству изображений алгоритма, способного локализовать все объекты заданного класса на произвольном изображении. Под локализацией объектов можно понимать нахождение наименьшей прямоугольной области изображения, содержащей объект. Как правило, при решении задачи детектирования используется результат работы алгоритма классификации.

Разрабатываемые методы будут апробированы на задачах детектирования пешеходов и автомобилей. Выбор указанных классов объектов во многом обусловлен практической значимостью приложений, использующих детектирование пешеходов и автомобилей для автоматического анализа и управления транспортными потоками, а также создания автономных транспортных средств.

Планируется использовать следующие методы глубокого обучения, основанные на применении нейронных сетей, а также методы, основанные на применении моделей, отличных от нейронных сетей.

Избранные публикации

  1.  V.D. Kustikova, I.B. Meyerov, N.Yu. Zolotykh Vehicle video detection method // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2014. Vol.24. Принято к печати.
  2. Дружков П.Н. Уменьшение размерности признаковых описаний в задаче детектирования пешеходов на изображениях // Известия вузов. Приборостроение. 2014. Принято к печати.
  3. K. Barkalov, A. Polovinkin, I. Meyerov, N. Zolotykh, S. Sidorov, “SVM Regression Parameters Optimization Using Parallel Global Search Algorithm”, V. Malyshkin (Ed.): PaCT 2013, LNCS 7979, pp. 154–166, 2013
  4. Дружков П.Н. Программная реализация параллельного алгоритма градиентного бустинга деревьев решений // Вычислительные методы и программирование. 2013. № 14. С. 109-114.
  5. Кустикова В.Д. Сравнение некоторых алгоритмов видеодетектирования транспортных средств видеоданных // Вестник Нижегородского университета им. Н.И. Лобачевского. 2013. №4 (1). С.231-242.
  6. Половинкин А.Н. Алгоритмы классификации изображений с большим числом категорий объектов // Вестник Нижегородского университета им. Н.И. Лобачевского. 2013. №4 (1). С.225-230.
  7. Золотых Н.Ю., Кустикова В.Д., Мееров И.Б. Обзор методов поиска и сопровождения транспортных средств на потоке видеоданных // Вестник Нижегородского университета им. Н.И. Лобачевского. 2012. № 5 (2). С. 347–357.
  8. Козинов Е.А., Кустикова В.Д., Мееров И.Б., Половинкин А.Н., Сиднев А.А. Подходы к оптимизации и распараллеливанию вычислений в задаче детектирования объектов разных классов на изображении // Вестник Южно-Уральского государственного университета. Серия «Вычислительная математика и информатика» 2012. № 47 (306). С. 68–82.
  9. Дружков П.Н., Золотых Н.Ю. Использование градиентного бустинга деревьев решений для предсказания стабильности водородной связи в белке // Научно-технический вестник Санкт-Петербургского государственного университета информационных технологий, механики и оптики. 2011. № 6. С. 144–145.
  10. Druzhkov P.N., Eruhimov V.L., Kozinov E.A., Kustikova V.D., Meyerov I.B., Polovinkin A.N., Zolotykh N.Yu. New object detection features in OpenCV Library // Pattern Recognition and Image Analysis. 2011. V. 21, № 2. P. 377–379.
  11. Дружков П.Н., Золотых Н.Ю., Половинкин А.Н. Параллельная реализация алгоритма предсказания с помощью модели градиентного бустинга деревьев решений // Вестник Южно-Уральского университета. 2011. № 37 (254). С.82–89.
  12. Дружков П.Н., Золотых Н.Ю., Половинкин А.Н. Программная реализация алгоритма градиентного бустинга деревьев решений // Вестник Нижегородского государственного университета им. Н.И. Лобачевского. 2011. № 1. С.193–200.

Избранные доклады

  1.  Кустикова В.Д., Золотых Н.Ю., Мееров И.Б., Козинов Е.А., Половинкин А.Н. Разработка системы видеодетектирования транспортных средств // 2-я Всероссийская конференция «Анализ изображений, сетей и текстов (АИСТ 2013)» (Екатеринбург, 4–6 апреля 2013 г.). – С. 115–122.
  2. V.D. Kustikova, I.B. Meyerov, N.Yu. Zolotykh Vehicle video detection method // In the Proceedings of the 11th International Conference «Pattern Recognition and Image Analysis: New information technologies» (PRIA-11-2013), Samara, September 23-28, 2013. Vol.1. P.232-235.
  3. Козинов Е.А., Кустикова В.Д., Мееров И.Б., Половинкин А.Н., Сиднев А.А. Подходы к оптимизации и распараллеливанию вычислений в задаче детектирования объектов разных классов на изображении // Параллельные вычислительные технологии (ПаВТ’2012): труды международной научной конференции (Новосибирск, 26-30 марта 2012г.). – Челябинск: Издательский центр ЮУрГУ, 2012. С.202-211.
  4. Мартьянов В.Ю., Половинкин А.Н., Тув Е.В. Классификация изображений с использованием словаря кодовых слов на основе ансамблей деревьев решений // Интеллектуализация обработки информации: 9-я международная конференция. Черногория, г. Будва, 2012 г.: Сборник докладов. М: Торус Пресс. 2012. C. 480-482.
  5. Barkalov K., Meyerov I., Polovinkin A., Sidorov S., Zolotykh N. Optimizing support vector regression parameters by using global search algorithm // 25th European Conference on Operational Research. Conference Programme. 8-11 July 2012, Vilnius, Lithuania. Р. 187.
  6. Кустикова В.Д. Об одном подходе к решению задачи видеодетектирования транспортных средств // 12-я Международная конференция «Высокопроизводительные вычисления на кластерных системах (HPC-2012)» (Нижний Новгород, 26–28 ноября 2012 г.). – Нижний Новгород: изд-во ННГУ, 2012. С. 241–246.
  7. Половинкин А.Н. Методы решения задачи классификации изображений с большим числом категорий // 12-я Международная конференция «Высокопроизводительные вычисления на кластерных системах (HPC-2012)» (Нижний Новгород, 26–28 ноября 2012 г.). – Нижний Новгород: изд-во ННГУ, 2012. С. 330-–334.
  8. Дружков П.Н. Программная реализация параллельного алгоритма градиентного бустинга деревьев решений // 12-я Международная конференция «Высокопроизводительные вычисления на кластерных системах (HPC-2012)» (Нижний Новгород, 26–28 ноября 2012 г.). – Нижний Новгород: изд-во ННГУ, 2012. С. 143–147.
  9. Дружков П.Н., Золотых Н.Ю., Половинкин А.Н. Параллельная реализация алгоритма предсказания с помощью модели градиентного бустинга деревьев решений // Параллельные вычислительные технологии (ПаВТ’2011): труды международной научной конференции (Москва, 28 марта – 1 апреля 2011 г.) Челябинск: Издательский центр ЮУрГУ, 2011. C. 471–477.
  10. Золотых Н.Ю., Козинов Е.А., Кустикова В.Д., Мееров И.Б., Половинкин А.Н. Об одном методе повышения скорости поиска объектов методом скрытых опорных векторов за счет применения каскадных схем // 11-я Международная конференция «Высокопроизводительные вычисления на кластерных системах (HPC-2011)» (Нижний Новгород, 17–19 ноября 2011 г.). Нижний Новгород: изд-во ННГУ, 2011. С. 134–139.

Конкурсы, проекты и гранты

  1. 2014 – грант РФФИ № 14-07-31269.
  2. Федеральная целевая программа «Научные и научно-педагогические кадры инновационной России», тема «Высокопроизводительные вычисления в машинном обучении для анализа больших объемов данных», ГК №02.740.11.5131, 2010-2011г.
  3. Свидетельство о регистрации программы для ЭВМ № 2011616621 «Метод решения задач машинного обучения с использованием жадных бустинг-деревьев» от 25 августа 2011г. Авторы: Золотых Н.Ю., Дружков П.Н., Половинкин А.Н., Ерухимов В.Л.
  4. Свидетельство о регистрации программы для ЭВМ № 2011616620 «Скрытый метод опорных векторов для решения задач машинного обучения» от 25 августа 2011г. Авторы: Мееров И.Б., Золотых Н.Ю., Половинкин А.Н., Козинов Е.А., Кустикова В.Д., Сиднев А.А., Капралов Е.И., Рябикин Н.М., Ерухимов В.Л.
  5. Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы», тема «Новые алгоритмы машинного обучения и компьютерного зрения и их высокопроизводительные реализации», ГК №11.519.11.4015, 2011-2013 г.
  6. Свидетельство о регистрации программы для ЭВМ № 2013610068 «Метод решения задач машинного обучения с распределено хранящимися данными с использованием жадных бустинг-деревьев» от 9 января 2013г. Авторы: Дружков П.Н.
  7. Свидетельство о регистрации программы для ЭВМ № 2013614810 «Метод видеодетектирования автомобилей» от 22 мая 2013г. Авторы: Кустикова В.Д.
  8. Свидетельство о регистрации программы для ЭВМ № 2013614811 «Метод классификации изображений с большим числом категорий» от 22 мая 2013г. Авторы: Половинкин А.Н.
  9. Проект «Development of control system to detect incorrect pupil’s posture using Kinect» («Разработка системы для определения неправильной осанки с использованием Kinect») вошел в число победителей конкурса Microsoft Research по компьютерному зрению. Организаторы конкурса – Компания Microsoft, 2012г.
  10. Проект «Методы и алгоритмы анализа изображений для решения задачи видеодетектирования транспортных средств», авторы – Кустикова В.Д., Козинов Е.А., Золотых Н.Ю., Мееров И.Б., Ханова Т.А., вошел в число победителей конкурса прикладных разработок и исследований в области компьютерных технологий «Компьютерный континуум: от идеи до воплощения». Организаторы конкурса – Корпорация Intel и Фонд развития инновационного центра «Сколково», 2012г.
  11. Проект «Детектирование пешеходов на изображениях и видео», авторы – Золотых Н.Ю., Дружков П.Н., Кустикова В.Д., Козинов Е.А., Мееров И.Б., вошел в число лауреатов конкурса прикладных разработок и исследований в области компьютерных технологий «Компьютерный континуум: от идеи до воплощения». Организаторы конкурса – Корпорация Intel и Фонд развития инновационного центра «Сколково», 2012г.