Даниил Кононенко (аспирант Сколтеха)

Система коррекции взгляда при видеоконференции, обучаемая по данным со слабой разметкой

Задача коррекции взгляда при видеоконференции поставлена как задача обучения с учителем. Предложен алгоритм решения, работающий в реальном времени и не требующий дополнительного оборудования кроме стандартной веб-камеры. Алгоритм основан на методе случайных лесов специального вида, обучающихся по данным со слабой разметкой. Предложен метод сбора и предобработки коллекции пар изображений, описывающих перевод взгляда и использующихся для обучения предложенного алгоритма. Обучение происходит на парах изображений лиц людей с фиксированной угловой разницей в направлении взгляда. В тест-тайме для человека не из обучающей выборки взгляд изменяется на тот же угол, что и в обучающей выборке.

Ключевые слова: монокулярная коррекция взгляда, машинное обучение, случайный лес, слабая разметка, глубокое обучение
http://iitp.ru/ru/news/1780.htm