Система распознавания жестов
Система предназначена для распознавания жестов по изображению с камеры, способная работать в режиме он-лайн в условиях ограниченных вычислительных ресурсов. Эта разработка относится к только начинающим сейчас появляться системам класса HCI – “Human-Computer Interface”, и позволяет взаимодействовать с компьютеризированной системой путем совершения человеком-оператором специальных движений руками в поле видимости видео-камеры. При этом, оператору не требуются дополнительные устройства и приспособления вроде цветных перчаток или специальных датчиков-акселерометров, система умеет автоматичеки находить и отслеживать кисть руки в поле зрения видео-камеры, исходя из характерных очертаний кисти и цвета кожи. Для обеспечения дополнительной устойчивости к перемене освещению была разработана дополнительная подсистема цветовой калибровки видео-изображения.
Система может работать в двух режимах: классификации заранее определенных жестов и в режиме виртуального манипулятора. В первом случае, в систему загружается заранее определенная база данных известных жестов, представляющих собой траектории движения руки в пространстве. В ходе функционирования, система отслеживает движения руки и в случае, если траектории движений напоминают содержащиеся в базе данных ранее записанные движения, указывает номер такого движения, т.е. номер жеста. Этот номер затем может быть использован для выполнения какого-либо заранее заданного действия. Во втором режиме, режиме виртуального манипулятора, система будет интерпретировать отслеживаемые движения руки как движения ручки управления некоторым прибором или устройством и подавать на него соответствующие команды.
На видео оператор (в роли оператора выступает Дмитрий Дзюба) совершает движения руками в пространстве, управляя таким образом программной моделью самолета F-22.
Проект был выполнен по заказу компании Samsung в 2009 году, над проектом работали Дмитрий Дзюба, Юрий Тихий, Артем Чернодуб, Дмитрий Новицкий.