Программный прототип позволяет пользователям самостоятельно создавать жесты для управления компьютером и привязывать их к любым командам — от открытия приложений до управления интерфейсами.
В отличие от существующих систем распознавания, предлагающих фиксированный набор движений, новая разработка дает возможность сформировать персонализированный словарь жестов. Пользователь записывает несколько образцов движения, система на основе компьютерного зрения выделяет ключевые точки руки с видеопотока, а алгоритм машинного обучения KNN классифицирует жест и сопоставляет его с заданной командой. Все данные хранятся локально на устройстве, что обеспечивает приватность и независимость от облачных сервисов.
— Главное отличие нашей разработки в том, что пользователь сам формирует словарь команд. Это не просто распознавание, а полный цикл: запись данных, обучение модели и выполнение команды, — пояснил студент Института информационных технологий и программирования Рафаил Давар.
Технология может найти применение в системах доступности для людей с ограниченными возможностями, в медицине и промышленности для бесконтактного управления, в образовательных и демонстрационных стендах, презентациях, а также в AR/VR-интерфейсах и «умных» пространствах.
На текущем этапе создан рабочий прототип. Локальные испытания на тестовом наборе жестов показали точность распознавания около 92,6%, сбалансированная метрика F1 достигла 92,4%. В ближайшее время проект планируется представить на конференции JMLC, затем разработчик намерен развивать систему как технологический продукт. В перспективе проект может быть вынесен на бизнес-акселераторы для оценки коммерческого потенциала.
