В Беларуси есть команда из двадцати человек, которая уже полгода работает над крутым стартапом: ребята создают систему, которая может распознавать жесты и интерпретировать их в слова. И, кажется, до беларусов подобного еще не делал никто, наверное, поэтому проект сразу же нашел себе инвестора, пишет dev.by.

«Изначально мы саму технологию начали портировать под геймдев. Когда мы портировали под iOS функцию определения плоскости и позиционирования виртуальной монеты в пространстве, вместо плоскости распознали руку, а с помощью трекинга определили сам подброс: скорость подброса, сила — всю эту физику мы перенесли на жесты. Потом нас попросили сделать проект ещё одной AR-игры для мобильной платформы с «виртуальным» персонажем в главной роли, с которым мы можем взаимодействовать жестами. Довольно быстро смогли сделать. Поэтому самое основное, что мы делаем сейчас — это полноценное распознавание жестов для сурдоперевода. Идея возникла в прошлом октябре», – рассказывает СЕО проекта Илья Лесун.

«face recognition делают везде, а у слабослышащих есть реальная боль — они не могут слышать говорящих, а говорящие не могут понять их жесты. Скольким людям мы можем помочь, просто сделав ретранслятор для любой камеры: языка жестов в текст, языка жестов в голос, и наоборот - голоса в жесты», – дополняет Илья.

Как работает приложение:

«Отличие нашей системы от того же «кинекта» в том, что тот использует инфракрасный порт для определения расстояний, а мы — обычную RGB-камеру, которая есть в любом смартфоне и ноутбуке, и через определённую фильтрацию получаем нужные данные. После этого нейронная сеть анализирует, что это, и запускает какую-нибудь команду. Пока что мы работали над чистой математикой, сейчас плавно переходим к нейронкам, что очень сильно ускорит нашу работу и повысит качество», – рассказывает data-аналитик Антон Милютин.

«Глаза, точки губ мы уже умеем распознавать. Просто распознавать слова по губам — не наша тема. Наша задача — посредством распознавания губ и их позиционирования воспринимать эмоции. Не просто перевод и чтение по губам, а формирование фразы с помощью эмоций. Буквально в субботу научились при распознавании отделять руку от лица, ведь есть много жестов, когда ладонь перекрывает лицо», – дополняют они.

Планы создателей:

«Сначала сделаем платформу, на которой слабослышащие смогут учить систему новым жестам. Затем — наводишь смартфон на человека, и программа интерпретирует жест в текст. И то же самое для компьютера с веб-камерой. Так что хотим MVP выпустить в марте, к этому идём»

На вопрос, кто занимался подобными приложениями в мире, Илья Лессун рассказал, что «идея существует давно, но ее все еще никто не воплотил»:

«Я гуглил, у кого патенты на распознавание жестов — оказалось, что ни у кого. Продуктовых патентов тоже ни у кого. Но и Google, и Apple, и Amazon, и Microsoft занимаются этим».

Что ж, давайте пожелаем ребятам удачи.

Иллюстрация: Sheeborshee (34mag.net), фото: Андрей Давыдчик (dev.by)