Учеными Новосибирского государственного технического университета (НГТУ) разработана система компьютерного распознавания русского языка жестов.
Система пока не имеет аналогов в мире. Она с помощью камер и нейронных сетей распознает жесты и переводит их в текст или голос. Точность распознавания составляет 90 процентов.
Программа обучена распознавать 1006 жестов. Модель способна различать компоненты жеста, то, как повернута ладонь, и характер движения ладони. По словам Михаила Гриф, профессора кафедры автоматизированных систем управления Новосибирского государственного технического университета, в настоящее время ведется работа над программой для распознавания букв дактильного алфавита. Точность распознавания дактиля на данный момент составляет 92%. Кроме того, разработчики работают и над выделением межжестового движения – эпентезы. В потоке точность выделения жестов несколько ниже и составляет 85-90%.
Ученые отмечают, что технология является пока экспериментальной работой с размеченными данными. Для обучающей выборки нейросети было отобрано 350 записанных на видео предложений, в которых выделили жесты и промежуточные движения. Благодаря такой разметке нейросеть способна определить начало и конец жеста.
В настоящее время специалисты сосредоточены на внедрении компьютерного переводчика для удобства русскоязычных глухих людей. В будущем планируется перевести систему на ряд других языков.
