Главная / Новости /Общество / Глухой программист обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши

Глухой программист обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши

06-09-2019

Фото НГТУ НЭТИ

В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов. Алексей Приходько - единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык, сообщает ИА Буряад Yнэн.

Для автора разработки русский жестовый язык (РЖЯ) - родной. Он и его семья - глухие. Алексей не слышит с детства, но это не помешало ему стать экспертом в программировании.

Целеустремленность и математические способности помогли Алексею Приходько не только получить высшее образование в НГТУ НЭТИ и стать одним из самых успешных аспирантов университета, но и пройти стажировку в Германии по приглашению Гамбургского университета. Одержать победу на хакатоне федерального проекта «Россия - страна возможностей», получить грант фонда Владимира Потанина, а также выступить в роли спикера на IT-конференции в Мюнхене и разработать прототип компьютерного переводчика РЖЯ.

Сейчас выпускник НГТУ НЭТИ Алексей Приходько - единственный в мире программист и эксперт по разработке системы для перевода РЖЯ.

«Я - исполнитель, я же и разработчик. Представьте, если бы я занимался пианино, я не смог бы ремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики», - утверждает Алексей Приходько.

Основная функция программы, над которой работает Алексей, - перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.

Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

Фото НГТУ НЭТИ

По словам Алексея Приходько, сегодня существует много компаний, которые утверждают, что смогли создать готовый переводчик для глухих, они рекламируют его и уже даже продают.

«Savvy Motion, Kinect Sign Language Translator в Microsoft Research и другие крупные компании до сих пор не смогли реализовать полностью эту задачу перевода с жестового языка на звуковой язык, поэтому качество работы таких приложений оставляет желать лучшего», - поделился он.

Проблема в разработке хорошего переводчика связана с главной особенностью жестового языка - его грамматикой. Именно поэтому, сегодня ни одна программа не способна заменить живых переводчиков. Дело в том, что перевод напрямую зависит не только от конфигурации и ориентации рук, но и от их движения, месторасположения и так называемого лингвистами немануального компонента жестов (выражение лица, движение губ и другие знаки артикуляции).

«С письменного языка на жестовый переводить не сложно. Технически тяжело распознать жесты и их перевести. Все зависит еще от того, какая камера и какие датчики. Существует два способа распознавания жестов при помощи техники: безмаркерный и маркерный. Маркерная система - это когда у человека надеты специальные перчатки, приборы на запястья, браслеты и современные агрегаты, которые учитывают движение мышц и точки на корпусе человека. Я пошел сложным путем, который не требует больших затрат на специальное оборудование для создания программы с маркерной системой. Моя программа безмаркерным методом распознает человека и его жесты при помощи камер», - комментирует Алексей Приходько.

Безмаркерная система, которую использует в системе Алексей, при помощи специальных камер накладывает виртуальную «сетку» на получаемое изображение. На этой «сетке» программные алгоритмы находят опорные точки, по которым определяются жесты. Далее система обрабатывает данные и после воспроизводит заданные действия: перевод или управление.

«Если модель определяет, например, что пальцы раскрыты - буква В, если пальцы собраны — О. Согнулся локоть или нет. В зависимости от этого формируется некая математическая модель, которая создается из скелетной модели. И соответственно каждым числам из этой модели присваивается система координат, и на экране мы видим, какой это жест», - рассказал Алексей Приходько

Сейчас прототип переводит на уровне азбуки глухих. К защите кандидатской Алексей планирует обучить систему другим компонентам грамматики РЖЯ, чтобы в последующем довести программу уже до готового продукта для широкого использования среди глухих.

По словам заведующей лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольги Вариновой, разработка Алексея будет необходима не только для глухих, но и для обучения будущих переводчиков РЖЯ.

«Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский - нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», - комментирует она.

Помимо переводчика РЖЯ, Алексей Приходько работает и над другими проектами. В начале июля 2019 года проект «Жестовый интерфейс» принес победу программисту и его команде на конкурсе «Цифровой прорыв» федерального проекта «Россия - страна возможностей». За 36 часов команда единомышленников разработала проект для обучения глухих на РЖЯ и попала в число потенциальных участников финала всероссийского конкурса разработчиков.

Проект «Жестовый интерфейс» участвовал в конкурсе «Цифровой прорыв», а проект «Математика в тишине» в другом конкурсе, в летней школе-2017 Потанина.

В настоящее время Алексей Приходько ищет инвесторов, которые захотят участвовать в проекте по разработке переводчика РЖЯ.

«Я бы смог доработать прототип до конечного продукта за 1-2 года, если бы кто-то готов был инвестировать. Мне не хватает сейчас ресурсов на работу над системой и кандидатской диссертацией (денежные расходы на патент, защиту и консультацию, переводчик РЖЯ)», - рассказал Алексей.

Фото НГТУ НЭТИ

СПРАВКА

В 2013 году Алексей Приходько окончил бакалавриат на АВТФ-ИСТР НГТУ НЭТИ по специальности «Информатика и вычислительная техника». В 2015 году он получил степень магистра на факультете автоматики и вычислительной техники (АВТФ) НГТУ НЭТИ, в августе 2019 года окончил аспирантуру на кафедре автоматизированных систем управления (АСУ) университета.


Теги: Новосибирск НГТУ НЭТИ программист глухой программист



17:14

​Абынгаа буусада бусаад... 

17:13

В Бурятии ведутся работы по созданию Дома научной коллаборации (ДНК)  

16:55

Француженка в Бурятии 

16:35

Сберечь родную речь: как молодой удан-удэнец заботится о народных традициях 

16:19

​Лариса САНЖИЕВА: «Хүгжэмэй зохёолшодто анхарал хэрэгтэй» 

15:53

Делегация из Бурятии посетила молодежный предпринимательский форум 

15:46

Эпоха перемен: из-за чего буряты покидали родину? 

15:25

Станет ли рабочая неделя для жителей Бурятии четырёхдневной? 

15:21

​«Хүндэ туһалхые хүсэнэб» 

15:03

Виталий Лыгденов: «Работаю с людьми и для людей» 

14:58

Амин шухала асуудал бэшэ гэжэ гү? 

14:38

Народный Хурал Бурятии утвердил повестку очередной сессии 

14:25

Восстановлением леса занимаются бурятские студенты-лесники 

14:22

Джарун Хашарой субаргын 100 жэлэй ойдо зорюулагдаһан номтой танилсалга Улаан-Үдэдэ эмхидхэгдэхэ 

14:19

В Улан-Удэ восстановят тротуар на перекрестке улиц Бабушкина и Трубачеева 

14:11

В Бурятии прошёл слёт молодых педагогов 

14:10

Известный российский актер Евгений Миронов посмотрел бурятский спектакль «Ричард III» 

13:54

​Буряад уласта нүүдэл хоёр кванториум байгуулагдаха 

13:38

Юные журналисты Бурятии примут участие в Международном медиафоруме 

13:22

​Буряад Уласта «Байгалай сэбэр эрье» гэһэн экологиин марафон үнгэргэгдэхэ 

13:17

В Бурятию приехала делегация Среднегобийского аймака Монголии 

13:13

В Улан-Удэ презентуют книгу к 100-летию самой большой буддийской ступы Джарун Хашор 

12:02

В Улан-Удэ дешевеют овощи и дорожает хлеб 

11:52

Денберел Ооржак может стать участником «Детского Евровидения-2019» 

11:47

Оперная звезда Юлия Маточкина о Бурятии и фестивале оперы: «Такое остается надолго в памяти и в душе» 

11:42

Многодетным семьям Бурятии помогут оплатить ипотеку 

11:30

МЧС усиливает профилактическую работу в жилом секторе Бурятии 

11:30

Театр «Байкал» исполнит любимые и известные бурятские песни 

11:26

Лжецелительницу из Бурятии приговорили к четырем годам лишения свободы 

11:19

Бурятского предпринимателя оштрафовали за угрозу вреда здоровью граждан 

11:17

​ТАШХАНЭЙН ДУУНУУД 

11:11

В Народном Хурале рассмотрят законопроект о содержании и защите животных на территории Бурятии 

11:10

Акция «Чудесный портфель» прошла в районе Бурятии 

10:56

Общественники проверили ход реконструкции участка автодороги Улан-Удэ-Турунтаево-Курумкан-Новый Уоян 

10:47

Дээдэ гарай эмшэн 

10:38

Бурятский педагогический колледж отмечает свой 95-летний юбилей  

10:25

Бурятия выиграла более 300 млн рублей по проекту «Успех каждого ребенка» 

10:03

В Бурятии стартуют авиарейсы до Ольхона 

09:55

Расписание поезда Улан-Удэ-Таловка изменится 

09:43

​«ШИ» 

09:30

Дети из Бурятии вернулись со Всероссийского съезда школьных лесничеств 

09:24

Бурятские школьники высадили голубые ели 

09:14

Презентация монографии «От Ветки до Забайкалья: очерки истории и родословные семейских» пройдёт в Бурятии 

09:08

Домогто элинсэгүүдээ дурдажа... 

08:45

Зурхай ​на 20 сентября, 21 лунный день 

08:30

​Местами небольшие осадки, днём до +22 ожидаются в Бурятии сегодня, 20 сентября 

Наши издания