Казахстанские школьницы создали приложение-переводчик жестов и выиграли Международный IT-конкурс

Казахстанские школьницы выиграли международный IT-конкурс, передаёт Йорик со ссылкой на facebook-страницу “Энергия Перемен”.

Ученицы 11 класса РФМШ Алматы Айдана Искакова и Арина Кенбаева создали мобильное приложение Help2Hear и взяли гран-при в конкурсе Technovation Families. Проект обошел 250 других разработок из 13 стран. Приложение помогает людям с нарушением слуха общаться с теми, кто не знает жестового языка. Отмечается, что девушки учатся в 11 классе РФМШ Алматы.

“Сейчас в мире насчитывается более 466 млн слабослышащих людей, а через 30 лет их количество может дойти до 900 млн человек. И возможности этих людей до сих пор сильно ограничены, во всех странах. Когда мы осознали масштаб этой социальной проблемы, то мы решились взяться за нее при помощи цифровых технологий и искусственного интеллекта”, – пояснила Айдана.

Help2Hear – это приложение для мгновенного перевода языка жестов в обычный текст. Нужно только навести камеру телефона на человека с нарушением слуха, чтобы программа зафиксировала его жесты и нашла совпадения по базе данных. Готовое сообщение будет выведено на экран.

“Представьте, что к вам на улице обратился слабослышащий человек за помощью, но вы не владеете жестовым языком. Тогда приложение поможет вам общаться с ним, задавать вопросы и расшифровать ответ. Кстати, Help2Hear работает и в обратную сторону: вы можете ввести текст, а программа покажет, как показать его на жестовом языке. Мы считаем, что такое приложение должно быть у всех сотрудников полиции, скорой помощи, социальных служб”, – пояснила она.

“Задолго до того как началась техническая часть, мы провели большую исследовательскую работу. Нельзя было просто взять готовые с интернета фото и видео жестов неслышащих людей и работать с ними, как с исходным материалом. Сначала мы изучали, что такое глухота с медицинской точки зрения, собирали статистические данные, общались с опытными и профессиональными сурдопедагогами, которые объяснили нам суть жестового языка и что такое дактилирование. Мы посещали Общественный фонд поддержки глухих инвалидов, ходили в школу-интернат для детей с нарушениями слуха. Общение с реальными людьми, которые живут с этой проблемой, дало нам мощный толчок для работы”, – рассказывает Арина.

“Наш переводчик – это искусственный интеллект, который постоянно самообучается. Сначала человек записывает на камеру свои движения, затем эта информация передается в модуль классификации жестов. А искусственный интеллект выдает наиболее вероятный ответ в виде текста. И чем больше данных, изображений через него проходит, тем точнее будет результат. Сейчас мы продолжаем совершенствовать этот алгоритм. Нужно пополнять словарь приложения и обучать его новым жестам. Нам важно довести его до той стадии, когда его смогут применять во всех учебных заведениях и в службах экстренной помощи”, – говорит Айдана.

Справка:

Technovation – это глобальная некоммерческая организация, где школьники со всего мира представляют лучшие социальные разработки. Именно те, которые решают реальные проблемы в обществе: от инклюзии до коррупции. Участвуют в программах Technovation только девочки, чтобы мотивировать их заниматься наукой, технологиями, инженерией. Вопреки гендерным стереотипам.

Для того, чтобы быть в курсе новостей в сфере науки, подписывайтесь на наш Telegram-канал.