20.04.2024
Подписывайтесь на Telegram-канал по ссылке

Искусственный интеллект обучит людей американскому жестовому языку

Fingerspelling with Machine Learning

Студия Hello Monday и Американское общество глухих детей разработали сайт, позволяющий самостоятельно учить американский жестовый язык и проверять своё произношение. Он использует камеру и алгоритмы машинного обучения, чтобы распознавать расположение кисти и пальцев и оценивать корректность жестов. Протестировать работу сайта можно по ссылке.

Жестовые языки в первую очередь предназначены для общения глухих между собой, но используются не только ими. К примеру, родители ребёнка с полной или частичной потерей слуха вынуждены тоже учить жестовый язык, чтобы в свою очередь научить ему ребенка и общаться с ним. Для обучения жестовому языку можно воспользоваться помощью учителя, но это может быть не всегда удобно, а кроме того, требует финансовых затрат. Также в интернете есть много видео, посвящённых обучению тому или иному жестовому языку, но они не дают ученику обратной связи и не позволяют оценить корректность выполнения жестов.

Разработчики из студии Hello Monday создали бесплатный сайт, позволяющий учить американский жестовый язык и получать обратную связь. Для работы сервису требуется доступ к веб-камере, но создатели утверждают, что алгоритмы работают полностью локально, поэтому кадры с неё не покидают компьютер пользователя.

После запуска сервис предлагает показать жесты, соответствующие буквам английского алфавита и отображает проценты, показывающие точность выполнения. Занятия поделены на уровни, во время которых пользователя просят показать разные буквы и составлять из них слова. В основе сервиса лежит нейросеть, создающая по кадрам с веб-камеры модель руки пользователя. Это позволяет сравнивать жест, показанный пользователем, с тем, который попросил показать сервис.