SpellRing — это инновационное кольцо, разработанное учеными из Корнельского университета, которое в режиме реального времени переводит жестовый язык в текст. Устройство надевается на большой палец и использует комбинацию микросонара и гироскопа для отслеживания движений руки и пальцев. Микрофон и динамик кольца излучают и принимают неслышимые звуковые волны, которые отражаются от руки, позволяя точно определять положение пальцев. Алгоритм глубокого обучения обрабатывает эти данные, распознавая буквы американского жестового языка (ASL) с точностью до 92%.
В ходе испытаний участники, как опытные, так и начинающие пользователи ASL, использовали кольцо для ввода более 20 000 слов. SpellRing продемонстрировал точность распознавания от 82% до 92%, в зависимости от сложности слов.
Хотя на данный момент SpellRing фокусируется на распознавании дактилологии (буквенного алфавита), в будущем планируется расширить его функциональность для учета других элементов ASL, таких как выражения лица и движения верхней части тела. Также рассматривается интеграция устройства с очками с микросонаром для более полного захвата жестов и мимики, что позволит создать комплексную систему перевода ASL.
