Корейський стартап представив інноваційний проект, що обіцяє змінити спосіб спілкування людей з вадами слуху. Розробка полягає у використанні смарт-кілець, які здатні розпізнавати мову жестів та перетворювати її на текст або голосове повідомлення. Ця технологія може стати справжнім проривом у сфері комунікації, адже вона дозволяє не лише покращити взаєморозуміння між людьми, але й забезпечує більшу автономію для тих, хто користується жестовою мовою. Смарт-кільця оснащ
Для людей із порушенням слуху жестова мова — це не просто інструмент спілкування, а їхня основна мова. Проблема в тому, що жестову мову зазвичай не вивчають люди з нормальним слухом, і це створює складний бар’єр. Тепер команда дослідників із Південної Кореї, схоже, знайшла напрочуд елегантне рішення цієї давньої проблеми.
Згідно з новим дослідженням, опублікованим у журналі Science Advances, система під назвою WRSLT (безпровідний каблучковий перекладач жестової мови)може розпізнаватита перекладати як американську жестову мову, так і міжнародну жестову мову з точністю понад 88%. І так, це працює в реальному часі.
Кожна смарт-каблучка містить тривісний акселерометр, який фіксує рухи пальців. Коли людина виконує жести, сенсоривідстежують орієнтацію пальців і рухи руки. Усі ці дані бездротово передаються через Bluetooth на смартфон або комп’ютер, де штучний інтелект інтерпретує рухи та перетворює їх у текст.
“Система побудована як модульна архітектура, де кожне кільце працює автономно та передає дані без дротового з’єднання між елементами. Такий підхід дозволяє обробляти не лише статичні жести, а й безперервні послідовності рухів, формуючи основу для перекладу цілих фраз у текст без додаткових етапів калібрування для нового користувача”, — зазначають дослідники.
Головна переваганад наявними рішеннями — свобода рухів. Сучасні системи перекладу жестової мови зазвичай використовують громіздкі рукавички або дротові сенсорні комплекси, які обмежують природні рухи та потребують індивідуального налаштування для кожного користувача. WRSLT не має цих обмежень.
Результати тестів доволі позитивні, і дослідники вважають, що система може бути універсальною. Вони навчали модель на одній групі користувачів, а потім тестували на іншій. Система правильнорозпізнаваласлова міжнародної жестової мови з точністю 88,5%, а американської — 88,3%, що є високим показником з огляду на природні відмінності в жестах різних людей.
“Система використовує модель машинного навчання, яка обробляє сигнали руху пальців відносно гравітації, що зменшує залежність від індивідуальних особливостей користувача. Завдяки цьому підхід не потребує складного налаштування під конкретну людину і демонструє стабільні результати навіть для нових учасників тестування”, — йдеться у технічному описі.
Зараз система здатна розпізнавати 100 слів у кожній мові, що є хорошим початком. Командапланує зменшити розміри каблучокі розширити словник штучного інтелекту, додавши більше слів і нові жестові мови. Це ще ранній етап, але це одне з найперспективніших рішень для перекладу жестової мови, які з’являлися останнім часом.
У продажу з’явилося кільце Moodring, яке транслює рухи криптовалютних ринків на палець
Джерело:Digital Trends