Новости Язык жестов теперь можно услышать благодаря умным очкам на Raspberry Pi

NewsMaker

I'm just a script
Премиум
13,858
20
8 Ноя 2022
Проект реализован на базе открытой платформы VIAM.


ebidfbzv36oa5e430xxiduouij7y3h4w.jpg


В эпоху стремительного технического прогресса удивительные инновационные разработки становятся обыденностью. Однако некоторые проекты выделяются своей гуманистической направленностью и стремлением облегчить общение между людьми. Энтузиаст под ником Нехил Для просмотра ссылки Войди или Зарегистрируйся очки с использованием одноплатного компьютера Raspberry Pi , способные распознавать язык жестов и озвучивать его с помощью функции преобразования текста в речь.


2gbzzg6m69ip81d4pvk89sxtxzs96o9l.png


Система использует искусственный интеллект и видеопоток с камеры для отслеживания и интерпретации жестов рук. Обученная нейросеть умеет распознавать отдельные буквы и тут же озвучивает их, позволяя окружающим понимать суть общения даже без знания языка жестов.

Для реализации проекта Нехил использовал открытую платформу VIAM, ориентированную на создание умных устройств с применением ИИ. Первоначально он планировал задействовать новейшую модель Raspberry Pi 5, однако затем принял решение использовать более компактную и энергоэффективную модель Pi Zero 2 W, вполне справляющуюся с поставленными задачами.

Камера V3 расположена спереди оправы очков, что позволяет ей захватывать изображения и видео перед пользователем. При условии, что собеседник находится в поле зрения камеры, система сможет «увидеть» и распознать его жесты. Сама оправа была спроектирована в Fusion 360 и напечатана на 3D-принтере специально для этого проекта.

В проекте Нехил использовал модель компьютерного зрения YOLOv8, обученную распознавать жесты, соответствующие отдельным буквам американского языка жестов (ASL). После распознавания буквы система озвучивает ее с помощью синтеза речи. Хотя платформа VIAM, на базе которой создано устройство, поддерживает работу с моделями TensorFlow Lite, в данном случае была выбрана более производительная модель YOLOv8 для более точного распознавания жестов.

Подробнее о проекте можно узнать на платформе Hackster, а также увидеть его в действии в видео на YouTube. <style> .responsive-video { position: relative; padding-bottom: 56.25%; padding-top: 25px; height: 0; } .responsive-video iframe { position: absolute; top: 0; left: 0; width: 100%; height: 100%; }</style>

<div class="responsive-video"><iframe width="560" height="315" src="
" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen=""></iframe>
 
Источник новости
www.securitylab.ru

Похожие темы