- 13,854
- 20
- 8 Ноя 2022
Устройство на основе компьютерного зрения показало 94% точность в определении направления звука.
Команда ученых из Национального университета Ченг Кунг во главе с профессором И-Чуном Ду Для просмотра ссылки Войдиили Зарегистрируйся прототип слухового аппарата, который помогает людям с нарушениями слуха лучше определять, откуда исходит звук. Устройство объединяет в себе несколько передовых технологий, включая компьютерное зрение, специализированные алгоритмы и микрофонные решетки.
Как отметил профессор Ду, определение направления звука критически важно для качества жизни и безопасности людей с проблемами слуха. «Мы надеемся внедрить этот модуль в повседневную жизнь пожилых пациентов с нарушениями слуха, что еще больше улучшит качество жизни людей с легкими и умеренными проблемами со слухом», - говорит он.
В состав устройства входят инновационный двухслойный микрофонный массив, размещенный на ушах, а также носимое на шее устройство с видеокамерой и технологией компьютерного зрения. Алгоритмы помогают камере распознавать лица в поле зрения, чтобы определить, откуда исходит звук. Когда динамик находится вне зоны видимости камеры, для определения местоположения звука используется другой алгоритм, основанный на анализе угла прибытия звуковой волны и временных задержек.
Далее специальный алгоритм микширования корректирует звук, поступающий в наушники, для более точного определения направления звука и регулирует громкость для создания эффекта погружения.
В ходе тестирования на 30 пациентах с нарушениями слуха новое устройство показало отличные результаты. Участники смогли правильно определить источник звука с помощью функции компьютерного зрения с точностью 94% и выше на расстояниях, типичных для разговора (до 160 см). Без использования камеры, только на основе данных от микрофонов, точность также превышала 90%.
Кроме того, специальный алгоритм микширования эффективно корректирует громкость левого и правого звуковых каналов в наушниках, что позволяет пользователям лучше определить направление источника звука. В отдельном исследовании на группе пожилых участников с применением комбинированной технологии результаты по клиническому тесту на определение направления звука составили 100% успешных попыток.
При этом профессор Ду отмечает, что угол обзора используемой видеокамеры составляет лишь 75 градусов и не может сравниться с человеческим зрением (120 градусов). В будущем планируется применение широкоугольных объективов или дополнительных камер для расширения зоны распознавания и повышения пригодности устройства для повседневного использования.
Команда Ду заинтересована в дальнейшем развитии технологии, в частности, в интеграции функций распознавания лиц и голосов для автоматического определения собеседника в поле зрения камеры. Это позволит сделать общение для пользователей еще более комфортным. Команда уже ведет переговоры с потенциальными партнерами о коммерциализации разработки.
Команда ученых из Национального университета Ченг Кунг во главе с профессором И-Чуном Ду Для просмотра ссылки Войди
Как отметил профессор Ду, определение направления звука критически важно для качества жизни и безопасности людей с проблемами слуха. «Мы надеемся внедрить этот модуль в повседневную жизнь пожилых пациентов с нарушениями слуха, что еще больше улучшит качество жизни людей с легкими и умеренными проблемами со слухом», - говорит он.
В состав устройства входят инновационный двухслойный микрофонный массив, размещенный на ушах, а также носимое на шее устройство с видеокамерой и технологией компьютерного зрения. Алгоритмы помогают камере распознавать лица в поле зрения, чтобы определить, откуда исходит звук. Когда динамик находится вне зоны видимости камеры, для определения местоположения звука используется другой алгоритм, основанный на анализе угла прибытия звуковой волны и временных задержек.
Далее специальный алгоритм микширования корректирует звук, поступающий в наушники, для более точного определения направления звука и регулирует громкость для создания эффекта погружения.
В ходе тестирования на 30 пациентах с нарушениями слуха новое устройство показало отличные результаты. Участники смогли правильно определить источник звука с помощью функции компьютерного зрения с точностью 94% и выше на расстояниях, типичных для разговора (до 160 см). Без использования камеры, только на основе данных от микрофонов, точность также превышала 90%.
Кроме того, специальный алгоритм микширования эффективно корректирует громкость левого и правого звуковых каналов в наушниках, что позволяет пользователям лучше определить направление источника звука. В отдельном исследовании на группе пожилых участников с применением комбинированной технологии результаты по клиническому тесту на определение направления звука составили 100% успешных попыток.
При этом профессор Ду отмечает, что угол обзора используемой видеокамеры составляет лишь 75 градусов и не может сравниться с человеческим зрением (120 градусов). В будущем планируется применение широкоугольных объективов или дополнительных камер для расширения зоны распознавания и повышения пригодности устройства для повседневного использования.
Команда Ду заинтересована в дальнейшем развитии технологии, в частности, в интеграции функций распознавания лиц и голосов для автоматического определения собеседника в поле зрения камеры. Это позволит сделать общение для пользователей еще более комфортным. Команда уже ведет переговоры с потенциальными партнерами о коммерциализации разработки.
- Источник новости
- www.securitylab.ru
