- 13,579
- 20
- 8 Ноя 2022
Как прослушать фотографию и реконструировать речь по беззвучному видео?
Удаленная работа и регулярные видеоконференции стали для нас обыденностью за последние несколько лет. Мы часто выключаем микрофон во время встреч, чтобы никто не услышал, что происходит на фоне (например, в квартире). Возможно, совсем скоро в этом не будет никакого смысла.
Кевин Фу, профессор из Северо-Восточного Университета в Бостоне, представил Для просмотра ссылки Войдиили Зарегистрируйся , позволяющий извлекать аудиоданные из видеороликов без звука и даже из фотографий. В разработке помог инструмент под названием Side Eye, основанный на машинном обучении. Он позволяет улавливать речь человека вплоть до точных слов и даже тембра голоса.
Занимательный факт: концепция Side Eye была вдохновлена эпизодом научно-фантастического сериала «Грань», в котором герои извлекают звук из расплавленного стекла. После выхода серии многие критики назвали такой метод «псевдонаучной выдумкой». Однако Фу заявляет: «Моя лаборатория специализируется на создании невозможного».
Основные инструменты Side Eye — это стабилизация изображения и особый метод фотосъемки — rolling shutter, распространенный в современных устройствах. Он считывает картинку не целиком, а построчно и выявляет мельчайшие вибрации, которые проходят рядом с камерой, когда кто-то разговаривает. Side Eye преобразует видимые колебания воздуха обратно в звук, увеличивая детализацию аудиосигнала в тысячи раз.
Для эффективной работы Side Eye требуется лишь небольшое количество света. При этом чем больше кадров доступно для анализа, тем лучше. Интересно, что даже кадр с изображением потолка или стены может помочь в реконструкции речи.
На выходе получаются приглушенные звуки, которые гораздо проще интерпретировать в дальнейшем.
С точки зрения кибербезопасности Side Eye определенно представляет потенциальную угрозу. Но есть и позитивная сторона — разработка может найти применение в области судебной экспертизы и права. Например, если следователи проанализируют запись с камер наблюдения в определенное время, она может послужить доказательством или опровержением алиби.
Удаленная работа и регулярные видеоконференции стали для нас обыденностью за последние несколько лет. Мы часто выключаем микрофон во время встреч, чтобы никто не услышал, что происходит на фоне (например, в квартире). Возможно, совсем скоро в этом не будет никакого смысла.
Кевин Фу, профессор из Северо-Восточного Университета в Бостоне, представил Для просмотра ссылки Войди
Занимательный факт: концепция Side Eye была вдохновлена эпизодом научно-фантастического сериала «Грань», в котором герои извлекают звук из расплавленного стекла. После выхода серии многие критики назвали такой метод «псевдонаучной выдумкой». Однако Фу заявляет: «Моя лаборатория специализируется на создании невозможного».
Основные инструменты Side Eye — это стабилизация изображения и особый метод фотосъемки — rolling shutter, распространенный в современных устройствах. Он считывает картинку не целиком, а построчно и выявляет мельчайшие вибрации, которые проходят рядом с камерой, когда кто-то разговаривает. Side Eye преобразует видимые колебания воздуха обратно в звук, увеличивая детализацию аудиосигнала в тысячи раз.
Для эффективной работы Side Eye требуется лишь небольшое количество света. При этом чем больше кадров доступно для анализа, тем лучше. Интересно, что даже кадр с изображением потолка или стены может помочь в реконструкции речи.
На выходе получаются приглушенные звуки, которые гораздо проще интерпретировать в дальнейшем.
С точки зрения кибербезопасности Side Eye определенно представляет потенциальную угрозу. Но есть и позитивная сторона — разработка может найти применение в области судебной экспертизы и права. Например, если следователи проанализируют запись с камер наблюдения в определенное время, она может послужить доказательством или опровержением алиби.
- Источник новости
- www.securitylab.ru
