Новости Google разработает ИИ-модель для генерации звука к видео

[CryptoWatcher]

---

Компания Google DeepMind Для просмотра ссылки Войди или Зарегистрируйся технологию на базе искусственного интеллекта для создания саундтреков к видео.

Исследовательское подразделение Google в области ИИ и другие организации уже создавали модели для видео, но они не способны генерировать под них звуковые эффекты. Для этих целей DeepMind использует технологию V2A (video-to-audio).



«Модели для генерации видео развиваются невероятными темпами, но многие современные системы не создают звуковую дорожку. Одним из следующих важных шагов на пути к генерации фильмов является появление саундтреков к этим немым видеороликам», — говорится в сообщении DeepMind.Технология V2A от DeepMind использует промпты в сочетании с видео для создания музыки, звуковых эффектов и диалогов. Например: «Пульсирующая под водой медуза, морская жизнь, океан». Лежащая в основе V2A диффузионная ИИ-модель обучена на базе звуков, расшифровок диалогов и видеоклипов.

Для создания звука к видео использовались следующие подсказки: кинематограф, триллер, фильм ужасов, музыка, напряжение, атмосфера, шаги по бетону.

DeepMind отмечает, что технология пока не идеальна, а звук нельзя назвать высококачественным и убедительным. Перед полноценным запуском V2A требуются доработки и тестирования.

Напомним, в феврале OpenAI Для просмотра ссылки Войди или Зарегистрируйся, которая позволяет преобразовывать текст в видео.

В июне ученые из Гарварда и DeepMind Для просмотра ссылки Войди или Зарегистрируйся в качестве мозга.Ранее дочерняя компания Google Для просмотра ссылки Войди или Зарегистрируйся для создания игр.