- 10,591
- 12
- 13 Ноя 2022
Компания Stability AI представила новую итерацию Stable Audio с расширенным набором функций для создания звуковых клипов.
Модель первого поколения может генерировать аудиофайлы длиной до 90 секунд. Stable Audio 2.0 создает треки в два раза длиннее и с большим количеством пользовательских настроек.
Предыдущая версия в качестве промптов использовала только текст, а новая способна воспринимать в качестве референса звуковые клипы. ИИ может подбирать стиль генерируемого им аудио, что дает более точные результаты.
Представители Stability AI утверждают, что модель может создавать «структурированные композиции, включающие вступление, развитие и концовку». Еще одним улучшением по сравнению с предыдущим поколением стала возможность создания звуковых эффектов.
Stable Audio основана на диффузионной модели. От других ИИ-алгоритмов ее отличает способ обучения: в процессе тестирования модель получает коллекцию звуковых клипов с ошибками и задание восстановить оригинальный звук.
В новой версии используется специализированная реализация технологии, известная как латентная диффузионная модель. Как и другие нейронные сети, такие модели обучаются на наборе данных, похожем на файлы, которые они будут обрабатывать в процессе генерации. Но перед началом обучения датасет преобразуется в математическую структуру, что делает процесс разработки ИИ более эффективным.
Измененный таким образом набор данных называется латентным пространством и он содержит только самые важные детали. Менее значимые удаляются, что уменьшает общий объем информации, которую модели ИИ приходится обрабатывать в процессе обучения. Это позволяет сократить количество оборудования и снизить затраты.
Инженеры Stability AI также добавили новую нейронную сеть, основанную на архитектуре Transformer, разработанной Google в 2017 году. В основном она используется для построения языковых моделей. Transformer учитывает большое количество контекстной информации при интерпретации данных, что позволяет ему получать максимально точные результаты.
«Сочетание этих двух элементов приводит к созданию модели, способной распознавать и воспроизводить крупномасштабные структуры, которые необходимы для создания высококачественных музыкальных композиций», — говорится в Для просмотра ссылки Войди
Stable Audio 2.0 доступен для пользователей бесплатно, а API позволит другим компаниям интегрировать ИИ-модель в свои приложения.
Ранее компания Adobe Для просмотра ссылки Войди
Напомним, в феврале Stability AI Для просмотра ссылки Войди
- Источник новости
- forklog.com
