Компания OpenAI выпустила новый алгоритм генерирования трехмерных изображений по текстовому запросу POINT-E.
Согласно Для просмотра ссылки Войди
Алгоритм не создает 3D-объекты в традиционном понимании. Он генерирует «облака точек» или дискретные наборы точек данных в пространстве, которые представляют трехмерную форму.
Исследователи отметили, что такие данные проще синтезировать с вычислительной точки зрения. Однако они не охватывают детализированную структуру, форму или текстуру объекта.
Чтобы обойти это ограничение, команда OpenAI обучила дополнительную систему ИИ для преобразования облаков точек POINT-E в сетки.
Сам POINT-E состоит из двух частей:
- модели преобразования текста в изображение;
- модели преобразования изображения в 3D.
Модель преобразования изображения в 3D обучили на парах картинка-трехмерный объект.
Например, если ввести текстовый запрос «Кошка ест буррито», POINT-E сначала сгенерирует синтетическое изображение в соответствии с текстовой подсказкой. После этого вторая модель синтезирует грубое «облако» с 1024 точками, а затем улучшит 3D-объект до 4096 точек.
По словам исследователей, после обучения моделей на наборе данных из «нескольких миллионов» 3D-объектов и связанных с ними метаданных POINT-E может создавать цветные облака точек, соответствующие текстовым подсказкам. Они признали неидеальную работу модели, однако отметили скорость генерирования.
OpenAI разместила открытый исходный код проектов на Для просмотра ссылки Войди«Хотя наш метод имеет худшие результаты в этой оценке, чем самые современные методы, он дает образцы за небольшую долю времени. Это может сделать его более практичным для определенных приложений или позволить обнаруживать более качественные 3D-объекты», — заявили разработчики.
Напомним, в декабре компания Для просмотра ссылки Войди
В апреле OpenAI Для просмотра ссылки Войди
- Источник новости
- forklog.com