- 13,858
- 20
- 8 Ноя 2022
Робот обучается на данных из интернета и может стать личным ассистентом.
Компания DeepMind Для просмотра ссылки Войдиили Зарегистрируйся новую модель Robotic Transformer 2 (RT-2), способную переводить визуальные и языковые данные в конкретные действия. Модель, основанная на принципах vision-language-action (VLA), обучается на данных, полученных из интернета и робототехники, и преобразует информацию в обобщенные инструкции для управления роботами.
RT-2 разработана на основе предыдущей модели Robotic Transformer 1 (RT-1), которая была обучена на многозадачных демонстрациях и способна учиться комбинациям различных задач и объектов, представленных в робототехнических данных.
<span style="font-size: 8pt;">Модель получает изображения с камеры робота и напрямую прогнозирует действия, которые должен выполнить робот</span>
RT-2 демонстрирует улучшенные способности к обобщению, а также глубокое понимание семантики и визуализации, превосходящее рамки данных, с которыми модель работала ранее. Сюда входят интерпретация новых команд и реагирование на команды пользователя, выполняя примитивное рассуждение, например, о категориях объектов или их высокоуровневых описаниях.
<span style="font-size: 8pt;">Модель также может предсказывать действия робота. В этом примере на инструкцию: «Мне нужно забить гвоздь, какой предмет со сцены мог бы пригодиться?» модель предсказала, что робот после логических рассуждений возьмёт камень</span>
RT-2 обладает способностью выполнять более сложные команды, которые требуют рассуждения о промежуточных шагах, необходимых для выполнения задачи. Благодаря своей основе на VLM-модели, RT-2 может планировать действия, основываясь как на изображениях, так и на текстовых командах, что позволяет осуществлять визуально обоснованное планирование.
RT-2 демонстрирует, что VLM-модели могут напрямую управлять роботом путем сочетания предварительного обучения VLM с робототехническими данными. RT-2 не просто улучшает существующие VLM-моделей, но и открывает перспективы создания универсального физического робота, способного рассуждать, решать проблемы и интерпретировать информацию для выполнения широкого спектра задач в реальном мире.
Компания DeepMind Для просмотра ссылки Войди
RT-2 разработана на основе предыдущей модели Robotic Transformer 1 (RT-1), которая была обучена на многозадачных демонстрациях и способна учиться комбинациям различных задач и объектов, представленных в робототехнических данных.
<span style="font-size: 8pt;">Модель получает изображения с камеры робота и напрямую прогнозирует действия, которые должен выполнить робот</span>
RT-2 демонстрирует улучшенные способности к обобщению, а также глубокое понимание семантики и визуализации, превосходящее рамки данных, с которыми модель работала ранее. Сюда входят интерпретация новых команд и реагирование на команды пользователя, выполняя примитивное рассуждение, например, о категориях объектов или их высокоуровневых описаниях.
<span style="font-size: 8pt;">Модель также может предсказывать действия робота. В этом примере на инструкцию: «Мне нужно забить гвоздь, какой предмет со сцены мог бы пригодиться?» модель предсказала, что робот после логических рассуждений возьмёт камень</span>
RT-2 обладает способностью выполнять более сложные команды, которые требуют рассуждения о промежуточных шагах, необходимых для выполнения задачи. Благодаря своей основе на VLM-модели, RT-2 может планировать действия, основываясь как на изображениях, так и на текстовых командах, что позволяет осуществлять визуально обоснованное планирование.
RT-2 демонстрирует, что VLM-модели могут напрямую управлять роботом путем сочетания предварительного обучения VLM с робототехническими данными. RT-2 не просто улучшает существующие VLM-моделей, но и открывает перспективы создания универсального физического робота, способного рассуждать, решать проблемы и интерпретировать информацию для выполнения широкого спектра задач в реальном мире.
- Источник новости
- www.securitylab.ru
