Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Разработанный компанией Generalist AI робот GEN-1.5 создан для обучения на физических примерах. Это означает, что его не нужно переобучать для выполнения каждой новой задачи. По словам разработчиков, модель способна определять, что необходимо сделать. Делается это благодаря короткой сенсоромоторной демонстрации.

В тестах по десяти физическим задачам средний показатель успешности составил 59% после одной демонстрации. При пяти минутах данных по задаче и десяти шагах градиента средний показатель успешности увеличился до 83%.

Изображение: Generalist AI

В число задач входили откручивание крышки стеклянной банки, извлечение денег из кошелька, складывание чашек, уборка мусора, открытие книги, снятие вакуумной присоски и расстёгивание пенала.

Помимо анализа видео, GEN-1.5 получает сенсорные, языковые и проприоцептивные данные. Информация за 30 секунд сохраняется в контексте, и робот генерирует траектории действий с частотой 100 Гц. Также робот способен комбинировать физические подсказки. Это позволяет связать действия в непрерывную последовательность созданием промежуточных движений, которые отсутствуют в каждой из демонстраций по отдельности.

Разработчики считают, что создали свой подход к программированию роботов. Вместо написания подробных инструкций для каждой задачи пользователи смогут показывать, чего хотят добиться, а прорабатывать физические детали робот будет самостоятельно.