У разных людей, как правило, уникальные потребности и предпочтения — особенно когда дело доходит до уборки. Домашние роботы, особенно роботы, предназначенные для помощи людям в выполнении домашних обязанностей, в идеале должны быть способны выполнять задачи таким образом, чтобы учитывать эти индивидуальные предпочтения.

Исследователи из Принстонского и Стэнфордского университетов недавно задались целью персонализировать помощь, предлагаемую домашними роботами, используя большие языковые модели (LLM), класс моделей искусственного интеллекта, которые становятся все более популярными после выхода ChatGPT. Их подход, представленный в статье, предварительно опубликованной на arXiv, первоначально был протестирован на мобильном роботе под названием TidyBot, разработанном для уборки помещений.

«Чтобы робот мог эффективно персонализировать физическую помощь, он должен изучить пользовательские предпочтения, которые, как правило, могут быть повторно применены к будущим сценариям», — написали Джимми Ву, Рика Антонова и их коллеги в своей статье. «В этой работе мы исследуем персонализацию домашней уборки с помощью роботов, которые могут убирать комнаты, собирая предметы и убирая их на место».

Подход, предложенный исследователями, использует широко документированные возможности обобщения LLM, такие как ChatGPT. Эти модели могут обобщать информацию или предоставлять обобщенные рекомендации после обучения на относительно небольших наборах данных или примерах сценариев.

В рамках своего исследования Ву, Антонова и их коллеги использовали LLM для создания «справочников» предпочтений пользователя, когда дело доходит до уборки, которые основаны на нескольких вводных данных, предлагаемых пользователями. Например, пользователь может ввести текстовый ввод, такой как «Одежда красного цвета отправляется в ящик, а белая — в шкаф», и модель сформулирует обобщенные предпочтения, которые затем могут направлять действия робота.

«Ключевой задачей является определение правильного места для размещения каждого объекта, поскольку предпочтения людей могут сильно варьироваться в зависимости от личного вкуса или культурного фона», — объясняют Ву, Антонова и их коллеги в своей статье.

«Например, один человек может предпочесть хранить рубашки в ящике стола, в то время как другой может предпочесть их на полке. Мы стремимся создавать системы, которые могут изучать такие предпочтения всего на нескольких примерах, путем предварительного взаимодействия с конкретным человеком. Мы показываем, что роботы могут сочетать планирование и восприятие на основе языка с возможностями краткого обобщения больших языковых моделей (LLM) для вывода обобщенных пользовательских предпочтений, которые широко применимы к будущим взаимодействиям «.

Чтобы оценить свой подход, исследователи провели серию тестов, оценивая как обобщенные предпочтения, которые он вызывал при вводе данных из текстовых наборов данных, так и то, как это влияло на способность реального робота убирать персонализированным образом. Они специально применили это к TidyBot, разработанному ими роботу, который моет пол, одновременно подбирая случайные предметы в своем окружении и размещая их в определенных местах.

«Этот подход обеспечивает быструю адаптацию и обеспечивает точность 91,2% для невидимых объектов в нашем базовом наборе данных», — написали Ву, Антонова и их коллеги. «Мы также демонстрируем наш подход на реальном мобильном манипуляторе под названием TidyBot, который успешно удаляет 85,0% объектов в реальных тестовых сценариях».

Недавняя работа этой команды исследователей подчеркивает потенциал LLMS не только как инструментов, помогающих пользователям выполнять письменные задания или отвечать на вопросы, но и для расширения возможностей роботизированных систем. В будущем это могло бы вдохновить другие команды начать тестировать потенциал этих моделей для применения в робототехнике.

Предложенный исследователями подход, основанный на LLM, и разработанный ими робот TidyBot вскоре также могут внести свой вклад в создание все более совершенных домашних роботов, которые могут выполнять работу по дому и убирать окружающую среду способами, соответствующими предпочтениям их пользователей. Дальнейшие исследования могли бы также развить этот метод и улучшить его производительность, например, позволив ему лучше работать в сильно загроможденных средах.

«Наша реализация системы реального мира содержит такие упрощения, как использование примитивов для манипуляций, написанных от руки, использование захватов сверху вниз и предположение об известных местоположениях приемников», — пишут исследователи.

«Эти ограничения можно было бы устранить, включив в нашу систему более продвинутые примитивы и расширив возможности системы восприятия. Кроме того, поскольку мобильные роботы не могут передвигаться по объектам, система не будет хорошо работать в условиях чрезмерного беспорядка. Было бы интересно внедрить более продвинутое высокоуровневое планирование, чтобы вместо того, чтобы всегда подбирать ближайший объект, робот мог рассуждать о том, нужно ли ему сначала расчистить себе путь для перемещения через беспорядок «.