Хуманоиден робот влиза в непозната кухня, оглежда я, запомня къде се намират предметите и след това изпълнява задачи като разтребване и изваждане на лекарство от чекмедже. При това системата не е била предварително обучавана специално за конкретното помещение.

Това демонстрират изследователи от Станфордския университет и Калифорнийския технологичен институт (Caltech) със системата HomeBody, представена през септември. Експериментът използва хуманоидния робот Unitree G1 и мултимодалния AI модел GPT Astra.

Идеята е роботът да получи нещо като памет за пространството около себе си. Първо G1 обикаля непознатата кухня и събира информация чрез камерите и сензорите си. От нея HomeBody изгражда виртуално копие на помещението, в което са отразени разположението на стаята и наблюдаваните предмети. Така роботът може да използва информация за нещо, което вече не се намира пред камерата му.

При една от демонстрациите задачата е сравнително сложна: роботът трябва да събере пакетите с кафе на кухненския остров и да изхвърли развалените кутии от мляко и портокалов сок. Това изисква поредица от действия - разпознаване на предметите, придвижване между различни места, хващане и преместване, като системата следи и какво вече е свършено.

В друг тест човек казва на робота, че си е забравил лекарството, без да уточнява къде се намира то. Лекарството в този момент не се вижда. HomeBody използва спомените от предишното обикаляне на кухнята, за да установи в кое чекмедже е предметът. Роботът отива дотам, отваря чекмеджето и го изважда.

По-интересната част от експеримента обаче е начинът, по който се вземат решенията.

Обичайният подход при подобни роботи включва отделна обучена AI система, която превръща общата задача - например "вземи тази бутилка" - в конкретни действия. При HomeBody тази междинна система отпада. GPT Astra избира и комбинира вече разработени умения като придвижване, хващане, поставяне и отваряне на чекмедже.

Това не означава, че AI моделът управлява директно двигателите и ставите на робота. За тях продължава да отговаря специализиран софтуер, докато Astra решава какво да направи роботът и в каква последователност. Ако дадено действие се провали, моделът може да промени плана.

Според авторите така G1 може да изпълнява задачи в непозната среда, без да бъде допълнително обучаван специално за нея. Идеята е един по-универсален AI модел да използва и комбинира наличните умения на робота според ситуацията.

HomeBody засега е изследователска демонстрация, а не готов домашен робот. Системата има забавяне между някои действия, изисква сериозна изчислителна мощност, а хардуерът също има ограничения. Показаните експерименти са в една кухня, а кодът на проекта все още не е публикуван, което затруднява независимото възпроизвеждане на резултатите.