A Tokiói Egyetem csapata bemutatta az Alter3-at, egy humanoid robotot, amely a GPT-4 Large Language Model (LLM) segítségével képes mozgásokat végrehajtani. Az Alter3 a legújabb eszközt használja Nyissa meg az AI-t dinamikusan különböző pózok felvételére, a szelfi póztól a szellemképig, mindezt anélkül, hogy szükség lenne előre programozott adatbázis-bejegyzésekre.
"Az Alter3 arckifejezéseket és gesztusokat használó társalgási tartalomra adott válasza jelentős előrelépést jelent a humanoid robotikában, amely minimális változtatásokkal könnyen adaptálható más androidokhoz" - mondták a kutatók.
A robotokkal való LLM-integráció területén a hangsúly az alapvető kommunikáció javításán és a reális válaszok modellezésén van. A kutatók az LLM azon képességeit is vizsgálják, amelyek lehetővé teszik a robotok számára, hogy megértsék és végrehajtsák az összetett utasításokat, ezáltal növelve funkcionalitásukat.
Hagyományosan alacsony szintű vezetés robotok hardverhez kötődik, és kívül esik az LLM-vállalatok hatáskörén. Ez nehézségeket okoz az LLM-alapú művek közvetlen kezelésében. A probléma megoldására a japán csapat kifejlesztett egy módszert, amellyel az emberi mozgások kifejezéseit Android számára érthető kóddá alakítja. Ez azt jelenti, hogy a robot önállóan képes műveletsorozatokat generálni az idő múlásával, anélkül, hogy a fejlesztőknek külön-külön kellene programozniuk az egyes testrészeket.
Az interakció során egy személy az Alter3 parancsokat adhatja ki, például „Készítsen szelfit iPhone-jával”. Ezt követően a robot egy sor kérést kezdeményez a GPT-4 felé, hogy útmutatást kapjon a szükséges lépésekhez. GPT-4 lefordítja ezt Python kódra, amely lehetővé teszi a munka "megértését" és a szükséges mozdulatok elvégzését. Ez az innováció lehetővé teszi, hogy az Alter3 mozgassa a felsőtestét, miközben az alsó teste az állványhoz rögzítve mozdulatlan marad.
Az Alter3 a harmadik iteráció az Alter humanoid robotjainak sorozatában 2016 óta, és 43 működtetővel büszkélkedhet, amelyek sűrített levegővel működtetik az arckifejezéseket és a végtagmozgásokat. Ez a konfiguráció a kifejező gesztusok széles skáláját kínálja. A robot nem tud járni, de képes utánozni a tipikus séta- és futómozdulatokat.
Az Alter3 azt is bemutatta, hogy a kamera és az OpenPose keretrendszer segítségével képes emberi pózokat másolni. A robot a megfigyelt testhelyzetekhez igazítja ízületeit, és a sikeres utánzatokat elmenti későbbi használatra. Az emberrel való interakció változatosabb testtartásokhoz vezetett, alátámasztva azt az elképzelést, hogy a különböző mozgások az ember utánzásából származnak, hasonlóan ahhoz, ahogy az újszülöttek utánzás útján tanulnak.
Az LLM előtt a kutatóknak gondosan ellenőrizniük kellett mind a 43 működtetőelemet, hogy újrateremtsék egy személy pózát vagy szimulálhassanak egy viselkedést, például teát vagy sakkot. Ez számos kézi beállítást igényelt, de AI segített megszabadítani a csapatot ettől a rutintól. „Azt várjuk el az Alter3-tól, hogy a kontextusnak megfelelő arckifejezések és gesztusok megjelenítésével hatékonyan vegyen részt a párbeszédben. Bebizonyította, hogy képes tükrözni az érzelmeket, például szomorúságot vagy boldogságot mutatni válaszként, és ezáltal megosztani velünk az érzelmeket" - mondják a kutatók.
Olvassa el még: