){kind=link}
Kutatók Apple kifejlesztettek egy mesterséges intelligencia rendszert ReALM (Reference Resolution as Language Modeling) néven, amelynek célja, hogy radikálisan javítsa a hangasszisztensek megértését és a parancsokra adott válaszát.
Egy kutatási cikkben Apple egy új keretrendszert ír le arra vonatkozóan, hogy a nagy nyelvi modellek hogyan kezelik a referenciafelbontás problémáját, amely magában foglalja a képernyőn megjelenő objektumokra vonatkozó kétértelmű hivatkozások megfejtését, valamint a társalgási és háttérkontextus megértését. Ennek eredményeként a ReALM intuitívabb és természetesebb interakciót eredményezhet az eszközökkel.
A hivatkozásfelismerés fontos része a természetes nyelv megértésének, lehetővé téve a felhasználók számára, hogy a beszélgetés során a névmásokat és más közvetett hivatkozásokat zavarás nélkül használják. A digitális asszisztensek számára ez a képesség történelmileg jelentős kihívást jelentett, amelyet a verbális jelek és vizuális információk széles körének értelmezésének szükségessége korlátoz. A ReALM rendszer től Apple Ezt a problémát kívánja megoldani azáltal, hogy a referenciafelismerés összetett folyamatát tiszta nyelvi modellezési feladattá alakítja. Ily módon megértheti a képernyőn megjelenő vizuális elemekre való hivatkozásokat, és ezt a megértést beépítheti a beszélgetési folyamatba.
A ReALM szöveges megjelenítések segítségével rekonstruálja a képernyő vizuális szerkezetét. Ez magában foglalja a képernyőobjektumok elemzését és elrendezését olyan szövegformátum létrehozására, amely tükrözi a képernyő tartalmát és szerkezetét. Kutatók Apple azt találta, hogy ez a stratégia a benchmark felbontási problémák speciális nyelvi modelljeivel kombinálva jelentősen felülmúlja a hagyományos módszereket, beleértve az OpenAI GPT-4 képességeit.
A ReALM lehetővé teszi a felhasználók számára, hogy sokkal hatékonyabban kommunikáljanak a digitális asszisztensekkel a képernyőn éppen megjelenített adatok alapján, anélkül, hogy pontos, részletes utasításokra lenne szükségük. Ez sokkal hasznosabbá teheti a hangos asszisztenseket különböző helyzetekben, például segítik a járművezetőket az infotainment rendszerekben vezetés közben, vagy segítik a fogyatékkal élő felhasználókat a közvetett interakció egyszerűbb és pontosabb eszközeivel.
Apple már több kutatási cikket publikált az AI területén. A múlt hónapban a vállalat bemutatott egy új módszert a nagy nyelvi modellek tanulására, amely zökkenőmentesen integrálja mind a szöveges, mind a vizuális információkat. Az várható Apple számos mesterséges intelligencia funkciót mutat be a júniusi WWDC konferencián.
Olvassa el még: