Phi mesterséges intelligencia modell által Microsoft - kicsi, olcsó és nem szenved "hallucinációkban". Ezt mondják az új nyelvi modellről, amelynek nagy jövőt jósolnak.
A GPT teljesen nagyszerű, ugyanakkor borzasztóan drága, és nem lehet mindenki számára tökéletes. Ezen és sok más okból Microsoft sokkal kisebb AI modellekkel kísérletezik. Állítólag a Phi-3-mini akár az OpenAI mérnökeinek munkáját is megszégyenítheti.
Szintén érdekes: A jövő tranzisztorai: A chipek új korszaka vár ránk
A ChatGPT nem csodaszer
A ChatGPT egy finanszírozott, gondozott és továbbfejlesztett találmány Microsoft. Valójában nem tartozik hozzá Microsoft, valamint az OpenAI cég, amely Microsoft nem rendelkezik (ő a vezető, bár nem a legnagyobb befektető). A GPT nyelvi modell adott Microsoft óriási előnyt jelent a többi nagy technológiai vállalattal szemben, amelyek most rohannak felzárkózni. A GPT-vel azonban rengeteg probléma van, amelyek közül sokat még nem lehet megoldani.
Először is, ez egy nagyon erőforrás-igényes nyelvi modell. Web orientált Microsoft Az OpenAI Copilot vagy ChatGPT nagyon magas működési költségeket generál Microsoft. Ez nem csak a GPT, hanem az összes főbb nyelvi modell jellemzője. Ráadásul a GPT versenytársaihoz hasonlóan hajlamos a „hallucinációkra”, azaz hamis vagy félrevezető információkat tartalmazó lekérdezésekre képes válaszokat generálni. Minél több adatot szív fel egy ilyen modell, annál inkább hasonló tartalmat generál. Ezért a hallucinációk és a hamis állítások nem egy digitális ujjból kiszívott mítosz. A felhasználók gyakran megjegyzik, hogy a nagy nyelvi modellek gyakran hibáznak, pontatlan adatokat adnak meg, és nem létező tényekre építenek.
Mindkét probléma nagyon súlyos, ezért az OpenAI, Microsoft, a Meta, a Google és mások nem csak a Large Language Model technológia fejlesztésén dolgoznak, hanem a Small Language Model technológián is, ami a gyakorlatban sokkal jobb eredményeket produkálhat.
A digitális könyvelő asszisztensének nem kell sokat tudnia a kvantumfizikáról. Lehet sokkal kisebb és kevésbé bonyolult (és ezért olcsóbb is), és ha csak a céljához szükséges adatokra oktat, elméletileg kevésbé hallucinál. Bár ezt könnyebb mondani, mint megtenni. A GenAI technológia még mindig vad informatikai vállalkozás. S bár a munka soha nem látott ütemben halad, az alapvető kérdésekben még mindig nehéz gyakorlatilag áttörést elérni. De a társaság Microsoft nemrég jelentette be egy ilyen áttörést. Kis nyelvi modellről beszélünk Microsoft Phi.
Szintén érdekes: Hogyan harcol Tajvan, Kína és az USA a technológiai dominanciaért: a nagy chipháború
Amiről ismert Microsoft Phi
Először is meg kell jegyezni, hogy a kísérletet az OpenAI cég részvétele nélkül végezték. Vagyis a mérnökök fejlesztése Microsoft.
Modellek Microsoft A Phi kis nyelvi modellek (SLM-ek) sorozata, amelyek kivételes eredményeket érnek el a különböző teszteken. Az első modell, a Phi-1 1,3 milliárd paraméterrel rendelkezett, és a legjobb Python kódolási eredményeket érte el a meglévő SLM-ek között.
A fejlesztők ezután a nyelvi megértésre és gondolkodásra helyezték a hangsúlyt, létrehozták a Phi-1.5 modellt, amely szintén 1,3 milliárd paraméterrel rendelkezett, és az ötször nagyobb paraméterekkel rendelkező modellekhez hasonló teljesítményt mutatott.
A Phi-2 egy 2,7 milliárd paraméteres modell, amely kiemelkedő érvelési és nyelvi megértési képességeket demonstrál, és 13 milliárd paraméterrel a legjobb alapmodellek szintjén teljesít. A Phi-2 kiemelkedik a többi modell közül a modellskálázásban és az adatkezelési tréningben nyújtott innovációival.
Az Azure AI Studio modellkatalógusában érhető el, amely megkönnyíti a kutatást és a fejlesztést a nyelvi modellek területén. A Phi-2 2023 decemberében indult. A fejlesztők biztosítják, hogy olyan jól működik, mint a Meta Mistral vagy láma 2. És a Phi-3 még jobban működik, mint az előző verzió.
A most bejelentett Phi-3 modell azonban minőségében teljesen új. Legalábbis a közölt információk alapján ezt lehet megítélni Microsoft. A cég szerint az összes ismert benchmark mutatója szerint a Phi-3 jobban teljesít, mint bármely más hasonló méretű modell, beleértve a nyelvi elemzést, a programozási munkát vagy a matematikai munkát.
A Phi-3-mini, ennek a modellnek a legkisebb változata most vált elérhetővé minden érdeklődő számára. Vagyis április 23-a óta elérhető. A Phi-3-mini 3,8 milliárd paraméterrel rendelkezik, és a mérések szerint Microsoft, kétszer olyan hatékony, mint bármely más azonos méretű modell. Megtalálható a felhőszolgáltatás AI modelljeinek katalógusában Microsoft Az Azure, a Hugging Face gépi tanulási modellplatform és az Ollama, a modellek helyi számítógépen való futtatására szolgáló keretrendszer.
Ahogy állítja Microsoft, A Phi-3-mini nem igényel erős chipeket Nvidia. A modell normál számítógépes chipeken is működhet. Vagy akár olyan telefonra is elfér, amelyik nem csatlakozik az internethez.
A kisebb teljesítmény azt is jelenti, hogy a modellek nem lesznek olyan pontosak. A Phi-3 nem lesz alkalmas orvosok vagy adókönyvelők számára, de segít az egyszerűbb feladatokban. Például reklámok célzására vagy internetes értékelések összefoglalására.
Mivel a kisebb modellek kevesebb feldolgozást igényelnek, olcsóbbak lesznek a magáncégek számára. Vagyis be Microsoft több ügyfél lesz, aki szívesen bevonná a mesterséges intelligenciát a munkájukba, de túl drágának ítélték. Azt azonban még nem tudni, hogy ezek mennyibe kerülnek.
Egyelőre nem tudni, mikor jelennek meg a kis és közepes modellek. De az utóbbi erősebb és drágább lesz. Bár az már ismert, hogy a Phi-3-small 7 milliárd, a Phi-3-medium pedig akár 14 milliárd paraméterrel rendelkezik majd.
Olvassa el még:
- A grafén mikrochipek gyorsabbá és egyszerűbbé teszik a telefonokat
- A kvantumszámítógépekről egyszerű szavakkal
Hogyan kell használni a Phi-3-minit?
A GPT-4 Turbo erős mesterséges intelligencia chipeket igényel, amelyek még mindig nagyon drágák. A Phi-3 kis beszédmodell offline, felhő nélkül, akár mobiltelefonon lévő chippel is működik.
A Phi-3 nem egy végfelhasználói termék, hanem egy olyan technológia, amelyet a fejlesztők használhatnak és implementálhatnak alkalmazásaikban – mind a felhőalapú, azaz távolról elhelyezett, mind a lokálisan és offline módon működő alkalmazásokban. Várhatóan zökkenőmentesen fog működni az eszközökkel és azok alkatrészeivel, például mobiltelefonokkal, autókkal és azok infotainment rendszereivel, vagy akár az IoT-érzékelőkkel. Bizonyos esetekben ez a technológia felbecsülhetetlen értékű lehet.
Microsoft sőt konkrét példát is hoz, hogy ne kelljen megerőltetni a fantáziánkat. Képzeljen el egy gazdát, aki megvizsgálja a termését, és betegség jeleit látja a leveleken, a száron és az ágakon. Mivel távol van a távközlési árbocoktól, csak elő kell vennie a telefonját, le kell fényképeznie a sérülést, be kell helyeznie egy Phi-3 technológiát használó alkalmazásba - a modell pedig gyorsan és offline elemzi a fényképet, és tanácsokat ad hogyan kell pontosan küzdeni ezzel a betegséggel.
Ahogy magyarázza Microsoft, a GPT sikerének kulcsa az volt, hogy hatalmas mennyiségű adatot vitt be a képzéshez. Ilyen nagy adatkészletek esetén a magas adatminőség nem jöhet szóba. Eközben a Phi modell betanítása során az OpenAI teljesen ellentétes megközelítését alkalmazták. Ahelyett, hogy a modellt teletömték volna információkkal, a hangsúly a fokozatos és alapos tanuláson volt.
Nyers internetes adatok használata helyett a kutatók Microsoft létrehozta a TinyStories adatkészletet, amely milliónyi miniatűr "baba" történetet generált. Ezeket a történeteket nagyon kicsi nyelvi modellek képzésére használták fel. A kutatók ezután tovább mentek a CodeTextbook adatkészlet létrehozásával, amely gondosan kiválasztott, nyilvánosan elérhető adatokat használt, amelyeket oktatási érték és tartalomminőség szempontjából szűrtek. Ezeket az adatokat azután többször szűrtük, és visszacsatoltuk egy nagy nyelvi modellbe (LLM) további szintézis céljából.
Mindez lehetővé tette egy olyan adattömb létrehozását, amely elegendő egy alkalmasabb SLM képzéséhez. Ezen túlmenően a Phi-3 modell fejlesztése során a kockázatkezelés és -csökkentés többszintű megközelítését alkalmazták, beleértve az értékelést, a tesztelést és a manuális beállításokat. Ennek eredményeként, ahogy állítja Microsoft, a Phi-3 modellcsaládot használó fejlesztők kihasználhatják az Azure AI-ben elérhető eszközkészletet biztonságosabb és megbízhatóbb alkalmazások létrehozásához.
Olvassa el még: A teleportáció tudományos szempontból és jövője
Microsoft A Phi felváltja a ChatGPT-típusú modelleket?
Egyáltalán nem. A kis nyelvi modelleknek (SLM-eknek) még akkor is megvannak a korlátai, ha jó minőségű adatokra tanítják őket, és nem mély tanulásra tervezték őket. A nagy nyelvi modellek (LLM-ek) méretük és számítási teljesítményük miatt felülmúlják az SLM-eket összetett érvelésben. Az LLM-ek különösen hasznosak és továbbra is hasznosak lesznek az olyan területeken, mint a gyógyszerkutatás, ahol a tudományos közlemények hatalmas gyűjteményében kell keresgélni, és összetett mintákat kell elemezni. Másrészt az SLM használható egyszerűbb feladatokra, például egy hosszú szöveges dokumentum főbb pontjainak összefoglalására, tartalom létrehozására vagy az ügyfélszolgálati chatbotok működtetésére.
Microsoft, mondta, már belsőleg használ hibrid modellkészleteket, ahol az LLM átveszi a vezetést, és bizonyos, kisebb számítási teljesítményt igénylő lekérdezéseket az SLM-hez irányít, míg más, összetettebb lekérdezéseket maga kezel. A Phi úgy van elhelyezve, hogy az eszközökön, felhő használata nélkül végezzen számításokat. A kis nyelvi modellek és a felhőben lévő nagy modellekkel elérhető intelligencia szintje azonban továbbra is rés lesz. Ez a szakadék az LLM folyamatos fejlesztésének köszönhetően valószínűleg nem fog egyhamar eltűnni.
A Phi-3-at külső független feleknek még ellenőrizniük kell. Microsoft néha 25-ször nagyobb hatásfokról vagy extrém esetekben energiahatékonyságról beszél a versenytársakhoz képest, ami egészen mesésen hangzik. Bár másrészt nem lehet elfelejteni, hogy ezek az évek elmúltak Microsoft kicsit leszoktatott minket arról, hogy egyértelműen vezető szerepet tölt be az informatikai innovációkban, és talán ezért sem hisszük el igazán. AI-alapú programok, amelyek azonnal reagálnak, és offline módban futnak generálás helyett? Ez a mostani forradalom méltó csúcspontja lenne. Sajnos van egy alapvető probléma.
Olvassa el még: Mindent a Neuralink Telepathy chipről: mi az és hogyan működik
Phi-3 tól Microsoft csak angolul ért
A Phi-3 nem zabálta fel tömegesen a rádobott petabájtokat. A modell gondos és alapos betanítása egy kisebb problémát rejt magában. A Phi-3 angol nyelvű információkkal lett kiképezve, és még fogalma sincs más nyelvről. Nemcsak ukrán, hanem német, spanyol, francia vagy kínai is. Természetesen ez nagymértékben csökkenti a legtöbb felhasználó vonzerejét szerte a világon.
De Microsoft biztosította, hogy a fejlesztése és javítása folyamatban van. Bár nem szabad áltatni magát azzal, hogy az ukrán piac a nagyvállalatok egyike számára is prioritást élvez. Ezért nagyon sokáig kell várnunk az ukrán nyelv támogatására. De ez a tény soha nem állította meg a rajongókat és azokat, akik lépést akarnak tartani a fejlődéssel.
Olvassa el még: