Pénteken a kutatók a NVIDIA bejelentette a Magic3D - mesterséges intelligencia modellt, amely szöveges leírásokból képes 3D modelleket generálni. Miután bevitt egy nyomot, például "Egy kék mérgező dart béka ül egy tavirózsán", a Magic3D körülbelül 40 perc alatt létrehoz egy XNUMXD hálómodellt színes textúrával. Módosításokkal az eredményül kapott modell felhasználható videojátékokban vagy művészeti jelenetekben CGI formátumban.
Tudományos cikkében NVIDIA úgy látja, hogy a Magic3D válasz a DreamFusion-ra, a szöveg-3D modellre, amelyet a Google kutatói szeptemberben jelentettek be. Ahogyan a DreamFusion egy szöveg-kép modellt használ egy 2D kép létrehozásához, amelyet azután volumetrikus NeRF (Neurális sugárzási mező) adatokká optimalizálnak, a Magic3D egy kétlépcsős folyamatot használ, amely egy kis felbontású durva modellt használ, és optimalizálja azt nagyobb felbontást. A cikk szerzői szerint az így létrejött Magic3D módszer kétszer olyan gyorsan képes háromdimenziós objektumokat generálni, mint a DreamFusion.
A Magic3D képes a 3D hálók menet közbeni szerkesztésére is. Egy kis felbontású 3D-s modellel és egy alapvető eszköztippel módosíthatja a szöveget a kapott modell megváltoztatásához. A Magic3D bemutatja ugyanazon cselekmény több generáción keresztüli megőrzését (ezt a koncepciót gyakran koherenciának nevezik), valamint egy 2D képstílus (például kubista festmény) alkalmazását egy 3D modellre.
NVIDIA kutatási cikkével nem adott ki Magic3D kódot.
A szövegből 3D létrehozásának képessége természetes evolúciónak tűnik a modern diffúziós modellekben, amelyek neurális hálózatokat használnak új tartalom szintetizálására az adatok intenzív betanítása után. Csak 2022-ben láthattuk az olyan erőteljes szöveg-kép modellek megjelenését, mint a DALL-E és a Stable Diffusion, valamint a Google és a Meta kezdetleges szöveg-videó generátorai.
Ami a Magic3D-t illeti, a mögötte álló kutatók azt remélik, hogy bárki számára lehetővé válik 3D-s modellek létrehozása speciális képzés nélkül. Finomítás után az így létrejövő technológia felgyorsíthatja a videojátékok (és a virtuális valóság) fejlesztését, és végül filmes és televíziós speciális effektusokban is felhasználható. Cikkük végén a következőket írják: "Reméljük, hogy a Magic3D segítségével demokratizálhatjuk a 3D szintézist, és felszabadíthatjuk mindenki kreatív potenciálját a 3D tartalom létrehozásában."
Segíthet Ukrajnának az orosz megszállók elleni küzdelemben. Ennek legjobb módja, ha adományokat adományoz az ukrán fegyveres erőknek ezen keresztül Savelife vagy a hivatalos oldalon keresztül NBU.
Olvassa el még:
- Svédországban megtanulták, hogyan kell mikroelektronikát nyomtatni 3D nyomtatókon
- A por felhasználható 3D nyomtatáshoz a Marson