Vineri, cercetătorii de la NVIDIA a anunțat Magic3D - un model de inteligență artificială care poate genera modele 3D din descrierile textuale. După ce ați introdus un indiciu, cum ar fi „O broască săgeată cu otrăvire albastră așezată pe un nufăr”, Magic3D generează un model de plasă 40D complet cu textura de culoare în aproximativ XNUMX de minute. Cu modificări, modelul rezultat poate fi folosit în jocuri video sau scene de artă în format CGI.
În articolul său științific NVIDIA vede Magic3D ca un răspuns la DreamFusion, modelul text-to-3D pe care cercetătorii Google l-au anunțat în septembrie. Așa cum DreamFusion folosește un model text-to-image pentru a crea o imagine 2D care este apoi optimizată în date volumetrice NeRF (Neural Radiance Field), Magic3D utilizează un proces în doi pași care preia un model brut creat la rezoluție scăzută și îl optimizează pentru o rezoluție mai mare. Potrivit autorilor articolului, metoda Magic3D rezultată poate genera obiecte tridimensionale de două ori mai rapid decât DreamFusion.
Magic3D poate efectua, de asemenea, editarea din mers a rețelelor 3D. Cu un model 3D cu rezoluție scăzută și un sfat de bază, puteți schimba textul pentru a schimba modelul rezultat. Magic3D demonstrează, de asemenea, păstrarea aceluiași complot de-a lungul mai multor generații (un concept numit adesea coerență) și aplicarea unui stil de imagine 2D (cum ar fi o pictură cubistă) la un model 3D.
NVIDIA nu a lansat niciun cod Magic3D cu lucrarea ei de cercetare.
Abilitatea de a genera 3D din text pare o evoluție naturală în modelele moderne de difuzie, care folosesc rețele neuronale pentru a sintetiza conținut nou după antrenament intensiv pe o serie de date. Abia în 2022 am văzut apariția unor modele puternice text-to-image, cum ar fi DALL-E și Stable Diffusion, precum și a generatoarelor rudimentare de text-to-video de la Google și Meta.
În ceea ce privește Magic3D, cercetătorii din spatele lui speră că va permite oricui să creeze modele 3D fără a fi nevoie de o pregătire specială. Odată rafinată, tehnologia rezultată ar putea accelera dezvoltarea jocurilor video (și a realității virtuale) și, în cele din urmă, ar putea găsi o utilizare în efecte speciale pentru film și televiziune. La sfârșitul articolului lor, ei scriu: „Sperăm că cu Magic3D putem democratiza sinteza 3D și putem debloca potențialul creativ al tuturor în crearea de conținut 3D”.
Poți ajuta Ucraina să lupte împotriva invadatorilor ruși. Cel mai bun mod de a face acest lucru este să donați fonduri Forțelor Armate ale Ucrainei prin intermediul Salveaza viata sau prin pagina oficiala NBU.
Citeste si:
- În Suedia, au învățat cum să imprime microelectronice pe imprimante 3D
- Praful poate fi folosit pentru imprimarea 3D pe Marte