){kind=link}
Cercetători Apple au dezvoltat un sistem de inteligență artificială numit ReALM (Reference Resolution as Language Modeling), care își propune să îmbunătățească radical modul în care asistenții vocali înțeleg și răspund la comenzi.
Într-o lucrare de cercetare Apple descrie un nou cadru pentru modul în care modelele mari de limbaj abordează problema rezoluției referințelor, care include descifrarea referințelor ambigue la obiectele de pe ecran, precum și înțelegerea contextului conversațional și de fundal. Ca rezultat, ReALM poate duce la o interacțiune mai intuitivă și mai naturală cu dispozitivele.
Recunoașterea referințelor este o parte importantă a înțelegerii limbajului natural, permițând utilizatorilor să folosească pronume și alte referințe indirecte în conversație fără confuzie. Pentru asistenții digitali, această abilitate a reprezentat istoric o provocare semnificativă, limitată de necesitatea de a interpreta o gamă largă de semnale verbale și informații vizuale. Sistemul ReALM de la Apple își propune să rezolve această problemă prin transformarea procesului complex de recunoaștere a referințelor într-o sarcină pură de modelare a limbajului. În acest fel, ea poate înțelege referințele la elementele vizuale afișate pe ecran și poate integra această înțelegere în fluxul conversațional.
ReALM reconstruiește structura vizuală a ecranului folosind reprezentări text. Aceasta include analizarea obiectelor ecranului și aranjarea lor pentru a crea un format de text care să reflecte conținutul și structura ecranului. Cercetători Apple a constatat că această strategie, combinată cu reglarea specială a modelelor de limbaj pentru problemele de rezoluție de referință, depășește semnificativ metodele tradiționale, inclusiv capabilitățile GPT-4 ale OpenAI.
ReALM poate permite utilizatorilor să interacționeze mult mai eficient cu asistenții digitali pe baza a ceea ce este afișat în prezent pe ecran, fără a fi nevoie de instrucțiuni precise și detaliate. Acest lucru ar putea face asistenții vocali mult mai folositori în diferite situații, cum ar fi ajutarea șoferilor să navigheze prin sistemele de infotainment în timp ce conduc sau asistarea utilizatorilor cu dizabilități, oferind mijloace mai ușoare și mai precise de interacțiune indirectă.
Apple a publicat deja mai multe lucrări de cercetare în domeniul AI. Luna trecută, compania a dezvăluit o nouă metodă de învățare a modelelor lingvistice mari care integrează perfect atât informațiile textuale, cât și cele vizuale. E de asteptat Apple va introduce o serie de funcții AI la conferința WWDC din iunie.
Citeste si: