Apple a publicat detalii despre Ferret-UI Lite, un nou model AI compact capabil să navigheze autonom în aplicații mobile, web și desktop, rulând 100% pe dispozitiv. Cu doar 3 miliarde de parametri, modelul promite performanțe comparabile sau superioare unor agenți de până la 24 de ori mai mari, marcând un pas important în direcția unui Siri modernizat.
.jpg)
Ferret-UI Lite este un model multimodal antrenat să înțeleagă interfețe grafice, să recunoască elemente de pe ecran și să execute acțiuni precise, de la apăsarea unui buton minuscul până la navigarea într-un meniu complex. Totul se întâmplă local, pentru a evita trimiterea de date sensibile în cloud.
Principala provocare pentru modelele mici rămâne identificarea elementelor dense sau foarte mici de pe ecran.
Apple propune o tehnică nouă, numită „decupare în faza de inferență”, care funcționează în doi pași:
- modelul analizează întregul ecran și generează o predicție aproximativă;
- „mărește” zona relevantă pentru a citi iconițe sau text cu acuratețe crescută.
Cum a fost antrenat modelul?
.jpg)
Antrenarea a folosit un sistem sintetic bazat pe patru roluri simulate - generator de sarcini, planificator, executor și critic. Acestea generează scenarii realiste, inclusiv erori de tipul:
- atingeri ratate;
- ferestre pop-up neașteptate;
- butoane greu de identificat.
Modelul învață astfel să se corecteze singur și să își continue operațiunea fără intervenție externă.
Rezultate raportate
Conform lucrării publicate:
- 91,6% pe ScreenSpot-V2
- 53,3% pe ScreenSpot-Pro
- 61,2% pe OSWorld-G
- 28,0% rată de succes pe AndroidWorld
- 19,8% pe OSWorld (navigare)
În benchmark-ul ScreenSpot-Pro, modelul depășește alți agenți de 3B parametri cu peste 15%. Cercetarea apare în contextul unei versiuni modernizate a lui Siri, așteptată odată cu iOS 26.4 în primăvara lui 2026 (mai degrabă în septembrie 2026 cu iOS 27, cred eu). Un model capabil să citească și să opereze aplicații local ar permite automatizarea unor sarcini complexe în lanț, în mai multe aplicații.
Poate oferi și manipularea datelor personale fără a le trimite în cloud. Pune în mișcare asistenți virtuali cu capacități de multitasking real.
