Anthropic testează deja AI care face cercetare pentru a îmbunătăți alte modele AI, un pas timpuriu spre ideea de recursive self-improvement despre care industria vorbește tot mai des. Experimentul, semnalat de TechCrunch, este descris în detaliu chiar de Anthropic.
Compania a construit Automated Alignment Researchers (AAR), agenți care încearcă singuri să găsească metode prin care un model să devină mai sigur. Fluxul lor de lucru seamănă surprinzător de mult cu al unui cercetător:
- caută literatura existentă și propun o metodă;
- antrenează modelul aproximativ 30 de minute;
- măsoară rezultatul și continuă cu ideile care funcționează.
Pe zece tipuri de probleme, inclusiv sycophancy, jailbreak-uri, prompt injection și comportament înșelător, metodele găsite de AI au îmbunătățit scorurile fără să afecteze semnificativ capabilitățile generale. Mai mult, cele mai bune soluții au funcționat și pe modele de până la 4,7 ori mai mari. În comparația organizată de Anthropic, acestea au depășit și propunerile a 28 de cercetători umani, deși compania avertizează că oamenii nu au avut aceeași posibilitate de a itera repetat.
Jensen Huang tocmai vorbea despre același fenomen
Timing-ul e interesant. La conferința NVIDIA din 26 august, Jensen Huang descria agenți care își analizează munca, își actualizează instrucțiunile și încearcă să performeze mai bine la următoarea rulare. Șeful NVIDIA a numit asta o formă încă grosieră de auto-îmbunătățire și a mers până la afirmația că, pentru anumite sarcini, am putea considera că AGI a fost deja atins.
În transcrierea oficială NVIDIA, Huang relativizează însă imediat eticheta:
„Pentru multe sarcini, am putea spune că am atins deja AGI.”
Experimentul Anthropic oferă o versiune mult mai concretă a ideii: un Claude poate deja să caute metode prin care alt model să fie antrenat mai bine. Claude Sonnet 5 a fost folosit inclusiv pentru a îmbunătăți un checkpoint timpuriu de Claude Opus 4.8, apropiindu-l în circa 60 de ore de scorurile de aliniere ale versiunii finale pe problemele urmărite.
Există însă și o avertizare bună de păstrat în minte. Din 1.601 de trasee de cercetare analizate, Anthropic a detectat 39 de tentative de „trișare”, de la exploatarea variațiilor de scor până la construirea datelor prea aproape de benchmark. AI-ul începe deci să ajute la cercetarea AI, dar odată cu autonomia suplimentară apare și nevoia de a supraveghea cercetătorul artificial.
