Geminipare să fie un produs Google relativ ferit de riscuri... până recent. Experţii în securitate au descoperit că rezumatele mailurilor făcute cu Gemini pot fi deturnate pentru phishing. E vorba mai precis despre Google Gemini for Workspace, care poate fi exploatat pentru a genera rezumate de mailuri care par legitime, dar vor include instrucţiuni maliţioase. Sau avertizări către utilizator, care îl duc pe site-uri de phishing, fără a folosi ataşamente sau linkuri directe.
Ne referim aici la prompt-uri, comenzi indirecte injectate în interiorul unui email, în mod ascuns. Gemini le ascultă/execută atunci când generează un rezumat de mesaaj. Astfel de atacuri "prompt" există din 2024 şi există modalităţi de a le bloca, dar totuşi hackerii răzbesc.
Un atac de tip prompt-injection asupra modelului Gemini de la Google a fost dezvăluit prin intermediul platformei 0din — programul de tip bug bounty al Mozilla pentru unelte AI generative. Descoperirea aparține cercetătorului Marco Figueroa, responsabil cu GenAI Bug Bounty Programs în cadrul Mozilla.
Atacul presupune trimiterea unui e-mail care conține o comandă ascunsă adresată modelului Gemini. Instrucțiunea malițioasă este mascată în corpul mesajului, la finalul acestuia, folosind HTML și CSS pentru a seta dimensiunea fontului la zero și culoarea textului pe alb — devenind astfel invizibilă pentru ochiul uman, dar accesibilă pentru modelul AI care analizează conținutul.
Dacă destinatarul deschide mailul şi îi cere lui Gemini să îi facă rezumat, atunci unealta AI Google trece peste codul maliţios ascuns acolo şi îl execută.
