ChatGPT era văzut pentru o perioadă ca Sfântul Graal al AI-ului conversaţional, chatbotilor şi redactării de lucrări academice. Acum aflăm că imprecizia sa seamănă cu cea a lui Google Bard, cel puţin când vine vorba despre programare.
Un studiu realizat recent de către Universitatea Purdue din SUA a descoperit că ChatGPT are probleme cu acurateţea răspunsurilor la întrebări legate de programare. Peste jumătate dintre răspunsurile ChatGPT au fost incorecte, iar abilităţile sale avansate la nivel lingvistic au indus în eroare pe mulţi participanţi la studiu.
Studiul Universităţii a analizat 517 întrebări legate de programare preluate din Stack Overflow şi a disecat aspecte ale răspunsurilor lui ChatGPT. E vorba despre corectitudine, consistentă, uşurinţă de înţelegere şi cât de concis era totul. Rezultatele au fost slabe: 52% dintre răspunsuri au fost imprecise. 77% erau inutil de lungi. Stilul metodic şi elevat de limbaj a indus în eroare deseori cursanţii.
În ciuda răspunsurilor incorecte, 40% dintre participanţi tot preferă ChatGPT şi răspunsurile sale. Problema e pusă de profesorii universitari pe seama inabilităţii lui ChatGPT de a înţelege nuanţele contextuale ale răspunsurilor. Aparent următoarea versiune, GPT-5 ar rezolva asta spre final de an.
