Vedci upozorňujú, že pred tým, ako zveríme AI úlohy s právomocou samostatne rozhodovať, musíme pochopiť, ako AI vlastne „myslí“.
Nová štúdia publikovaná na royalsocietypublishing.org skúmala, či a do akej miery AI uvažuje rozumne. Zistila, že AI často koná iracionálne, ale inak ako ľudia.
Nedostatočne preskúmané schopnosti Schopnosti AI generovať texty a zložitosť veľkých jazykových modelov (LLM, Large Language Models) vzbudili u niektorých odborníkov obdiv, zatiaľ čo iní poukazovali na pretrvávajúce nedostatky, ako napríklad sklon „halucinovať“ a prezentovať vymyslené informácie ako pravdivé.
Vedci testovali schopnosti veľkých jazykových modelov pomocou rôznych psychologických testov, porovnávajúc ich správanie s ľudským alebo zisťujúc, či AI uvažuje skreslene ako ľudia.
Robili 12 testov
Výskumníci z University College London sa zamerali na hodnotenie schopnosti racionálneho uvažovania naprieč rôznymi jazykovými modelmi. Racionálne uvažovanie definovali ako schopnosť uvažovať podľa pravidiel logiky a pravdepodobnosti.
Vybrali 12 bežne používaných testov z kognitívnej psychológie na hodnotenie racionálneho uvažovania. Ide o náročné úlohy, ktoré správne vyrieši jeden zo šiestich až siedmich ľudí.
Tieto testy zadali siedmim veľkým jazykovým modelom (GPT-4, GPT-3.5, Google Bard, Claude 2, Llama 2 7b, Llama 2 13b a Llama 2 70b).
Zbytočné chyby
Výskumníci zaznamenali veľké rozdiely v schopnostiach modelov. Napríklad GPT-4 dosiahol v jednej úlohe 90 % úspešnosť, zatiaľ čo GPT-3.5 a Google Bard presne 0 %.
Vedci tiež pozorovali, že AI často robí banálne chyby, napríklad pri jednoduchom sčítaní. Model Llama 2 70b napríklad chybne považoval písmeno K za samohlásku.
(Článok pokračuje na ďalšej strane)
