Der jüngst KI-Chatbot "GPT-4" von OpenAI soll künftig auch die Buchhaltung von Unternehmen übernehmen. Er hat, beteuert OpenAI, die entsprechende Prüfung mit hoher Punktzahl bestanden. Dennoch ist die Software den Studierenden unterlegen, gegen die ihn die Brigham Young University (BYU) und 186 andere Universitäten antreten ließen.
Durchwachsenes Prüfungsergebnis
Die Fragen betrafen Rechnungslegungsinformationssysteme (AIS), Wirtschaftsprüfung, Finanzbuchhaltung, Controlling und Steuern. Sie unterschieden sich in Schwierigkeitsgrad und Art (wahr/falsch, Multiple-Choice, Kurzantwort). Die Student:innen erzielten einen Gesamtdurchschnitt von 76,7 Prozent, verglichen mit 47,4 Prozent bei ChatGPT. Bei 11,3 Prozent der Fragen schnitt die künstliche Intelligenz besser ab als der Studentendurchschnitt - besonders gut in den Bereichen AIS und Auditing. Bei Steuer-, Finanz- und Management-Bewertungen schnitt der Bot schlechter ab.
Bei Fragen, die mit richtig oder falsch beantwortet werden mussten und bei Multiple-Choice-Fragen schnitt der Bot besser ab als die Studierenden, hatte aber massive Probleme bei Kurzantwortfragen. Im Allgemeinen waren übergeordnete Fragen für die KI schwieriger zu beantworten. Tatsächlich lieferte ChatGPT manchmal maßgebliche schriftliche Beschreibungen für falsche Antworten oder beantwortete dieselbe Frage auf unterschiedliche Weise.
Zusammenphantasierte "Fakten"
"Es ist nicht perfekt; man kann die Software nicht für alles verwenden. Der Versuch, nur mit ChatGPT zu lernen, dürfte scheitern", sagt Jessica Wood, die ihr Studium an der BYU gerade begonnen hat. Der Chatbot phantasiert sich manchmal vermeintliche Fakten zusammen, heißt es.
"Als diese Technologie zum ersten Mal auf den Markt kam, waren alle besorgt, dass die Student:innen sie zum Schummeln verwenden könnten", so der leitende Studienautor David Wood. "Aber Möglichkeiten zu betrügen, gab es schon immer. Wir versuchen also, uns auf das zu konzentrieren, was wir jetzt mit dieser Technologie tun können, was wir vorher nicht tun konnten, um den Lehrprozess für die Fakultät und den Lernprozess für die Studierenden zu verbessern."
www.openai.com
www.byu.edu
