Werbung
Generative KI-Modelle, wie ChatGPT oder Googles Bard, haben in den letzten Jahren ihre Fähigkeit, komplexe mehrstufige Schlussfolgerungen zu ziehen, stark verbessert, stoßen dabei bisweilen aber noch an gewisse Grenzen. Selbst modernste Modelle produzieren immer noch logische Fehler, die von Entwicklern gerne als Halluzinationen bezeichnet werden. Als Ergebnis kann es daher passieren, dass ein Sprachmodell anfängt, Fakten zu verdrehen, im schlimmsten Fall sogar welche zu erfinden. Besonders wenn ein spezieller Datensatz fehlt, fängt die künstliche Intelligenz gerne an, diese Lücke kreativ zu füllen. OpenAI ist deshalb daran bemüht, Mechanismen zu entwerfen, die diese Halluzinationen reduzieren und die KI so insgesamt zuverlässiger gestalten sollen.
Dazu evaluierte das Unternehmen prozess- und ergebnisüberwachte Belohnungsmodelle. Die Ergebniskontrolle setzt dabei auf ein Feedback auf der Grundlage eines gelieferten Endergebnisses, die Prozesskontrolle hingegen auf ein Feedback für jeden einzelnen Schritt in einer Gedankenkette. Getestet wurden beide Modelle anhand eines MATH-Datensatzes.
OpenAI nach hat sich die Prozessüberwachung im Ergebnis als deutlich leistungsfähiger und zuverlässiger erwiesen. Mit ihr ist es wahrscheinlicher, dass die KI der abgestimmten Gedankenkette folgt und so eine interpretierbare Argumentation entsteht. Zudem lässt sich damit jeder einzelne Schritt des Prozesses genau überwachen. Im Gegensatz dazu kann die Ergebniskontrolle nur einen nicht abgestimmten Prozess belohnen und ist daher im Allgemeinen schwieriger überprüfbar.
Ob sich dieses Ergebnis aber auch über die Interpretation von mathematischen Problemen hinaus bewährt, ist noch unklar. Obwohl OpenAI zufrieden mit den Resultaten ist und den Ansatz weiter verfolgen möchte, kommt auch Kritik von KI-Forschern, die nicht davon ausgehen, dass sich damit die Ausgabe falscher Antworten wirklich reduzieren lässt.