… dass Claudes neuestes Modell Fable 5.2 in einem Test mit realen Freelancer-Projekten über 40 Prozent der Aufträge erledigen konnte. Vor einem Jahr schaffte das beste System gerade einmal 2,5 Prozent. Auch die bisherigen Spitzenreiter Claude Opus 5.5 (21,25 Prozent) und ChatGPT Astra 6 (20,83 Prozent) lässt es klar hinter sich.
Spannend ist hierbei vor allem, dass sich das Experiment um echte Aufgabenstellungen geht und die Ergebnisse von Menschen beurteilt wurden. Damit ist dieser Test zumindest für manche Branchen aussagekräftiger als die oft zitierten Benchmarks: Die nämlich erfassen einen Großteil der tatsächlich geleisteten Arbeit gar nicht.
Im Gegenzug heißt das Ergebnis natürlich auch, dass selbst die beste KI in 60 Prozent der Fälle gescheitert ist.
Die Frage aller Fragen ist: Geht der Fortschritt nun munter so weiter oder verlangsamt er sich bald? KI-Skeptiker haben allerdings schon vor drei Jahren erwartet, dass generative KI „bald“ am Ende ist …
– Jan Tißler, UPLOAD Magazin