OpenAI schließt AI-Detektor aufgrund geringer Genauigkeit

Die führende Künstliche Intelligenz-Organisation OpenAI hat stillschweigend ihren AI-Detektor aufgrund geringer Genauigkeit eingestellt.

Das Tool hatte eine zu geringe Genauigkeit

Die AI-Klassifikator, entwickelt von OpenAI und ursprünglich am 31. Januar gestartet, sollte Benutzern wie Lehrern und Professoren helfen, von Menschen geschriebenen Text von durch AI generierten Text zu unterscheiden.

Gemäß dem ursprünglichen Blogpost, der die Einführung des Tools ankündigte, wurde die AI-Klassifizierung jedoch am 20. Juli eingestellt:

Ab dem 20. Juli 2023 ist die AI-Klassifizierung aufgrund der geringen Genauigkeit nicht mehr verfügbar.

Link zum Tool funktioniert nicht mehr

Der Link zum Tool funktioniert nicht mehr, und die Notiz enthielt nur eine knappe Erklärung für die Einstellung. Dennoch hat das Unternehmen klargestellt, dass sie aktiv nach neuen und effektiveren Methoden suchen, um AI-generierten Inhalt zu identifizieren. Die Notiz lautete:

Wir arbeiten daran, Feedback einzubeziehen und untersuchen derzeit effektivere Techniken zur Texterkennung. Wir haben zugesagt, Mechanismen zu entwickeln und einzusetzen, mit denen Benutzer verstehen können, ob Audio- oder Bildinhalte von AI generiert werden.

Detektionstool nicht vollständig verlässlich

Von Anfang an hat OpenAI deutlich gemacht, dass das Detektionstool fehleranfällig war und nicht als “vollständig verlässlich” betrachtet werden konnte.

Das Unternehmen wies darauf hin, dass das AI-Detektionstool Einschränkungen hatte, darunter eine “sehr ungenaue” Verifizierung von Texten mit weniger als 1.000 Zeichen und die Möglichkeit, von Menschen geschriebenen Text fälschlicherweise als von AI generiert zu kennzeichnen.

Der Klassifikator ist das neueste Produkt von OpenAI, das einer genaueren Prüfung unterzogen wird.

Am 18. Juli veröffentlichten Forscher der Stanford- und UC Berkeley-Universitäten eine Studie, die zeigte, dass das Flaggschiffprodukt von OpenAI, ChatGPT, im Laufe der Zeit erheblich schlechter wurde.

We evaluated #ChatGPT's behavior over time and found substantial diffs in its responses to the *same questions* between the June version of GPT4 and GPT3.5 and the March versions. The newer versions got worse on some tasks. w/ Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6

— James Zou (@james_y_zou) July 19, 2023

Die Forscher stellten fest, dass die Fähigkeit von ChatGPT-4, Primzahlen genau zu identifizieren, in den letzten Monaten von 97,6% auf nur 2,4% gesunken war. Sowohl ChatGPT-3.5 als auch ChatGPT-4 zeigten außerdem eine signifikante Abnahme bei der Generierung neuer Codezeilen.