OpenAIs O3-Modell verfehlt selbst gesetzte Benchmark-Ziele

Das als leistungsstark angepriesene O3-Modell von OpenAI hat in aktuellen Tests die eigenen Benchmark-Erwartungen nicht erfüllt. Experten analysieren nun die Diskrepanz zwischen den prognostizierten und tatsächlichen Leistungsdaten. Diese Entwicklung könnte Auswirkungen auf das Vertrauen in zukünftige KI-Modelle des Unternehmens haben. Technische Details zu den spezifischen Defiziten werden derzeit von OpenAI geprüft. Marktbeobachter erwarten eine offizielle Stellungnahme des Unternehmens in den kommenden Tagen.

OpenAI bestätigte, dass das öffentliche O3 -Modell weniger Computer verwendet als die Demo -Version

Beweise dafür, dass der kommerzielle O3 auch fehlt, stammt auch aus Tests der ARC -Preisstiftung, die einen früheren, größeren Build versuchten. Die Public Release „ist ein anderes Modell… abgestimmt für Chat/Produktgebrauch“, ARC Price Foundation veröffentlicht auf X und fügte hinzu, dass „alle veröffentlichten O3 -Rechenstufen kleiner sind als die von uns bewertete Version“.

Der OpenAI -Mitarbeiter Wenda Zhou hat letzte Woche während eines Livestreams eine ähnliche Erklärung angeboten. Das Produktionssystem, sagte er, sei „für Anwendungsfälle im realen Umfeld optimiert“ und Geschwindigkeit optimiert. "Wir haben [Optimierungen] durchgeführt, um das Modell im Allgemeinen effizienter [und] nützlicher zu machen", sagte Zhou und erkannte mögliche Benchmark "Unterschiede" an.

Zwei kleinere Modelle des Unternehmens, O3 -Mini -Hoch und die neu angekündigten O4 -Mini, haben bereits O3 bei Frontiermath geschlagen, und OpenAI sagt, dass in den kommenden Wochen eine bessere O3 -Pro -Variante eintreffen wird.

Trotzdem zeigt es, wie die Schlagzeilen von Benchmark irreführend sein können. Im Januar wurde Epoch kritisiert In jüngerer Zeit wurde Elon Musks Startup XAI beschuldigt, Diagramme vorzustellen, die die Fähigkeiten seines GROK 3 -Modells überbewertet haben.

Branchenbeobachter sagen, dass solche Benchmark -Kontroversen in der KI -Branche zu einem Ereignis werden, da Unternehmen mit neuen Modellen Schlagzeilen einnehmen.

Cryptopolitan Academy: Müde von Marktschwankungen? Erfahren Sie, wie DeFi Ihnen helfen kann, ein stetiges passives Einkommen aufzubauen. Registrieren Sie sich jetzt