Le modèle O3 d’OpenAI ne répond pas pleinement à ses propres promesses de performance

Malgré les affirmations ambitieuses d’OpenAI concernant les capacités de son modèle O3, les tests récents révèlent des lacunes par rapport aux attentes. Les performances observées sont inférieures aux benchmarks annoncés, soulevant des questions sur la précision des revendications initiales. Cette divergence pourrait impacter la confiance des utilisateurs et des investisseurs dans les futures innovations de l’entreprise.

OpenAI a confirmé que le modèle O3 public utilise moins de calcul que la version de démonstration

La preuve que l’O3 commercial fait défaut est également venue des tests par la Fondation ARC Prize, qui a essayé une construction antérieure et plus grande. La version publique «est un modèle différent… réglé pour le chat / utilisation des produits», ARC Price Foundation publié sur X, ajoutant que «tous les niveaux de calcul O3 publiés sont plus petits que la version que nous avons comparé».

L’employée d’Openai, Wenda Zhou, a offert une explication similaire lors d’un flux en direct la semaine dernière. Le système de production, a-t-il dit, a été «plus optimisé pour les cas d’utilisation réel» et la vitesse. "Nous avons fait [des optimisations] pour rendre le modèle plus rentable [et] plus utile en général", a déclaré Zhou, tout en reconnaissant des «disparités» de référence possibles.

Deux modèles plus petits de la société, O3-Mini - High et le nouvellement annoncé O4-Mini, ont déjà battu O3 sur Frontitiermath, et Openai dit qu’une meilleure variante O3-Pro arrivera dans les semaines à venir.

Pourtant, cela montre comment les titres de référence peuvent être trompeurs. En janvier, Epoch a été critiqué pour avoir retardé la divulgation du financement OpenAI jusqu’à ses débuts d’O3. Plus récemment, la startup d’Elon Musk XAI a été accusée d’avoir présenté des graphiques qui ont surestimé les capacités de son modèle Grok 3.

Les observateurs de l’industrie affirment que de telles controverses de référence deviennent un événement dans l’industrie de l’IA alors que les entreprises se précipitent pour faire les gros titres avec de nouveaux modèles.

Cryptopolitan Academy: fatiguée des balançoires du marché? Découvrez comment DeFi peut vous aider à créer un revenu passif stable. Inscrivez-vous maintenant