Techopedia est financé par des liens d'affiliation, sans que cela n'affecte 
La vitesse n’est pas le seul critère essentiel à prendre en compte dans le choix d’une technologie IA générative. Alors que la plupart des modèles d’IA ont été optimisés pour produire des réponses aussi rapidement que possible, le nouveau modèle OpenAI o1 a été conçu pour ralentir et prendre son temps pour répondre aux requêtes de l’utilisateur.
Découvrez dans cet article le mode de fonctionnement d’OpenAI o1, une nouvelle série de modèles d’IA conçus « pour passer plus de temps à réfléchir avant de répondre », a déclaré OpenAI dans un message publié sur le réseau social X. « Ces modèles sont capables de raisonner à travers des tâches complexes et résoudre des problèmes plus complexes que les modèles précédents dans les domaines de la science, de la programmation informatique et des mathématiques ».
We're releasing a preview of OpenAI o1—a new series of AI models designed to spend more time thinking before they respond.
These models can reason through complex tasks and solve harder problems than previous models in science, coding, and math. https://t.co/peKzzKX1bu
— OpenAI (@OpenAI) September 12, 2024
Il faut noter que si le développement d’OpenAI o1 est favorable au développement des capacités de raisonnement des grands modèles de langage (LLM), il est peu probable qu’il suscite l’enthousiasme de ceux qui attendaient la sortie de GPT 5. Cela est d’autant plus vrai, qu’OpenAI est désormais valorisé à 150 milliards de dollars et que les investisseurs s’attendent donc à des avancées significatives dans le domaine de l’IA, un secteur qui évolue très rapidement.
Dans cet article, nous allons nous intéresser à la volonté d’OpenAI d’améliorer la capacité de raisonnement de ses outils, et sur les raisons qui poussent l’entreprise à produire des réponses plus lentement pour en réalité prendre l’avantage par rapport à ses concurrents dans le domaine de l’IA. Ralentir est en réalité une façon d’accélérer, comme nous allons le voir.
- Montrer Tout
Pourquoi le nouveau modèle OpenAI o1 dispose t-il de meilleures capacités de raisonnement ?
Dans le cadre de ses capacités de raisonnement, le modèle o1 utilise l’apprentissage par renforcement (RL) pour optimiser sa chaîne de pensée, en affinant progressivement les stratégies qu’il utilise pour générer des réponses. Cette approche lui permet de reconnaître et de corriger les erreurs sans surveillance humaine.
Le professeur d’informatique Tom Yeh a publié un article qui explique en détails le cadre de l’apprentissage par renforcement « traditionnel » à partir de commentaires humains (un mode d’apprentissage dénommé : « RLHF », pour « Reinforcement Learning from Human Feedback »). Il explique que le processus intègre une boucle de rétroaction où les réponses générées par le modèle sont systématiquement examinées et notées par un modèle de récompense basé sur des critères de qualité définis par des utilisateurs. Ce processus permet ainsi d’améliorer, au fur et à mesure, la qualité des réponses fournies par le LLM.
La nouvelle technologie est également basée sur un mode d’apprentissage encore plus complexe que les chercheurs ont dénommé : RLHF+COT, où COT signifie « Chain of Thought » (pour chaîne de pensée). Ce modèle traite la requête d’un utilisateur (appelé le prompt) et « réfléchit » par étapes avant de générer une réponse et d’envoyer les données au modèle de récompense.
L’utilisation d’une technologie générative basée sur une COT dans ce contexte signifie que le modèle développera une explication étape par étape de son processus de raisonnement pour justifier la génération de sa réponse.
OpenAI a mis en place une procédure encore plus évoluée, appelée Inference+CoT, qui permet au modèle de raisonner par lui-même sans avoir besoin d’un être humain pour parvenir à la réponse. Cette technique permet au modèle de raisonner et de se remettre en question avant de fournir une réponse à l’utilisateur et réduit ainsi par la même occasion la nécessité d’une supervision humaine. Dans cette version, les jetons CoT ne sont pas pris en compte dans la facturation finale pour les utilisateurs.
Un nouveau modèle qui permet à OpenAI de rester dans la partie
On peut dire ce que l’on veut d’OpenAI, mais la plus grande startup d’IA au monde sait comment maintenir l’intérêt de sa communauté, même lorsqu’elle n’a pas de produit phare en vue. Depuis le lancement de GPT-4 en mars 2023, les clients anticipent (avec impatience) la sortie de GPT-5, mais pour le moment, et plus d’un an plus tard, il n’y a toujours pas de date de sortie officielle confirmée.
Bien entendu, l’absence de GPT-5 ne semble pas avoir ralenti OpenAI. Des versions intermittentes comme GPT-4 Turbo, GPT-4V, GPT-4o, des GPT personnalisés et maintenant o1 ont permis de maintenir OpenAI en tant que société leader dans le secteur.
Quel est donc l’argument de vente d’Open o1 ? Ses capacités de raisonnement lui permettent de résoudre des problèmes complexes dans des domaines clés tels que la science, le codage et les mathématiques.
Comme l’a expliqué Sandi Besen, chercheur en intelligence artificielle appliquée chez IBM, à Techopedia :
« Je pense que la société OpenAI se focalise sur l’amélioration de l’une des plus grandes limites du modèle de langage : le raisonnement. Les évaluations des performances du nouveau modèle o1 dans un contexte de questions/réponses semblent prometteuses. »
« Ses performances sur les benchmarks juridiques, où la réponse nécessite généralement un raisonnement en plusieurs étapes et de nombreuses informations à utiliser comme contexte, sont absolument remarquables. »
En fait, d’après les données fournies par OpenAI, le modèle obtient des résultats similaires à des étudiants en doctorat sur des « tâches de référence difficiles » en physique, chimie et biologie, tout en excellant en mathématiques et en programmation informatique.
Le modèle o1 offre des performances améliorées par rapport à GPT-4o dans certains domaines. Par exemple, lors d’un examen de qualification pour les Olympiades internationales de mathématiques (IMO) :
GPT-4o n’a résolu correctement que 13 % des problèmes, tandis que o1 a obtenu un score de 83 %.
OpenAI o1 offre des performances remarquables mais il ne faut pas s’enthousiasmer
Bien que cette approche innovante du raisonnement dans le domaine des technologies génératives IA offre des perspectives très prometteuses pour l’avenir, la sortie officielle d’OpenAI o1 en tant que solution en soi est décevante.
Les jetons COT ne sont pas disponibles pour les utilisateurs, ce qui offre peu de transparence sur le processus de raisonnement utilisé par le modèle, et le modèle lui-même est assez lent, les réponses à des questions complexes prenant plusieurs minutes.
Même le PDG de l’entreprise, Sam Altman, semble être déçu par la sortie de cet outil. « On vous présente o1, une série de nos modèles les plus performants et les plus précis déployés à ce jour », a déclaré Sam Altman dans un message sur X. Il a également déclaré que « o1 est toujours imparfait, toujours limité, et il semble toujours plus impressionnant à la première utilisation qu’il ne l’est après avoir passé plus de temps avec lui. »
here is o1, a series of our most capable and aligned models yet:https://t.co/yzZGNN8HvD
o1 is still flawed, still limited, and it still seems more impressive on first use than it does after you spend more time with it. pic.twitter.com/Qs1HoSDOz1
— Sam Altman (@sama) September 12, 2024
L’article publié sur le blog d’OpenAI indique également qu’OpenAI o1 ne dispose pas encore de nombreuses fonctionnalités qui rendent ChatGPT utile, notamment la recherche d’informations sur le web et le téléchargement de fichiers et d’images, bien qu’il représente une avancée significative pour les tâches de raisonnement complexes.
Si la sortie de cette nouvelle version a suscité de nombreuses réactions positives, elle n’a pas été accueillie avec enthousiasme par tous les acteurs du secteur.
Sean Ran, PDG et cofondateur de Sahara AI, a déclaré à Techopedia :
« Pour être honnête, je ne suis pas vraiment impressionné par ce nouveau modèle. En mettant ma casquette de chercheur/professeur en IA, je vois cela comme un signe que le premier principe du développement de modèles n’a pas changé – nous cherchons toujours à appliquer l’apprentissage basé sur la récompense sur de grandes quantités de données pour améliorer le modèle, mais avec des algorithmes plus ciblés. »
Quelles sont les réactions des experts face au lancement d’OpenAI o1 ?
Pour se faire une idée de la nouvelle version, Techopedia a contacté un certain nombre d’experts pour savoir ce que la communauté technologique pensait du nouveau modèle d’OpenAI. Dans l’ensemble, les réponses ont été plutôt positives.
Alon Yamin, cofondateur et PDG de Copyleaks, a déclaré :
« La publication du modèle o1 d’OpenAI marque une véritable étape dans le développement de l’IA générative. Sa capacité à évaluer les étapes avant de poursuivre est véritablement révolutionnaire. »
« Jusqu’à présent, les modèles d’IA ont eu du mal à faire preuve de nuance, et je suis donc curieux de voir à quel point le modèle o1 est performant dans ce domaine. Je suis ravi des avancées potentielles en mathématiques, en sciences et en programmation informatique que ce modèle pourrait permettre, en particulier dans l’enseignement supérieur. »
De même, M. Besen s’est montré très impressionné par le potentiel de cette version.
« Dans l’ensemble, je suis plutôt impressionné par le potentiel des modèles qui ont de meilleures capacités de raisonnement sans avoir à ajouter des méthodes supplémentaires en utilisant des messages-guides (ReAct, Chain of Thought, etc.) ou un autre appel à un modèle de langage supplémentaire pour planifier des tâches plus complexes. »
« J’espère que l’augmentation de la capacité de raisonnement améliorera la précision et gagnera ainsi la confiance des chefs d’entreprise pour développer davantage de cas d’utilisation de la GenAI. »
Avec ce nouveau modèle, OpenAI démontre comment une approche alternative de l’amélioration de l’IA peut contribuer à améliorer les capacités de raisonnement des LLM dans leur ensemble. Ceci étant dit, OpenAI o1 pourrait recevoir un accueil très chaleureux de la part des utilisateurs qui attendaient avec impatience le lancement de LLM basé sur le projet Strawberry.
Conclusion
OpenAI o1 semble être une nouvelle version extrêmement prometteuse, mais il est peu probable qu’elle soit à la hauteur de l’engouement qu’elle avait suscité lorsqu’elle était connue sous le nom de projet Strawberry.
On peut toutefois noter que les critiques formulées à l’encontre de ce nouveau modèle semblent être injustes pour l’entreprise OpenAI. Cette startup aborde les différentes approches de l’IA de différentes manières et offre ensuite au public la possibilité de les essayer de manière expérimentale.
D’une certaine façon, la sortie du nouveau modèle soulève des questions intéressantes sur l’évolution du raisonnement de l’IA au cours des prochaines années.
