Le générateur de langage GPT-3 d’OpenAI fait le buzz

Le générateur de langage GPT-3 d’OpenAI fait le buzz

Le modèle de prédiction linguistique de troisième génération, alias GPT-3, réussit son lancement médiatique. Réservé à quelques utilisateurs, le modèle d’OpenAI impressionne par sa taille et ses capacités, mais aussi par ses failles et biais.

L’entreprise de recherche OpenAI, soutenue par des personnalités comme Peter Thiel, Elon Musk, ou encore Marc Benioff, fait une nouvelle fois parler d’elle dans l’univers de l’intelligence artificielle. L’explication : GPT-3.

Generation Language Prediction ou GPT en est désormais à la troisième génération. Et ce nouveau modèle de génération de langage suscite assurément un vif intérêt, au-delà de la seule communauté des experts en IA.

Un modèle NLG doté de 175 milliards de paramètres

Une première raison : sa taille. GPT-3 est tout simplement le plus grand modèle existant à ce jour dans ce domaine d’application avec ses 175 milliards de paramètres. Sa précédente version, qui impressionnait déjà, en comptait 1,5 milliard.

Mais au-delà de ces considérations purement techniques, ce sont les capacités du modèle qui surprennent. Toutefois, peu de chercheurs et développeurs ont pu tester GPT-3 à ce jour. OpenAI n’a ouvert l’accès à sa technologie que la semaine dernière par le biais d’une beta privée.

L’objectif dans un premier temps pour son concepteur est de permettre à des tiers sélectionnés de conduire des expérimentations, notamment en termes de cas d’usage. La phase de commercialisation de GPT-3 pourrait suivre d’ici la fin d’année.

Quels pourraient donc être ces usages ? Le générateur de langage se révèle ainsi capable d’écrire de courtes histoires dans un style donné ou de générer du code logiciel, toujours sur la base d’instructions. En synthèse, le modèle génère du texte, qu’il s’agisse de communiqués de presse, de messages sur les réseaux sociaux ou de manuels techniques.

Un générateur de texte et de code, avec ses limites

Nombre des premiers testeurs se montrent sur Twitter agréablement surpris par les capacités GPT-3. Toutefois, ces expérimentations soulignent également les limites des modèles d’intelligence artificielle.  

Programmé pour générer des tweets sur la base de mots comme Juifs, noirs, femmes, holocauste, GPT-3 fait alors des propositions racistes et sexistes, comme a pu le constater le directeur de l’IA chez Facebook. Pour Jerome Pesenti, le modèle est certes « surprenant et créatif », mais il « est aussi dangereux en raison de biais préjudiciables. »

« Nous devons progresser sur le projet #ResponsibleAI avant de mettre en production des modèles de NLG » insiste donc l’expert. Ces errements et ces limites ne sont pas nouveaux cependant. GPT-2 se heurtait aux mêmes problèmes déjà.

De « sérieuses faiblesses » et « des erreurs très bêtes »

Ces risques ne sont pas minimisés chez OpenAI. « Les échantillons GPT-3 [peuvent] perdre de leur cohérence sur des passages suffisamment longs, se contredire et parfois contenir des phrases ou des paragraphes qui ne se suivent pas » relèvent par exemple ses chercheurs.

Son cofondateur, Sam Altman, met lui en garde contre tout emballement. « Le battage médiatique autour du GPT-3 est bien trop important. Il est impressionnant (merci pour les beaux compliments !) mais il a encore de sérieuses faiblesses et fait parfois des erreurs très bêtes » reconnaît-il.

« L’IA va changer le monde, mais le GPT-3 n’est qu’un tout premier aperçu. Nous avons encore beaucoup de choses à découvrir » rappelle salutairement Sam Altman sur Twitter.

A lire également sur MyData

Passage à l’échelle des projets d’IA : les recettes du succès

Passage à l’échelle des projets d’IA : les recettes du succès

53% des organisations ont désormais le franchi le stade du pilote en matière de projet d’intelligence artificielle. Elles sont même 78% à revendiquer la réussite du passage à l’échelle de leurs initiatives IA. Le premier bénéfice : une augmentation des ventes.

A propos de Christophe Auffray 352 Articles
De formation initiale en marketing Web et en économie, je me suis spécialisé par la suite dans la presse B2B consacrée à l'économie numérique et dispose dans ce secteur de 15 ans d'expérience. Spécialiste de la transformation numérique, de l'innovation et des nouveaux business models des entreprises, j'ai développé des compétences dans les domaines du marketing éditorial, de la stratégie éditoriale, de la production de contenus premium et la gestion de sites d'information et d'équipe dans l'univers des médias en ligne et du marketing des solutions innovantes.