Par Michelange Baudoux sémanticien et blogueur le 18 Janvier 2023

Cet article est le second chapitre de la série “La geekosphère aveuglée par les artifices de l’IA”

ChatGPT est un réseau de neurones développé par OpenAI, basé sur GPT-3 et entraîné comme “chatbot”, ou “robot conversationnel”. Vous avez certainement déjà eu la chance de vous frotter à un chatbot errant, dans les couloirs du support en ligne de votre banque, ou dans ceux du service client de votre fournisseur d’accès à Internet. L’intérêt - tout relatif - de ce type de robot est de remplacer les employés de première ligne du service clientèle (ceux qui décrochent le téléphone), de débroussailler votre appel à la place des humains pour vous aiguiller directement vers les employés les mieux qualifié… ou vers la sortie.

ChatGPT a été lancé en tant que prototype le 30 novembre 2022 et a rapidement attiré l'attention par ses réponses détaillées et articulées dans de nombreux domaines de connaissances, déclenchant une remarquable vague de buzz. A l’usage, cependant, on sera rapidement déçu par son inconstance : toujours sur le même ton docte et impassible, le chatbot passe sans crier gare de la plus grande exactitude factuelle à l’invention pure et simple, si bien qu’on ne peut pas se fier à lui. ChatGPT est à la fois brillant et idiot, et voici pourquoi : ce système se contente de synthétiser des réponses à partir d’exemples, il ne comprend ni vos questions, ni même ses propres réponses. Contrairement à vous et moi, il n’a pas de représentation (de modèle) de la réalité qu’il présuppose dans ses énoncés, il ne dispose pas de l’imaginaire conceptuel sous-jacent aux phrases qu’il assemble. Ainsi, nous sommes capable de parler du contenu d'un roman même si nous ne nous souvenons pas d'une seule de ses phrases. ChatGPT ne peut pas faire cela, il n’a accès qu’à la superficie du texte. ChatGPT est essentiellement un « perroquet stochastique » : ses connaissances ne proviennent que de régularités statistiques dans ses données d'entraînement, plutôt que d'une compréhension humaine du monde en tant que système complexe.

ChatGPT est dépourvu de modèle visuo-spatial

A une question d’ordre visuel sur un tableau célèbre (ci-dessus), voici une réponse qui montre que ChatGPT ne voit pas comme une scène la peinture qu’il décrit : il se contente d’agglomérer des descriptions pour produire un résultat très probablement cohérent. Pourtant, ChatGPT ne dispose pas d’une description adéquate, et passe à côté de l’idée essentielle du tableau, à savoir que l’aveugle qui menait les autres est tombé dans un étang, les entraînant à sa suite à leur perte :

Et quand on attire son attention sur ce point, ChatGPT ne s’améliore pas :

Mais au fond, c’est bien compréhensible que ChatGPT ne soit pas capable de modélisation visuo-spatiale, puisque le corpus sur lequel ChatGPT est entraîné est un corpus textuel. Malheureusement, comme nous allons le voir, il n’est pas extrêmement plus malin dans ce domaine.

Chat GPT, également très limité dans le domaine du texte

Puisque la base de ChatGPT est purement textuelle, et que les données dont il dispose sont généralement limitées à 2021 inclus, essayons de nous montrer fair play et observons ce dont il est capable sur ce terrain.

Pas de problème en apparence avec les pièges classiques des syllogismes :

Cependant, le système semble avoir une compréhension très superficielle de ses propres productions, et une mémoire très limitée : ainsi, il est capable de proposer la table des matières pour une encyclopédie, qui se termine comme suit :

Mais, quand on lui demande de travailler sur base de son propre texte, qu’il est tout-à-fait en mesure de répéter, il commence à produire des incohérences évidentes :

Cette incapacité à produire et retenir des listes de quelques dizaines de points constitue un sérieux handicap pour un robot conversationnel. Il ne saurait en tout cas pas gérer ma to do list, ni assister un rhétoricien de bout en bout dans la rédaction d’une dissertation structurée.

Pour ce qui est des exemples et des citations, ChatGPT semble s’en sortir haut la main :

C’est parfait, sauf qu’il n’y a pas de chapitre 19 dans Salammbô, qui n’en comporte que 15, et que la citation n’existe pas, de près ou de loin, dans l’original !!! On est confronté au paradoxe d’une citation à la fois presque vraisemblable et totalement factice. Chat GPT en a forgé le texte de toutes pièces, probablement en agglomérant d’abord des phrases de commentateurs en anglais, traduisant ensuite le résultat en français ! finalement, aux oreilles de l’amateur de Belles Lettres, le style de Flaubert en est totalement absent.

Selon un récent article de Trust My Science, ChatGPT pourrait "permettre à des étudiants de rédiger des dissertations sans effort", nonobstant quelques “subtiles incohérences”. Malheureusement, les incohérences de ChatGPT ne sont pas "subtiles", ses productions sont tout simplement à la fois très vraisemblables et complètement erronées, en Français comme en Anglais :

Où l’on voit Mbappé brandir son épée en triomphe alors que Messi vient de lui transpercer le coeur…

Tout bien pesé, le seul danger auquel ChatGPT nous expose est justement celui de tous ces articles putaclick comme celui, cité plus haut, infâme produit du très mal nommé Trust My Science, qu’on devrait condamner aux galères Carthaginoises, avec toute l’équipe marketing de openAI.

Tu ne coderas point

Selon ses promoteurs, chat GPT peut être utilisé pour analyser du code informatique. Comme mes connaissances se limitent à Javascript, c’est dans ce langage que j’ai testé ses capacités. A première vue, ChatGPT semble bien capable de raisonner sur des les bases du langage :

Le système peut très bien expliquer - et même exécuter - toutes les fonctions de Javascript, celles du coeur, celles des extensions standard et celles des bibliothèques connues. Quand on n’a plus son Javascript tout frais, c’est un vrai régal de le voir expliquer, écrire et tester telle ou telle fonction plus ou moins obscure. Et le mode conversationnel permet, sans avoir à faire de recherche, de recevoir une réponse précise à une question spécifique, un exploit dont les meilleurs manuels eux-mêmes ne peuvent se vanter. On a là, incontestablement, le chaînon manquant entre les ouvrage de base et la jungle des articles compliqués et des sites spécialisés comme Stackoverflow, un forum prééminent dans le domaine de la programmation. Malheureusement, ChatGPT ne cite pas les sources de ses exemples, ce qui n’est pas toujours très fonctionnel - et jamais très fair play ! Mais, une fois de plus, ses compétences font montre de sérieuses limites, et en matière d’analyse et de génération de programmes, les vrais développeurs en sont vite revenus : le bot, qui ne fait que réassembler à la demande le contenu des articles du corpus utilisé pour le former, est incapable de réellement comprendre et de résoudre un problème nouveau quand il n’a pas disposé, dans ses données de d’entraînement, d’un ensemble d’exemples pertinents. Et même lorsqu’il dispose des sources utiles, Chat GPT ne comprend rien à ce qu’il code, comme dans cet exemple où il interprète subtilement de travers les lignes qu’il a lui-même générées :

Le caractère pernicieux de ces erreurs fait qu’on met un certain temps à les repérer, ce qui produit des bugs longs à découvrir et compliqués à résoudre, du type que les programmeurs ont précisément en horreur.

Tout comme les éléphants de Salammbô pris en exemple plus haut, les lignes de code proposées sont d’autant plus dangereuses qu’elles professent leurs déviantes approximations d’un ton docte et dissimulées sous les oripeaux de la vraisemblance.

C’est pour cette raison, selon Vice, que le forum Stackoverflow, a récemment pris le parti de bannir ChatGPT :

"…le principal problème est que même si les réponses produites par ChatGPT présentent un taux élevé d'erreurs, elles semblent généralement correctes et sont très faciles à produire. De nombreuses personnes utilisent ChatGPT pour créer des réponses, sans l'expertise ni la volonté nécessaires pour vérifier que la réponse est correcte avant de la publier.”

Après la Littérature, les Beaux-Arts et l’Informatique, qu’on donne ma langue au GPT-chat si les spécialistes de tous les domaines ne finissent pas par converger, pour aboutir tous ensemble sur cette triste conclusion : la génération de texte est un outil inutile.

L’humanité esclave de ChatGPT

Partout, les Gardiens de la Geekosphère s’inquiètent de ce que ChatGPT menace de nous rendre esclaves des machines. Certains, moins extrémistes, s’inquiètent juste de notre future dépendance : allons-nous progressivement perdre les compétences pour lesquelles nous nous laisserons aider par l’IA? Et si tel est le cas, comment allons-nous faire lorsque les IA tomberont en panne? Comment va-t-on pouvoir entraîner les futures IA si il n’y a plus de savoir humain à leur jeter en pâture ?

Heureusement, comme établi dans l’introduction, l’IA, limitée en puissance, non consciente et désincarnée, n’est pas près de remplacer l’intelligence humaine.

Néanmoins, OpenAI, en rendant ChatGPT accessible au public, exploite bel et bien ses utilisateurs…

En effet, sur la page d’accueil de ChatGPT, on peut lire : “Nous sommes ravis de présenter ChatGPT pour obtenir les commentaires des utilisateurs et en savoir plus sur ses points forts et ses points faibles. Pendant la phase de test, l'utilisation de ChatGPT est gratuite.” Et on voit pourquoi quand on compare cette réponse lamentable de ChatGPT le 1er Décembre :

… avec sa bien meilleure réponse à la même question, le 24 Décembre :

Selon toute vraisemblance, l’équipe d’OpenAI, l’entreprise derrière ChatGPT, corrige le tir sur base des exemples ingénieux produits par les internautes pour mettre le système en défaut.

En rendant ChatGPT public, OpenAI a simplement ‘crowdsourcé’ (mutualisé) l’amélioration de son produit : l’équipe de correcteurs, qui avait jusque-là entraîné le système en évaluant la qualité de chaque réponse, est à présent remplacée par la masse des Internautes. Pour rappel, “si c’est gratuit, c’est que vous êtes le produit” : Chat GPT ne répond pas à nos questions, c’est nous qui entraînons gratuitement ChatGPT… Il est très probable qu’OpenAI commercialisera des application dédiées, entraînées sur des cas particuliers de support client et de documentation, pour divers services, industries et produits. Et ces chatbots-là ne seront vraisemblablement plus ni publics, ni gratuits. A l’heure où nous mettons sous presse, Open AI annonce une levée de fond, et la version publique n’est plus accessible. Et la rumeur veut qu’on attende la version suivante, entraînée à partir de nos interactions avec la version courante.

GPT dans l’eau

En attendant, retenez bien ceci : ChatGPT est un faux ami, et si vous comptez sur lui pour quoi que ce soit, vous regretterez de lui avoir fait confiance. Voici ce que cette petite crapule a osé me répondre pas plus tard que ce matin, alors que je bouclais mon article :

Voilà : mon exemple du début avec les “Aveugles” de Bruegel ne marche déjà plus. C’est probablement dû à la nature fondamentalement hasardeuse du processus de génération. Ou bien alors c’est une intervention du fait du Turc Mécanique d’OpenAI (leur équipe de correcteurs humains). Tout ce que vous voudrez. Mais par pitié, ne portez pas ce genre d’amélioration au crédit de la soi-disant intelligence de leur perroquet stochastique.

COUCOU

Vous pouvez déposer vos commentaires et participer à la discussion en ligne sur Facebook.

Dans la série : “La geekosphère aveuglée par les artifices de l’IA” :