Les IA remises en question par un paradoxe mathématique vieux de 100 ans

Les IA auraient-elles la « grosse tête » ? C’est un peu ce que disent des scientifiques des universités de Cambridge et d’Oslo. Ils ont constaté que la fiabilité des IA se trouvait confrontée à des limites mathématiques. Problème : elles ne sont pas toujours transparentes sur leurs échecs.

On le sait bien, un excès de confiance peut empêcher la remise en question. Eh bien il semblerait, selon une équipe de scientifiques des universités de Cambridge et d’Oslo, que cela ne soit pas propre aux humains. En effet, selon eux, il est même plus compliqué pour les intelligences artificielles (IA) de reconnaître une erreur dans un résultat que de donner un résultat correct.

Or, il semblerait que ces erreurs soient inévitables. Pour rappel, les intelligences artificielles, aujourd’hui, se déclinent surtout dans une application pratique appelée « machine learning », une technique d’apprentissage automatique qui consiste à entraîner des réseaux neuronaux artificiels (inspirés du fonctionnement du cerveau) en leur fournissant de grandes quantités de données comme base d’apprentissage, de laquelle ils doivent « déduire » des résultats. Dans les faits, ces réseaux neuronaux sont la plupart du temps dématérialisés : il s’agit de calculs effectués sur des ordinateurs.

Beaucoup d’espoirs sont fondés sur ces algorithmes d’apprentissage, que ce soit dans le domaine de la reconnaissance vocale, d’images, de diagnostics divers… Pourtant, les auteurs de cette nouvelle étude soulignent le manque de fiabilité de certains d’entre eux. « Nous sommes à un stade où le succès pratique des IA est bien en avance sur la théorie et la compréhension. Un programme sur la compréhension des fondements de l’informatique IA est nécessaire pour combler cette lacune », déclare ainsi Anders Hansen, professeur du département de mathématiques appliquées et de physique théorique de Cambridge, dans un communiqué de l’université.

Les chercheurs ont en effet identifié un paradoxe qui fragilise le principe de fonctionnement des IA. Cette limite est dérivée d’un paradoxe mathématique assez ancien démontré par Alan Turing et Kurt Gödel au 20e siècle. Tous deux ont en effet été rendus célèbres par leur capacité à montrer que les mathématiques ne pouvaient être complètement démontrables. En résumé, leurs conclusions étaient les suivantes : il existe certains énoncés mathématiques qui ne sont ni démontrables ni réfutables, et certains problèmes de calcul ne peuvent pas être résolus avec des algorithmes. De plus, paradoxe étonnant, une théorie cohérente ne peut pas démontrer sa propre cohérence, à partir du moment où elle est suffisamment « riche ».

Vous voulez éliminer toutes les pubs du site tout en continuant de nous soutenir ?

« Le paradoxe identifié pour la première fois par Turing et Gödel a été introduit dans le monde de l’IA par Smale et d’autres », précise un co-auteur de l’étude, Matthew Colbrook, du Département de mathématiques appliquées et de physique théorique. « Il existe des limites fondamentales inhérentes aux mathématiques et, de la même manière, les algorithmes d’IA ne peuvent pas exister pour certains problèmes ». Les chercheurs expliquent ainsi qu’en raison de ce paradoxe, il existe bien des cas où de bons réseaux de neurones peuvent exister, mais qu’un réseau intrinsèquement fiable ne peut pas être construit.

Cette affirmation n’est pas nécessairement dramatique dans de nombreux domaines, rappellent les scientifiques. En revanche, il en existe d’autres ou toute erreur, surtout non reconnue, peut être risquée. « De nombreux systèmes d’IA sont instables, et cela devient un handicap majeur, d’autant plus qu’ils sont de plus en plus utilisés dans des domaines à haut risque tels que le diagnostic des maladies ou les véhicules autonomes », explique ainsi Anders Hansen. « Si les systèmes d’IA sont utilisés dans des domaines où ils peuvent causer de réels dommages s’ils tournent mal, la confiance dans ces systèmes doit être la priorité absolue ». Or, l’équipe affirme que dans de nombreux systèmes, « il n’y a aucun moyen de savoir quand les IA sont plus ou moins confiantes quant à une décision ».

Cependant, il ne s’agit pas là d’une raison pour abandonner les recherches sur le machine learning et les IA telles que nous les connaissons, affirment les scientifiques. « Lorsque les mathématiciens du XXe siècle ont identifié différents paradoxes, ils n’ont pas arrêté d’étudier les mathématiques. Ils n’avaient qu’à trouver de nouvelles voies, car ils comprenaient les limites », rappelle Matthew Colbrook. « Pour l’IA, il peut s’agir de changer de voie ou d’en développer de nouvelles pour concevoir des systèmes capables de résoudre des problèmes de manière fiable et transparente, tout en comprenant leurs limites ».