Corrélation entre le cerveau et les réseaux de neurones profonds - Meta
Il existe des similitudes entre le traitement d’informations linguistiques dans la matière grise et dans les réseaux de neurones profonds. Les chercheurs de l'entreprise américaine espèrent découvrir pourquoi notre cerveau est si efficace, afin de créer de nouveaux algorithmes plus performants.
Même si les réseaux de neurones profonds (RNP) ont fait d’énormes progrès ces dernières années, ils sont encore loin d’avoir certaines capacités intellectuelles humaines, telles que l’apprentissage et la maîtrise d’une langue. « Quelques millions de phrases suffisent à un enfant pour maîtriser une langue. Un réseau de neurones profond a besoin de beaucoup plus de données pour arriver à la même chose », souligne Jean-Rémi King, chercheur au laboratoire Meta FAIR.
Afin de comprendre pourquoi le cerveau est si efficace dans l’apprentissage et l’utilisation des langues, les chercheurs de Meta s’associent avec ceux de NeuroSpin CEA et de l’Inria dans un projet de recherche à long terme. Leur idée est de comparer le fonctionnement des cerveaux humains et des RNP lorsqu’ils sont confrontés aux mêmes phrases lues ou entendues.
Les zones cérébrales face aux couches algorithmiques
En s’appuyant sur des données de l’université Princeton et de l’institut Max Planck — imagerie par magnétoencéphalographie et par résonance magnétique fonctionnelle — ils ont d’ores et déjà pu constater un fait étonnant : le fonctionnement du cerveau humain est assez similaire à celui des RNP.
« Le cerveau traite l’information linguistique par étapes. Il va identifier les phonèmes dans les séquences sonores, puis les assembler pour former des morphèmes, puis des mots, afin de créer du sens. Cette hiérarchie de traitement se voit dans les images et cela fait même des décennies qu’elle est étudiée. De leur côté, les RNP fonctionnent par couches, et il est possible d’analyser les activités dans chacune d’elles. Notre objectif a été de corréler ces deux fonctionnements et de mesurer les variations », nous explique Jean-Rémi King.
Résultat : il y a bien une corrélation entre ces deux types de traitement hiérarchique, et cette corrélation est d’autant plus forte que le RNP est capable de faire de prédictions sur les prochains mots lus ou entendus. « La variable clé dans les RNP, c’est la capacité à prédire le futur à partir du passé. C’est donc dans cette direction qu’il faut poursuivre les recherches », souligne le chercheur. Cette capacité de prédiction est encore très limitée. Au mieux, les RNP arrivent à prédire quelques mots. Un cerveau humain, à l’inverse, sera capable de travailler à un tout autre niveau, en prédisant des paragraphes entiers ou le déroulement des idées.
Les chercheurs vont continuer à explorer cette voie de recherche. La prochaine étape est la création d’un set d’images neuronales par NeuroSpin, sur lequel les chercheurs vont pouvoir s’appuyer pour approfondir leurs analyses. L’objectif est double : comprendre les principes d’apprentissage qui permettent au cerveau humain d’être si efficace et utiliser cette compréhension pour améliorer les RNP.