Les réseaux de neurones artificiels
Les réseaux de neurones artificiels sont l’une des techniques d’IA qui est fondée sur la reconnaissance statistique de similarités, de « patterns » (motifs) dans la donnée (par opposition à l’IA symbolique qui repose sur l’énoncé de règles).
Pour autant, les résultats obtenus ont longtemps été limités par le nombre limité de connexions neuronales comparée à l’immense complexité du cerveau humain.
Les réseaux de neurones artificiels arrivent à maturité au début des années 2010, sous l’effet conjugué :
- de l’existence d’ensembles de données massives et annotées,
- d’une puissance de calcul accrue avec l’utilisation de cartes graphiques (GPU) permettant une parallélisation des calculs et,
- de l’emploi de l’algorithme d’apprentissage dit de « backpropagation », utilisé dans le Perceptron Multi-Couches (PMC) par David Rumelhart dans les années 80 pour ajuster le poids dans les réseaux de neurones et minimiser des erreurs au fil des multiples itérations de la phase d’entraînement. Le PMC a ensuite été couplé à des couches convolutives par Hinton, LeCun et Bengio fin des années 80 pour simuler le système visuel humain.
L’événement marquant est le développement en 2012 du réseau de neurones AlexNet, qui avec ses soixante millions de connexions pondérés, surpasse et rend obsolète les approches alternatives de vision par ordinateur : nous entrons dans la nouvelle révolution de l’IA portée par le Deep Learning.
L’émergence des IA génératives appliquées aux images
L’apprentissage se fait lors d’une phase d’entraînement, que le réseau de neurones entame sans aucune connaissance a priori et par des prédictions au hasard. Puis à travers l’algorithme de backpropagation, la machine apprend de ses erreurs initiales par modification des connexions synaptiques, jusqu’à devenir très précise dans ses prédictions.
Ces technologies d’lA générative deviennent accessible au grand public à partir de 2022, avec l’introduction de générateurs d’images hyper réalistes contrôlables via une interface en langage naturel : c’est l’avènement du prompt.
Prédire les prochains mots
Le Deep Learning a commencé à être très efficaces en traitement du langage naturel (TALN) à partir de 2015. Comme pour les images, les réseaux de neurones textuels apprennent en étant exposés à de très nombreux exemples (des corpus multilingues dans le cas de systèmes de traduction comme Google Translate et DeepL) et à travers l’ajustement itératif de leurs connexions neuronales.
Le facteur nouveau est l’augmentation considérable de la taille des réseaux de neurones, passant de quelques millions à plus… d’un milliard de paramètres. Il devient alors envisageable d’entraîner des réseaux de neurones à une tâche bien particulière : prédire la prochaine séquence de mots. La seconde différence importante est que les couches convolutives à l’entrée du PMC sont remplacées par des couches attentionnelles (la base des réseaux dit « Transformers »).
Les Large Language Models (LLM) sont ainsi spécifiquement conçus pour prédire le mot suivant dans une séquence, un processus facilité par le nombre fini de mots dans une langue. Leur entraînement repose sur un jeu de devinettes de mots cachés, par lequel ils apprennent de leurs erreurs et améliorent la pertinence de leurs prédictions.
Cet exercice de prédiction du prochain mot force les LLM à développer non seulement leur maîtrise de la grammaire et de la syntaxe mais aussi à comprendre des éléments importants d’un texte, du contexte et, dans une certaine mesure, de la façon dont fonctionne le monde et les humains.
Pour la première fois, nous disposons avec les LLM de machines non déterministes capables d’imagination et de créativité, reflétant la capacité humaine à la narration et à la créativité.
Suivre des instructions
Dès 2019, les LLM ont développé une compréhension avancée du langage et une forme d’intelligence brute. Mais leurs capacités sont encore mal connues et il reste difficile de les utiliser sans recourir à des prompts sophistiqués et peu intuitifs. Une nouvelle étape d’entraînement des LLM est donc engagée pour en faire des systèmes capables de répondre avec pertinence à des instructions en langage naturel (instruction tuning). Cette phase « d’instruction tuning » tend à renforcer le caractère anthropomorphique de systèmes d’IA déjà largement modelés par les écrits humains.
Engager un dialogue
Il existe deux façons d’interagir avec des Large Language Models : via une interface de chatbot comme ChatGPT ou par des prompts systèmes que les développeurs ont intégrés dans des applications (une sorte de pré-programmation).
Les LLM ont une capacité limitée à traiter de grandes quantités d’informations dans leur mémoire à court terme. Cette limite impacte directement la quantité des informations de contexte apportées au modèle.
Elle peut aussi se traduire par une dégradation de la cohérence des réponses dans de longues conversations. Chaque message ou prompt est traité indépendamment par le modèle : pour simuler un dialogue, une conversation continue, l’historique des échanges est réintégré (sans que ce soit visible par l’utilisateur) dans chaque nouveau prompt.
Des modèles aux capacités étonnantes : un socle large de connaissances
Les LLM possèdent une base de connaissances extrêmement large, acquise en étant exposés durant leur entraînement à un volume de textes bien supérieur à ce qu’un humain peut lire dans toute sa vie.
Le modèle ne stocke pas une archive complète de tout ce qu’il a lu, mais conserve dans ses connexions neuronales un ensemble de connaissances statistiquement pertinentes et de principes de haut niveau, qui servent de base pour générer des réponses aux questions posées.
Les LLM, bien qu’impressionnants, ne sont ni omniscients, ni infaillibles et peuvent produire des « hallucinations » ou erreurs, similaires aux limitations de la mémoire humaine.
Interagir avec l’IA : les fondamentaux du prompting
En dépit de leur puissance formidable, les LLM présentent un certain nombre de limites, comme la taille de leur mémoire immédiate (qui limite les informations de contexte), leur propension à halluciner (conséquence de leur processus de mémorisation) et la difficulté à comprendre leur propre mode de fonctionnement.
Le « prompt design » ou art du prompt est crucial afin de formuler des instructions précises pour obtenir des réponses adéquates, alors que les relations causales directes et prévisibles entre un prompt et la réponse du modèle sont parfois difficile à établir.
Modalités de déploiement en entreprise
Les LLM s(er)ont prioritairement déployés en entreprise en étant intégrés dans des outils familiers comme les traitements de texte, les logiciels de présentation, les tableurs, et les systèmes de visioconférence. Cette intégration améliore les fonctionnalités existantes sans bouleverser leur structure de base, l’IA est une extension naturelle de l’interface utilisateur.
Le deuxième axe de déploiement stratégique concerne l’utilisation des données non structurées et textuelles de l’entreprise. La technique de « Retrieval Augmented Generation » (RAG) permet une utilisation plus précise et pertinente de ces modèles en milieu professionnel.
Bien que ces techniques soient prometteuses, il est conseillé d’aborder leur mise en place avec prudence, car elles sont encore nouvelles, en phase d’expérimentation et encore peu industrialisées
Les potentialités dans le monde du travail
L’IA générative qui est perçue comme une menace pour l’emploi est en fait une innovation beaucoup plus riche en potentialités. C’est souvent moins les emplois qui s’automatisent que les tâches, autrement dit les emplois des « cols blancs » – les premiers concernés – vont plutôt se transformer et s’enrichir.
L’IA générative est particulièrement douée pour accomplir des tâches répétitives et volumineuses, qui ne sont pas celles dans lesquelles les êtres humains s’épanouissent le plus. Quant aux tâches plus créatives, elle a beaucoup plus le potentiel d’être un merveilleux assistant qu’un substitut. Autrement dit un « collaborateur augmenté » n’est pas seulement l’alternative au « collaborateur remplacé », c’est potentiellement un collaborateur plus autonome, plus accompli, plus capable, plus efficace, plus créatif qu’un « collaborateur sans IA ». L’IA générative offre cette opportunité de ne pas être qu’une dumb machine, une machine bête qu’on utilise, mais un complément stimulant pour sa réflexion et son travail.
L’impact de l’IA générative pour les entreprises
L’IA générative est un enjeu sérieux et important pour les entreprises. Elle l’est tout autant, à titre individuel, pour leurs collaborateurs et les professionnels. L’utopie technologique consiste à croire que la technologie est une solution aux problèmes de notre temps. Elle n’est en fait qu’un levier d’action, qui ouvre des opportunités et entraîne des risques. La complémentarité être humain / IA n’est ni un destin, ni une fatalité. C’est une potentialité. Elle peut aliéner ou libérer. Elle peut contraindre ou étendre. Elle peut contrôler ou accroître la capacité individuelle d’agir et de penser. L’avenir n’est pas écrit. A chacun de se saisir de ces innovations, de s’y essayer, de pratiquer, d’intégrer l’IA dans son travail et d’être ainsi un acteur de la transformation IA de son entreprise ou de son métier.
