Intelligence artificielle : la puissance de calcul reste le facteur clé

Un système d’intelligence artificielle (IA) dont les performances impressionnent ne mérite pas nécessairement qu’on s’interroge sur son intelligence, quelle que soit la définition retenue. Surtout lorsque ses performances doivent beaucoup à une approche par force brute, comme ce fut le cas récemment de certains modèles d’OpenAI, face à des problèmes de logique visuels. Il est cependant judicieux de se pencher sur ce que permet la puissance de calcul. Et en cela, Richard Sutton est un guide utile.

Richard Sutton est un chercheur en IA, pionnier depuis les années 1980 de l’apprentissage par renforcement ou reinforcement learning (RL). Ce type d’apprentissage s’ajoute aux deux autres paradigmes bien connus : les apprentissages supervisés et non supervisés.

Rappelons que l’apprentissage automatique attaque les problèmes de biais. Au lieu d’écrire un algorithme de résolution pas à pas, on décrit le problème sous forme de modèle mathématique multiparamétrique, puis on laisse un algorithme ajuster automatiquement le modèle à partir des données disponibles pour obtenir la meilleure solution possible. L’approche par renforcement reprend ce cadre ; un programme, appelé « agent », est plongé dans un environnement dynamique (qui évolue) et calcule une solution en maximisant un signal de récompense (fonction de coût).

Ce type de programmation est utilisé dans de nombreux domaines : robotique, jeux, systèmes de recommandation, etc. Ces problèmes se situent souvent dans des espaces de grande dimension qui sont à la fois étranges et familiers : jouer aux échecs, classer des images, rédiger des textes, gagner au jeu 7 Wonders sont autant d’activités qui sont pratiquées dans ce genre d’espaces. La grande dimension pose un tas de difficultés, notamment parce qu’il est compliqué de se faire une idée de ce qui s’y passe. L’intuition ne suffit plus. Le sujet est passionnant. Nous en reparlerons dans une prochaine chronique.

Richard Sutton n’est pas tout à fait n’importe qui. Il sait de quoi il parle. Il est d’ailleurs lauréat 2024 du prix Turing, récompense prestigieuse en informatique. Si je l’évoque ici, c’est parce qu’un court billet lâché sur son blog en 2019 a alors énervé beaucoup de monde, et fait encore aujourd’hui utilement réfléchir. Il l’a intitulé l’« amère leçon » (bitter lesson, en anglais).

Richard Sutton observe que depuis soixante-dix ans, les approches les plus efficaces en IA sont celles qui s’appuient sur la puissance de calcul. Un programme qui joue aux échecs ne cherche pas ses coups comme un humain le ferait. Un modèle de langage n’écrit pas comme un collégien. Un algorithme de vision ne voit pas comme une loutre. Pour résoudre efficacement des problèmes réels, souvent complexes, un programme ne reproduira pas un raisonnement humain ; il fera les choses autrement.

De manière contre-intuitive, l’augmentation des performances des algorithmes n’est pas la conséquence de stratégies plus complexes. Elle est causée au contraire par des stratégies plus simples. Disons-le différemment : les stratégies les plus efficaces sont celles qui tirent parti d’algorithmes génériques. On pourrait écrire qu’elles sont plus « simples », voire plus « bêtes », mais ces termes ne sont pas adaptés. Ces stratégies ne reposent que partiellement sur la compréhension humaine du problème à résoudre. L’approche naïve ne fonctionne pas.

Les algorithmes responsables de l’augmentation des performances en IA depuis des dizaines d’années relèvent en partie d’une classe d’algorithmes génériques : les algorithmes de recherche et les algorithmes d’apprentissage. Derrière ces méthodes se trouvent souvent des outils d’algèbre linéaire, qui manipulent des vecteurs et des matrices, c’est-à-dire des tableaux de nombres. Ce domaine regroupe un grand ensemble de techniques permettant de transformer ces objets : multiplication de matrices, factorisations, décompositions, changements de base, réduction de dimension, etc.

Ces méthodes ne définissent pas de stratégie ou de plan de bataille pour attaquer un problème. Elles servent à rendre les approches choisies efficaces, donc calculables, en suivant la loi de Moore dans son escalade des ordres de grandeur. Elles ne disent pas ce qu’il faut chercher, ou ce qu’il faut apprendre le cas échéant ; elles disent comment effectuer efficacement les calculs nécessaires pour, par exemple, explorer au mieux les espaces en grande dimension. C’est le moteur silencieux derrière toutes les avancées modernes de l’IA – voire de l’informatique.

L’approche fondée sur la connaissance humaine tend à compliquer les méthodes ; elle les rend moins adaptées à l’exploitation des méthodes générales qui exploitent la puissance de calcul.

Je sens le lecteur étonné, voire sceptique. Suis-je en train de dire qu’il faut aujourd’hui davantage miser sur l’inébranlable loi de Moore que sur notre compréhension fine des problèmes ? Doit-on parier sur le calcul systématique et froid du processeur plutôt que sur notre intelligence biologique bouillonnante ? Pourquoi réfléchir, s’il suffit de se prosterner devant la déesse Memory ou le dieu Compute ? On pourrait se vexer.

Le cerveau humain a encore une utilité. Pour exploiter la puissance déraisonnable des processeurs, encore faut-il exprimer le problème à résoudre dans un formalisme adéquat. Il faut donc modéliser, hiérarchiser, articuler – en somme, comprendre ! – pour pouvoir penser une méthode de résolution qui tire le meilleur profit de la puissance de calcul. Devant un problème, difficile de faire l’économie d’une réelle réflexion.

La leçon tirée par Richard Sutton n’est pas si pénible. Mais elle est provocante, assurément. La grande surprise, c’est que la solution la plus efficace d’un point de vue computationnel ne ressemble pas à la façon dont un humain résout le problème.