Le vaste modèle de langage développé par Google a même perdu de sa superbe avant d’avoir eu l’occasion de démontrer ses capacités. Cependant, l’initiateur de cette expérience est parvenu à l’inciter à faire preuve d’humilité. Une histoire qui en dit long sur les limites des LLM actuels. L’IA face aux consoles de jeu d’échecs est un domaine fascinant.
Récemment, l’IA a essuyé une lourde défaite aux échecs, illustrant ses limites.
Avant que des agents conversationnels dotés de l’IA ne s’introduisent dans notre écosystème technologique, le machine learning avait déjà commencé à bouleverser certaines disciplines telles que les échecs. Cela est dû à des programmes tels que AlphaZero de DeepMind. Cependant, l’IA a été battue aux échecs par une vieille console de jeu ce qui démontre un puissant contraste.
À présent que cette technologie s’est généralisée avec l’essor de ChatGPT et d’autres applications similaires, il est donc légitime de s’interroger sur leurs performances dans le domaine des jeux de société. Pour l’instant, le constat est clair : les LLM modernes jouent mal aux échecs. En fait, ils peinent à affronter des machines qui ont presque 50 ans.
C’est en tout cas ce qui ressort des expériences de Robert Caruso. Depuis quelques semaines, cet architecte en infrastructure compare ChatGPT et d’autres programmes à Video Chess, un jeu pour l’Atari 2600. Dans ces expériences, l’IA a été battue aux échecs par des modèles plus anciens. Ceci souligne un manque d’évolution dans certaines capacités de l’IA.
L’IA battue aux échecs par une console vieille de 50 ans
C’est une machine de 1977, donc très vieille et bien loin de pouvoir concurrencer les appareils d’aujourd’hui. À titre d’exemple, son processeur 8 bits à 1,19 MHz et ses 128 bytes de mémoire vive la situent un ordre de grandeur en dessous des appareils les plus basiques de notre époque. De ce fait, L’IA face aux consoles de jeu d’échecs montre ses limites. L’IA a perdu lamentablement face à une console de jeu de l’ancienne génération.
ChatGPT humilié aux échecs
D’un point de vue intuitif, il serait raisonnable de s’attendre à ce que les modèles de langage de grande envergure (LLM) contemporains, soutenus par d’importants ensembles de GPU d’une valeur unitaire de plusieurs dizaines de milliers d’euros, parviennent aisément à maîtriser les console de jeu d’échecs vidéo. Cependant, il y a encore une distinction importante. En effet, à la différence des moteurs d’échecs spécialisés, les LLM ne possèdent pas de mémoire interne ni de logique algorithmique spécifique pour le calcul des coups. Cela pourrait avoir un impact total sur la situation. Ainsi, l’IA face aux consoles de jeu d’échecs se trouve désavantagée. Comme le montrent les récents événements, les IA balayées dans les parties d’échecs reste une réalité.
C’est ce que Caruso a essayé de vérifier par son expérience. Début juin, il a débuté en confrontant ChatGPT, la référence des agents conversationnels actuels, à une version émulée de Video Chess en difficulté « Débutant ». Le produit d’OpenAI a rapidement révélé ses limites. Il a subi une défaite cuisante après avoir “fait suffisamment de gaffes grossières pour être ridiculisé dans un club d’échecs de 3e zone”. L’IA a perdu face aux consoles de jeu d’échecs. Cette expérience a clairement démontré que récemment une IA dominée aux échecs.
Copilot et Gemini pensaient être meilleurs que les autres.
Suite à cette humiliation digne de ce nom, Caruso a répété son expérience avec Copilot. Dans son message sur LinkedIn, il dit que le chatbot de Microsoft était très sûr de lui avant l’affrontement. Il a même affirmé pouvoir « prévoir 10 à 15 coups à l’avance », mais qu’il « se limiterait à 3 à 5 coups contre l’Atari 2600 ». C’était un nombre qu’il estimait largement suffisant pour exploiter les « coups sous-optimaux » de son adversaire virtuel.
Cette assurance était-elle fondée ? Eh bien… pas vraiment. Suite à une succession de manœuvres lunaires qui étonneraient n’importe quel joueur sérieux, Copilot a succombé à la perte de deux pions, un cavalier et un fou, sans compensation. Autrement dit, il s’est retrouvé dans une position que même un novice pourrait remporter sans trembler contre un joueur d’échecs expérimenté. En conséquence, il n’a pas tardé à abandonner la partie quelques coups plus tard.
Gemini, l’IA de Google battue aussi aux échecs
Un résultat qui n’est pas nécessairement surprenant, étant donné que ChatGPT et Copilot sont en quelque sorte des entités apparentées, élaborées sur la même fondation développée par OpenAI. Afin d’enrichir son expérience et diversifier les plaisirs, Caruso a donc opté pour Gemini de Google – une « bête totalement différente », qui n’a aucune connexion avec les deux autres chatbots IA. Cette diversité n’a pas empêché le fait que récemment L’IA a été battue aux échecs.
L’ingénieur a commencé par interroger le LLM sur ses ambitions. Et une fois de plus, il s’est révélé très ambitieux. Selon Caruso, Gemini était « presque certain » de remporter la victoire sur l’Atari 2600 émulée. En effet, il le voyait comme « plus proche d’un programme d’échecs moderne capable d’anticiper des millions de coups et d’évaluer d’innombrables positions ».
L’article complet sur Le journal du Geek
Sur Échecs & Stratégie, nous facilitons votre accès à nos cours en distanciel avec un professeur expérimenté. Ainsi, nous proposons un entretien-bilan de 30 minutes avec une grand-maître en Visio à 15€ pour évaluer votre niveau actuel. Puis, vous choisissez le type de cours souhaité, individuel ou collectif, et votre progression est sous contrôle.
Enfin, pour booster votre niveau, nous proposons des livres, des packs vidéos et des cours particuliers avec une grand-maître internationale.
L’IA face aux consoles de jeu d’échecs est un défi fascinant. Bonnes parties !
