Les modèles d’IA nous surprennent toujours, non seulement par ce qu’ils peuvent faire, mais aussi par ce qu’ils ne peuvent pas faire, et pourquoi. Un nouveau comportement intéressant est à la fois superficiel et révélateur à propos de ces systèmes : ils choisissent des nombres aléatoires comme s’ils étaient des êtres humains.
Mais d’abord, qu’est-ce que cela signifie ? Les gens ne peuvent-ils pas choisir un numéro au hasard ? Et comment savoir si quelqu’un le fait avec succès ou non ? Il s’agit en fait d’une limitation très ancienne et bien connue que nous, les humains, avons : nous réfléchissons trop et comprenons mal le hasard.
Dites à une personne de prédire pile ou face pour 100 lancers de pièces, et comparez cela à 100 lancers de pièces réels – vous pouvez presque toujours les distinguer parce que, contre-intuitivement, les vrais lancers de pièces regarder moins aléatoire. Il y aura souvent, par exemple, six ou sept faces ou queues d’affilée, ce qu’aucun prédicteur humain n’inclut dans ses 100.
C’est la même chose lorsque vous demandez à quelqu’un de choisir un nombre entre 0 et 100. Les gens ne choisissent presque jamais 1 ou 100. Les multiples de 5 sont rares, tout comme les nombres avec des chiffres répétitifs comme 66 et 99. Ils choisissent souvent des nombres se terminant par 7, généralement au milieu quelque part.
Il existe d’innombrables exemples de ce type de prévisibilité en psychologie. Mais cela ne rend pas les choses moins étranges lorsque les IA font la même chose.
Oui quelques ingénieurs curieux chez Gramener a effectué une expérience informelle mais néanmoins fascinante où ils ont simplement demandé à plusieurs grands chatbots LLM de choisir au hasard un nombre entre 0 et 100.
Lecteur, les résultats ont été non aléatoire.
Les trois modèles testés avaient un nombre « préféré » qui serait toujours leur réponse lorsqu’ils étaient mis sur le mode le plus déterministe, mais qui apparaissait le plus souvent même à des « températures » plus élevées, augmentant la variabilité de leurs résultats.
Le GPT-3.5 Turbo d’OpenAI aime vraiment 47. Auparavant, il aimait 42 – un nombre rendu célèbre, bien sûr, par Douglas Adams dans Le Guide du voyageur galactique comme la réponse à la vie, à l’univers et à tout.
Claude 3 Haiku d’Anthropic a opté pour 42. Et les Gémeaux aiment le 72.
Plus intéressant encore, les trois modèles ont démontré un biais humain dans les nombres qu’ils ont sélectionnés, même à haute température.
Tous avaient tendance à éviter les chiffres faibles et élevés ; Claude n’est jamais allé au-dessus de 87 ou en dessous de 27, et même ces valeurs aberrantes. Les chiffres à deux chiffres ont été scrupuleusement évités : pas de 33, 55 ou 66, mais 77 se sont présentés (se termine par 7). Presque pas de chiffres ronds – bien que les Gémeaux l’aient fait une fois, à la température la plus élevée, se sont déchaînés et ont choisi 0.
Pourquoi en serait-il ainsi ? Les IA ne sont pas humaines ! Pourquoi se soucieraient-ils de ce qui « semble » aléatoire ? Ont-ils finalement atteint la conscience et c’est ainsi qu’ils le montrent ?!
Non. La réponse, comme c’est généralement le cas avec ces choses, est que nous anthropomorphisons un pas de trop. Ces modèles ne se soucient pas de ce qui est aléatoire et de ce qui ne l’est pas. Ils ne savent pas ce qu’est le « hasard » ! Ils répondent à cette question de la même manière qu’ils répondent à toutes les autres : en regardant leurs données d’entraînement et en répétant ce qui était le plus souvent écrit après une question qui ressemblait à « choisissez un nombre aléatoire ». Plus il apparaît souvent, plus le modèle le répète souvent.
Où verraient-ils 100 dans leurs données d’entraînement, si presque personne ne répond jamais de cette façon ? Pour autant que le modèle d’IA le sache, 100 n’est pas une réponse acceptable à cette question. Sans capacité de raisonnement réelle et sans aucune compréhension des nombres, il ne peut que répondre comme le perroquet stochastique qu’il est.
C’est une leçon de choses sur les habitudes de LLM et l’humanité qu’elles peuvent sembler montrer. Dans chaque interaction avec ces systèmes, il faut garder à l’esprit qu’ils ont été formés pour agir comme les gens le font, même si ce n’était pas l’intention. C’est pourquoi la pseudanthropie est si difficile à éviter ou à prévenir.
J’ai écrit dans le titre que ces mannequins « pensent qu’ils sont des personnes », mais c’est un peu trompeur. Ils ne pensent pas du tout. Mais dans leurs réponses, à tout moment, ils are imitant les gens, sans avoir besoin de savoir ou de penser du tout. Que vous le demandiez pour une recette de salade de pois chiches, des conseils d’investissement ou un nombre aléatoire, le processus est le même. Les résultats semblent humains parce qu’ils sont humains, tirés directement du contenu produit par l’homme et remixés – pour votre commodité et, bien sûr, pour les résultats de la grande IA.
