Aller au contenu
Retour à Principes de l'IA

Principes de l'IA · Chapitre 3 sur 8

Fort ici, faible là

L'IA réussit certaines tâches difficiles et échoue sur d'autres qui semblent faciles, elle peut affirmer des choses fausses avec assurance, et elle est plus utile quand elle dit qu'elle ne sait pas.

15 minutes0 objectifs sur 3 atteints

Objectifs

  • Répondre à six questions ou dire « Je ne sais pas », puis les noter de deux façons.À faire
  • Placer six tâches du quotidien sur une carte datée qui montre où l'IA réussit et où elle échoue.À faire
  • Réussir la vérification.À faire

Étape 1 sur 4 : La lecture

Inégale, et pas selon la difficulté

Au chapitre 2, vous avez vu qu'un modèle écrit en choisissant les morceaux de texte suivants les plus probables, appris à partir des exemples sur lesquels il a été entraîné. Ce qu'il réussit dépend de ces exemples, pas de ce que les gens trouvent difficile. Il peut traduire un panneau en trois langues en quelques secondes, puis se tromper en comptant les lettres d'un mot, parce qu'il lit des morceaux de mots plutôt que des lettres une à une.

Les chercheurs appellent cela une frontière en dents de scie : la limite entre ce que l'IA fait bien et ce qu'elle fait mal zigzague. L'expression vient d'une étude de 2023 dans laquelle des consultants ont utilisé l'IA sur des tâches réalistes (Dell'Acqua et ses collègues). Sur les tâches à l'intérieur de la frontière, leur travail s'est amélioré. Sur une tâche juste à l'extérieur, ceux qui utilisaient l'IA avaient raison moins souvent que ceux qui travaillaient sans elle. La frontière bouge aussi à mesure que les modèles changent, donc toute carte de cette frontière a besoin d'une date.

Sûr de lui, et faux

Un modèle produit toujours une réponse, et ses mots semblent tout aussi sûrs quand il se trompe. Écrire quelque chose de faux sur un ton assuré, comme une citation d'un livre qui n'existe pas, s'appelle une confabulation ; beaucoup de gens parlent d'hallucination. Être calibré signifie que votre confiance correspond à la fréquence à laquelle vous avez raison : quand vous dites que vous êtes sûr, vous l'êtes presque toujours.

Pourquoi deviner paie à la plupart des tests

S'abstenir, c'est dire « Je ne sais pas » au lieu de répondre. Que ce soit payant dépend du barème, la façon dont un test transforme les réponses en points. Si seules les bonnes réponses comptent, deviner ne peut qu'aider, donc quelqu'un qui répond toujours bat quelqu'un qui avoue ses doutes. Un article de 2025 de chercheurs d'OpenAI soutient que la plupart des tests utilisés pour classer les modèles d'IA notent de cette façon, si bien qu'un modèle qui devine se classe devant un modèle qui admet ne pas être sûr. La solution qu'il propose : qu'une mauvaise réponse coûte plus cher que « Je ne sais pas ».

Dans le visuel

Vous répondez à six questions ; personne ne pourrait connaître certaines réponses à partir de cette page. Vos réponses sont notées des deux façons, à côté de deux joueurs simulés. Ensuite, vous placez six tâches du quotidien sur une carte datée : en général ça va, vérifier de près, ou ne pas s'y fier.

Étape 2 sur 4 : Essayez : Répondre ou s'abstenir, puis placer les tâches

Répondre ou s'abstenir, puis placer les tâches

Répondez à six questions, voyez-les notées de deux façons, puis placez six tâches du quotidien sur une carte datée.

Mode :RéelSimuléRéel : vos scores sont calculés dans cette page à partir de vos réponses. Simulé : le café, les deux autres joueurs et la carte des tâches sont scriptés pour ce chapitre (la carte est un jugement au 2026-11-03, pas une mesure). Aucun modèle d'IA ne tourne ici.

Étape 3 sur 4 : Vérification

Vérification

Question 1 sur 3Un quiz donne 1 point pour une bonne réponse, 0 pour « Je ne sais pas » et moins 1 pour une mauvaise réponse. Vous êtes sûr de votre réponse à environ 30 %. Qu'est-ce qui rapporte le plus en moyenne ?

Ensuite : Question 2 sur 3

Question 2 sur 3Un assistant conversationnel traduit bien une longue lettre en japonais, puis se trompe sur le nombre de lettres d'un mot court. Qu'est-ce que cela montre ?
Question 3 sur 3Vous demandez à un assistant conversationnel sans recherche web si la boulangerie de votre rue est ouverte en ce moment. Il répond : « Oui, elle est ouverte jusqu'à 18 h aujourd'hui. » Que devriez-vous faire ?

Étape 4 sur 4 : Ce que vous savez faire maintenant

Ce que vous savez faire maintenant

  • Expliquer pourquoi l'IA peut bien faire une tâche difficile et échouer sur une tâche qui semble facile.
  • Dire pourquoi une réponse assurée peut quand même être fausse, et pourquoi ne noter que les bonnes réponses récompense le fait de deviner.
  • Pour une tâche du quotidien, décider si le résultat de l'IA est en général correct, demande une vérification ou ne mérite pas qu'on s'y fie.