Des exemples au lieu de consignes
L'ancienne manière d'apprendre quelque chose à un ordinateur consistait à décrire la tâche. Énoncer la règle, définir ce qui compte comme correct, appliquer. La nouvelle manière saute presque entièrement la description. On montre au système un très grand nombre d'exemples d'une chose faite, et il se construit sa propre idée de ce qu'est cette chose.
Ce basculement explique à lui seul pourquoi ces outils supportent des entrées désordonnées. Une règle doit anticiper les cas qu'elle rencontrera. Un tas d'exemples n'anticipe rien, ce qui le rend plus grossier et bien plus tolérant au désordre ordinaire de la vie réelle.
Cela signifie aussi que ce sont les exemples qui enseignent. Tout ce qui était vrai d'eux se retrouve appris, y compris ce que personne n'avait l'intention d'enseigner et que personne n'a écrit.
Ce qu'un tas d'exemples transporte en silence
Chaque collection d'exemples a été réunie d'une certaine façon, par quelqu'un, dans certaines conditions. Ces conditions laissent des empreintes. Si les exemples ont été recueillis dans une seule langue, à une seule heure de la journée, auprès de personnes déjà à l'aise avec la tâche, le système apprend cette étroitesse avec le reste.
Rien de sinistre là-dedans. C'est simplement ce qui arrive quand on assemble une description du monde à partir de ce qui était disponible. La difficulté est que l'étroitesse ne s'annonce pas, et que son premier signe est d'ordinaire un échec bizarre sur un cas qui semblait parfaitement banal à la personne qui l'a rencontré.
- La variété compte en général plus que le volume, car mille exemples presque identiques enseignent à peu près ce qu'en enseigne un seul.
- Les cas gênants portent le plus d'information, et ce sont ceux qu'on a le plus souvent écartés discrètement.
- Ce qui a été laissé de côté devient invisible ensuite, et une absence se vérifie bien plus mal qu'une erreur.
- Quelqu'un doit regarder les exemples à la main, et ce travail est lent, sans gloire et régulièrement sous-financé.
Pourquoi mieux rime souvent avec moins
L'instinct consiste à répondre à chaque faiblesse par davantage. Davantage s'organise facilement et se raconte facilement. Mieux est plus dur, car mieux suppose de regarder ce qu'il y a vraiment dans le tas et de décider ce qui manque, ce qui demande du jugement plutôt que de la capacité.
Cette tension n'est ni nouvelle ni propre à ce domaine. Quiconque a formé une personne plutôt qu'une machine sait que quelques cas bien choisis, discutés sérieusement, valent mieux qu'une armoire de documents que personne ne lit. Le principe survit au changement de sujet à peu près intact.
Je n'en ferais pas une prévision sur ce qui marchera. C'est une observation sur l'endroit où l'effort paie, et l'effort paie en général dans la pièce la moins intéressante du bâtiment.
Questions fréquentes
Que veut dire apprendre par l'exemple ?
Que l'on montre au système de nombreux cas d'une tâche accomplie au lieu de lui énoncer la règle, et qu'il se construit à partir d'eux sa propre idée de la tâche.
Pourquoi la variété l'emporterait-elle sur le volume ?
Parce que mille exemples presque identiques enseignent à peu près ce qu'en enseigne un seul. Ce sont les cas inhabituels qui portent l'information, et ce sont eux que l'on écarte le plus souvent.
Pourquoi la vérification des exemples est-elle négligée ?
Parce qu'elle est lente, manuelle et ne produit rien de spectaculaire à raconter. En ajouter davantage s'organise facilement et se décrit facilement, ce qui explique l'essentiel.