La méthode de la bibliothèque. Une meilleure IA

La scène se répète chaque semaine dans des centaines de dépêches: un rapport «impeccable», en proie à des citations, figures et références apparemment solides, circule à travers le bureau avec la bénédiction tacite d’avoir été «contrasté» par un outil d’intelligence artificielle. Il n’y a qu’un seul problème: une partie de ces sources n’existe pas, une autre dit juste le contraire de ce qui lui est attribué et le reste est tenu sur une lecture hâtive qu’aucun avocat n’accepterait d’un junior humain. Pour montrer un bouton: Le TSJ des îles Canaries a ordonné il y a quelques jours d’enquêter sur «un éventuel manque de bonne foi procédurale» d’un avocat qui a déposé un recours dans lequel il a cité la jurisprudence et les rapports officiels non actuellement générés par les outils d’intelligence artificielle.

Hana Lee Goldin, bibliothécaire de formation et informatrice sur la compétence informationnelle, dit qu’elle a reçu d’un client un rapport technique avec 47 citations scientifiques, chaque donnée associée à un article, chaque argument verni d’autorité académique. Il avoue qu’il a été impressionné… pendant exactement trois minutes.

C’est le temps qu’il a fallu pour appliquer sa méthode de vérification à trois couches et détecter le modèle typique des hallucinations de l’IA: des titres plausibles qui n’apparaissent dans aucun catalogue, des revues qui n’indexent pas les articles cités et les conclusions scientifiques investies par rapport à l’étude originale. Il n’y avait pas de « tromperie » consciente de l’auteur du rapport, mais quelque chose de plus troublant: une confiance non critique dans une machine qui écrit couramment et cite avec un ton doctoral, mais qui ne sait pas ce qu’est une responsabilité professionnelle.

De cette expérience est venu un avertissement qui est devenu viral dans l’écosystème juridique et bibliothécaire: « Utilisez l’IA pour explorer. Utilisez les bibliothèques pour vérifier. Utilisez votre cerveau pour évaluer. » C’est, en réalité, une synthèse dévastatrice de ce qui est en jeu lorsque le droit est fasciné par la luminosité de l’automatisation.

L’article de Goldin, publié dans son bulletin Card Catalog et reproduit dans LLRX sous le titre « How to Spot AI Hallucinations Like a Reference Librarian », décrit une technique de style par étapes conçue pour survivre à la marée du contenu généré par l’IA. La logique est simple, mais elle exige une discipline que le secteur juridique ne s’applique pas toujours à ses propres recherches numériques.

Tout d’abord, le contrôle d’existence: recherchez le titre exact cité, vérifiez si la revue existe, si l’auteur est répertorié dans un dépôt académique et s’il y a une trace minimalement cohérente de la publication. Selon Goldin, environ 40% des citations générées par les modèles conversationnels disparaissent dans ce premier écran, comme s’il n’avait jamais marché sur une bibliothèque.

Deuxièmement, la vérification du contenu: même lorsque la source existe, il est temps de la lire, même si elle est en diagonale intelligente, de vérifier si elle détient vraiment l’affirmation selon laquelle elle lui est attribuée ou si le modèle a «comblé les lacunes» en adaptant le contenu au récit demandé.

Troisièmement, le vérification du contexte : se demander si une étude préliminaire n’est pas élevée au dogme, ou présenter comme consensus une opinion minoritaire, ou utiliser comme preuve définitive un article qui est, en réalité, plein de prudence méthodologique.

Le cœur de la méthode n’est pas technologique, mais culturel : penser comme un bibliothécaire, pas comme un consommateur anxieux de réponses. C’est exactement le contraire de ce que le mélange entre la pression du temps, la saturation des tâches et la fascination de l’IA conduit dans trop de bureaux.

La littérature spécialisée sur les hallucinations dans le secteur juridique met en garde contre trois impacts graves : la perte de confiance du juge et de la contrepartie, l’exposition à la responsabilité disciplinaire et l’érosion de la crédibilité de l’avocat par rapport à l’opinion publique. Lorsque l’IA « l’invente » avec la même sécurité avec laquelle elle cite une phrase réelle, ce qui est en jeu, ce n’est pas la réputation de la technologie, mais celle de l’avocat qui lui a donné son jugement critique.

Il est inquiétant de constater que bien que le phénomène des hallucinations soit déjà connu, le nombre de cas détectés dans les écrits légaux ne diminue pas, mais semble augmenter. La courbe d’apprentissage a été inversée : la familiarité avec l’outil ne se traduit pas par plus de scepticisme, mais plus de confiance.

L’IA à explorer, toge pour décider

La proposition de Goldin correspond à une ligne de réflexion qui traverse déjà des forums juridiques, des rapports académiques et l’analyse d’instituts spécialisés dans le droit et la technologie : l’IA est excellente pour cartographier les discussions, suggérer des lignes de recherche et aider à poser de meilleures questions, mais elle est structurellement peu fiable en tant que «source» d’autorité juridique. En termes techniques, les modèles de langage priorisent la cohérence linguistique par rapport à la véracité factuelle; en termes professionnels, ils proposent des brouillons, pas des opinions.

C’est là que les conseils « Utilisez l’IA pour explorer. Utilisez les bibliothèques pour vérifier. Utilisez votre cerveau pour évaluer » fonctionne presque comme un code déontologique condensé pour l’ère générative. L’exploration se réfère à ce que la machine fait bien: suggérer des termes, identifier les courants doctrinaux, résumer des corps de texte étendus ou simuler des contre-arguments.

La vérification est, d’autre part, un territoire humain aidé par les institutions humaines : bases de données juridiques, répertoires officiels, bibliothèques universitaires, journaux officiels et jurisprudence accessibles à partir de sources primaires. C’est un travail silencieux et peu glamour que les bibliothécaires deviennent science et que le plaidoyer ne puisse pas se permettre d’externaliser à un algorithme probabiliste.

Et l’évaluation est la dernière frontière: celle qui sépare l’opérateur technique du professionnel ayant la responsabilité fiduciaire envers son client et envers le système de justice. Aucun modèle, aussi sophistiqué soit-il, ne peut assumer la pondération du risque, la lecture systématique d’une ordonnance ou une interprétation prudente d’une ligne de jurisprudence changeante.

Peut-être que la meilleure chose à propos des réflexions de Hana Lee Goldin n’est pas la gravité de sa méthode, mais le miroir qu’elle place devant les avocats et les bibliothécaires: alors que ces derniers sont poussés à «travailler comme des robots» en poursuivant des titres inexistants ou en esquivant les défenses en colère des utilisateurs qui ont fait plus confiance à l’écran que sur le comptoir, une partie du plaidoyer commence à se comporter juste à l’envers de ce qu’il prêche

La technologie s’accélère, oui. Mais la différence entre un avocat qui survit à la vague de l’IA et un autre qui fait face à la perte de son plus grand atout – sa réputation – dans une sanction judiciaire ne sera pas dans qui utilise plus d’outils, mais dans qui conserve la vieille habitude professionnelle de tout suspecter, surtout ce qui semble trop parfait pour être vrai.

—