Lorsqu’on veut produire quelque chose, que ça soit une ressource, un objet ou un service, il faut dépenser de l’énergie pour y arriver. Une partie pour lutter contre l’entropie, une autre pour transformer les composants, une autre pour les déplacements et ainsi de suite et le total peut parfois être conséquent.

Et tout comme le travail d’une force peut dépendre du trajet, l’énergie nécessaire pour produire quelque chose dépend de la manière dont on s’y prend. Fainéantise oblige, on aime bien que ce trajet minimise la dépense.

Alors, avant de commencer, on peut se demander combien ça va coûter et envisager plusieurs options. Ou plusieurs prestataires et comparer leurs prix pour, souvent, aller au moins disant. Et ça n’est pas toujours une bonne idée…

Produire du vrai

En tant qu’experts judiciaires, les juges nous demandent un éclairage sur des questions informatiques des litiges et enquêtes qui leur sont confiées. Notre travail servira de base pour la suite et ils ont besoin de fondations solides pour bâtir leurs décisions judiciaires et administratives. Bien évidement, ils s’attendent donc à un travail de qualité, ou comme on dit dans le jargon permettant la manifestation de la vérité. Un travail sans erreurs.

Pour arriver à ce résultat nous devons y consacrer beaucoup d’énergie dans plusieurs tâches essentielles dont voici des exemples :

• Entendre les parties, que ce soit lors des réunions sur place, en visio ou par courriers (i.e. les dires et observations),
• Lire, analyser et synthétiser les pièces, parfois nombreuses, verbeuse et très techniques,
• Faire une bibliographie sur des sujets très spécifiques pour mieux comprendre la nature, les causes et les conséquences d’un point du litige,
• Faire des hypothèses et concevoir les expériences scientifiques pour les valider, mener ces expériences et interpréter les résultats obtenus,
• Contrôler en permanence la validité de l’ensemble, sur les plans logique, juridique et scientifique,
• Rédiger un rapport qui doit être pédagogique et interdire toute mésinterprétation des conclusions.

Prenons l’exemple d’entendre une partie. Il y a ce que nous entendons ou lisons puis ce que nous comprenons. Il y a ce qui a été dit et écrit et ce qui voulait être exprimé. Il faut donc prendre du temps en reformulation et autres allers et retours pour s’assurer que ce que la partie voulait communiquer a été pris en compte dans notre réflexion et notre rapport. Il y a ensuite ce que l’autre partie y objecte (et ce qu’elle dit, ce qu’on entend et ce qu’on comprend). Et il y a tous les non-dits qui hurlent en silence et qu’on peut entendre si on prend le temps d’écouter. Et ce n’est qu’entendre les parties, il faudra ensuite contrôler tout ça avec les pièces du dossier complétées de validations techniques dans le monde réel.

Mais ce n’est pas exclusif aux expertises judiciaires…

Lorsqu’une entreprise me demande de venir configurer son réseau informatique, elle s’attend à ce que le résultat soit correct. Il faut que le réseau fonctionne, qu’il n’impacte pas négativement le reste de l’infrastructure, qu’il n’y ait pas de trou de sécurité, qu’il soit maintenable par les équipes sur place. Comme pour de bonnes expertises, il faut plusieurs jours pour bien configurer un réseau.

Lorsque des journalistes nous demandent notre avis sur un fait d’actualité (je ne parle pas d’éditorialistes ou de polémistes mais de journalistes), il faut reprendre le contexte, les enjeux, prendre du recul sur l’événements et ses acteurs, expliquer certains concepts informatiques (en faisant preuve de pédagogie en s’adaptant à leur niveau de compréhension). Pour quelques minutes d’antenne ou quelques phrases citées, il faut compter une à trois heures d’entretiens de notre côté. Pour les journalistes, il faut multiplier ces entretiens et ajouter le temps de synthèse et de rédaction.

Lorsque nous avons écrit notre livre sur les shellcodes, il y a d’abord les années d’apprentissage et d’expérience avant même que le projet de livre ne démarre. Puis il faut énumérer les idées qu’on veut y mettre, les trier, les organiser, écrire les cas d’écoles, les shellcodes, réécrire pour être pédagogique (plusieurs fois), et en parallèle, tester et valider l’ensemble (l’informatique, les explications, l’orthographe, la typographie, …). Un an de délais et 0.5 ETP.

Le problème dans ces situations, c’est quand on ne voit que le résultat final et qu’on ignore tous les efforts pour y parvenir. En oubliant toute cette préparation, on peut alors penser que c’était facile, que ça n’a pas coûté grand chose (et que le prix est donc trop élevé).

Pour montrer aux enfants tout le travail nécessaire derrière les contenus vrais qu’ils peuvent rencontrer, nous leur montrons une vidéo de Jonny Giger, un pro du skate qui relate ses tentatives pour reproduire un trick de skateboard de trois secondes… Divulgâchage : sans compter les années d’entraînement avant de tenter le trick… 5 jours, 1502 essais.

Pour les enseignants qui nous lisent. La séquence commence par montrer le trick final et à demander aux enfants « Combien d’essais Jonny a-t-il fait avant d’y arriver ? Inscrivez votre réponse sur votre ardoise. Par exemple, si vous pensez qu’il a fallu 25 essais, écrivez 25 ».

On montre ensuite les essais du premier jour et on s’arrête avant de commencer le deuxième car les enfants se sont rendus compte qu’ils avaient largement sous-estimé le nombre. On leur propose alors de changer leur réponse et, pour ceux qui veulent, de deviner le nombre de jours. On regarde ensuite la suite (en avançant régulièrement) jusqu’à la fin et ils peuvent voir la réponse. Certains tombent proche, d’autres moins.

On amorce alors une petite phase d’échange en leur demandant leurs avis et en posant quelques questions du style : Est-ce que ça a pris beaucoup de temps ? Il peut montrer combien de vidéos comme ça chaque semaines ? (une), donc par mois (autour de 4) et par an (52 semaines dans l’année, 36 semaines d’école en primaire). Si ça s’y prête, on peut aborder le financement ; puisque ces vidéos prennent tout son temps, comment il travaille ? (c’est son travail, il est sponsorisé).

Produire du faux

À contrario, si on se fout que des erreurs soient présentes, on peut prendre plein de raccourcis qui réduisent les coûts.

Par exemple, les éditorialistes, polémistes, politiciens, publicitaires, et autres influenceurs ne cherchent qu’à produire des mythes. Des rêves partagés par une partie de la population qui, ayant atteint une taille critique, suffit à les faire vivre (les mythes et leurs clergés). Et pour ça, il suffit d’énoncer le message et le diffuser.

Le phishing, les scams, le spam et autres arnaques fonctionnent exactement sur le même mode. Produire un mythe pour ensuite exploiter ses adhérents (la différence étant que les fraudeurs ont l’honnêteté de ne pas prétendre le faire pour notre bien).

Alors bien sûr, pour qu’un mythe vive, il faut que ses messages soit un minimum travaillé pour obtenir de l’engagement du public. Mais ensuite, le but n’est que d’occuper la scène ou éviter que des détracteurs n’aient la parole, il suffit alors de faire plus de bruit. Et produire du bruit, ça ne coûte que la diffusion.

Pour montrer cette asymétrie de situation aux enfants, nous leur montrons deux vidéos de Elouen Rolland où il montre rapidement comment il a utilisé des effets spéciaux pour simuler un trick de skateboard.

Pour les enseignants qui nous lisent. La séquence suit la précédente. Lorsque les questions des élèves ont été traitées, nous leur proposons de jouer une deuxième partie. Nous leur montrons le résultat final de trois secondes. Nous leur demandons alors s’ils trouvent que c’est plus ou moins impressionnant puis leur demandons d’inscrire le nombre d’essais et de jours sur leur ardoise.

Nous leur montrons alors la vidéo explicative. Souvent deux fois car elle est très courte et certains enfants n’ont pas eu le temps de se rendre compte. Nous leur demandons alors combien d’essais. Certains disent un seul, d’autres trois, d’autres aucun. Tous ont raison à leur manière. Pour le nombre de jour, Elouen ne le dit pas mais nous l’estimons à une demi journée s’il bosse vite et une journée sinon.

On amorce alors une phase d’échange sur leurs avis. Beaucoup nous disent qu’on a triché, que c’était pas juste (et ils ont raison). Nous leur demandons combien de vidéos Elouen peut faire en une semaine ? (5, 10, 7, 14 suivant comment on voit la chose et tous ont raison à leur manière), si les deux vidéastes produisent des vidéos pendant une semaine, sur lequel j’ai le plus de chance de tomber si je tire au hasard (celles d’Elouan, il en produit 5 à 10 fois plus), laquelle aura le plus de like (celle d’Elouan car elle est plus impressionnante) et ils concluent généralement spontanément que ça amplifie le phénomène (on en voit plus + on en like plus = on en voit encore plus). On peut alors leur demander si les vidéos impressionnantes qu’ils voient on plus de chance d’être vraies ou fausses (fausses).

La conséquence est que si le faux est produit 10 fois plus souvent, 10% des contenus que je consulte au hasard sont authentiques. Si je lis 5 articles par jour, je trouve quelque chose d’intéressant en moyenne un jour sur deux. C’est à peu près la fréquence que j’ai ressenti il y a quelques décennies.

L’arrivée des LLM a fait exploser le déséquilibre. Il me faut en moyenne deux jours pour écrire un article pour les arsouyes. Mettons qu’un influenceur prenne 1/4 d’heure avec un LLM (on considère que l’utilisateur respecte les bonnes pratiques et pris le temps de relire et corriger deux trois bricoles avant de publier), il peut produire 56 articles pendant que j’en rédige un seul. L’authentique tombe à 2% du total et il me faudra une à deux semaines pour lire un truc authentique.

Pire, les bloggeurs authentiques n’ont pas tant de choses à dire que ça et ne passent pas leur temps à écrire des articles (ils ont une vie, un job et une famille AFK). On oscille alors autour d’un article publié par mois suivant les auteurs. Mais les influenceurs sont payés pour publier, tous les jours du mois. Ils peuvent alors monter à 560 articles… l’authentique se compte alors en pour mille (et je pourrai être content si je trouve un ou deux articles authentiques par an).

Et ces chiffres, c’est en tirant les articles au hasard. Les diverses plateformes qui se chargent du filtrage pour vous à base de likes et autres algorithmes (y compris une curation par des humains) vont empirer la situation car les influenceurs (et leurs LLMs) sont plus performants en viralité que les simples mortels que nous sommes. Corolaire, plus on voit un influenceur, plus on doit interroger son authenticité.

Infirmer le faux

Face à un produit, on doit alors se demander s’il est vrai. C’est le cas en expertises judiciaires face à une observation d’une partie (tous ne sont pas honnêtes). C’est le cas en génie logiciel lorsqu’on vérifie le fonctionnement d’un programme (ils peut rester des bogues).

Parfois la supercherie saute aux yeux. Même en expertise… La capture d’écran de l’application web montre l’adresse et les données d’un autre client. Les factures pour chiffrer le préjudice du à l’absence de wifi ne listent que du chlore pour la piscine.

Mais la plupart du temps, il faut chercher. Comparer le contenu du CD-ROM reçu par le client et sa copie chez le fournisseur pour déterminer que, si, les fichiers ont en fait bien été envoyés et reçus. Insister (plusieurs fois et finir par menacer de saisir le juge) pour recevoir enfin la tablette et constater après une recette complète que, si, l’application a bien été livrée au client (et elle fonctionne).

Et ça, ce sont les cas faciles. Il faut parfois reconstruire l’infrastructure qui a été démontée. Gérer les problèmes de compatibilité avec des matériels anciens ou mal entretenus, ou carrément manquant (il se passe plein de choses en 6 ans). Sans compter la résistance des parties, par maladresse, incompétence ou malhonnèteté.

Quand la théorie n’est pas tout bonnement infalsifiable. Parfois, il est tout simplement impossible de prouver qu’un produit est vrai ou faux. Sans enregistrement, impossible de trancher sur la teneur d’une conversation téléphonique. Qu’importe les moyens consacrés, on n’aura jamais la réponse et mis à part si on fait des découvertes intéressantes fortuites en chemin, on aura perdu des ressources pour rien.

Mais c’est la même chose en V&V (Vérification et Validation) des programmes. Le but d’une recette est de déterminer si le produit peut être mis en production. La preuve de fonctionnement est très laborieuse (quand elle n’est pas indécidable) et la détection des bogues est aléatoire. Certains sautes aux yeux, d’autres nécessitent des infrastructures dédiées (tests en charge), des cas spécifiques (interaction avec l’environnement, dont le calendrier) voir de la chance (situations de compétition).

Pour les enseignants qui nous lisent : Après les deux séquences précédentes, lors de la discussions, nous demandons aux enfants quelle vidéo est la plus longue entre le trick et son making of ? (le making of, l’explication est toujours plus longue que l’événement). Puis nous leur faisons remarquer que c’est parce que Elouen a montré son trucage qu’on sait que sa vidéo est fausse et leur demander s’ils auraient facilement pu le détecter eux-même.

Beaucoup admettent que non et il y a toujours un petit malin pour dire « moi je le savais ! ». Pas la peine de lui faire remarquer qu’il ne l’avait pas dit ou qu’il avait pourtant mis un grand nombre sur son ardoise car on peut alors lui demander comment il pourrait prouver au monde entier que la vidéo est fausse. « facile, il suffit de… ». On peut rappeler que prouver ça veut dire qu’il faut que tout le monde en soit sûr à 100%, donc il faudra regarder chaque image une par une pour détecter un effet visuel (mais que c’est pas garanti), qu’on pourrait demander l’avis de skateurs professionnels, et peut être qu’ils reproduisent le trick (il faudra peut être les payer pour ça) et leur demander si ça va être facile et long ? Ils sont alors tous d’accord que ça prend beaucoup plus de temps que pour faire la vidéo.

On peut reprendre alors le même questionnement qu’à la fin de la deuxième séquence et conclure qu’on voit plus facilement des vidéos fausses que des preuves qu’elles sont fausses.

D’où la stratégie d’argumentation qui consiste à énoncer de gros mensonges et laisser les adversaires se fatiguer à prouver qu’ils sont faut. Saturez l’espace de ces mensonges à bas coût et vos adversaires n’ont plus assez de temps et de ressources pour tous les traiter. Et qu’importe qu’ils en réfutent quelques uns. Le public, saturé lui aussi, n’aura plus assez d’énergie pour un raisonnement analytique et passera au raisonnement intuitif, bourré de biais cognitif qui ont été répertoriés, analysés et que ces fraudeurs ont appris à exploiter.

Prendre le pouvoir ne nécessite pas de prouver à tout le monde qu’on a raison mais de convaincre une portions suffisante que a) vous êtes la bonne personne ou b) il est inutile d’intervenir. Il suffit de rendre les alternatives inaudibles.

Confirmer le vrai

Comment s’en sortir ? Si vérifier est trop coûteux, que la production de faux est telle qu’on ne peut pas suivre la cadence mais qu’abandonner nous mène à la manipulation, difficile de voir une issue… Elle est pourtant là mais nécessite une coopération avec le producteur.

Lorsqu’on produit quelque chose de vrai, c’est rarement pas hasard. On a suivi un cheminement, jalonné d’étapes que nous avons validées individuellement et qui s’enchaînent de manière logique. On sait que ce qu’on a produit est vrai parce qu’on l’a construit comme tel en le vérifiant pas à pas. Dans ce processus, en plus du produit fini, on a aussi construit une sorte de preuve.

Ce qui coûte lorsqu’on vérifie quelque chose, c’est la recherche de cette preuve. Mais puisqu’elle existe, pourquoi ne pas la fournir avec le produit ? Vérifier le produit consistera à rejouer la preuve, ce qui est largement moins coûteux.

Par exemple, face à un alpiniste qui prétend qu’un sommet est atteignable. On pourrait tenter de le gravir pour confirmer ses dires (mais ça ne prouvera pas qu’il l’avait gravit avant nous), ça peut prendre un temps fou, nécessiter de gros efforts, voir être finalement impossible. Mais si cet alpiniste balise une piste derrière son passage, nous pouvons l’emprunter et une fois au sommet, valider que l’ascension est possible ce qui est bien moins coûteux.

On retrouve cette idée en informatique théorique avec les problèmes NP-complets et les codes porteurs de preuve. Dans les deux cas il est facile de vérifier la solution mais difficile de la trouver. L’ordinateur Quantique (et certains usages de LLM¹) entrent dans cette idée d’un oracle qui produit une solution mais, détail très important, le résultat doit être facile à vérifier. Dans ce cas, si la solution n’était pas la bonne, on n’a pas perdu beaucoup de temps.

On la retrouve aussi dans le génie logiciel via le développement dirigé par les tests (TDD). Une fonctionnalité est exprimée par des tests (automatiques si possible) que le programme doit respecter. Vérifier le programme consiste alors à lancer les tests qui l’accompagnent. C’est bien plus rapide que de lancer une recette à l’improviste et laisser les utilisateurs jouer avec le programme en espérant qu’il ne trouvent rien.

Et finalement en droit où la charge de la preuve est à celui qui prétend. Le juge n’a pas à perdre son temps à chercher à infirmer des mensonges. En cas de doutes sur des points techniques, il ordonne alors une expertise et notre rapport lui apportera notre conclusion (le corps du rapport est la « preuve » compréhensible qui nous a menés à ces conclusions). De même en science, un article qui ne comprend pas une preuve rejouable de ses conclusions n’est pas valable.

Et après ?

Déterminer la validité de quelque chose nécessite des ressources et des compétences particulières. On peut parfois le faire soi-même et, sinon, demander l’avis à des professionnelles ; des journaliste ou des experts. Mais puisqu’on délègue, on revient à la case départ : comment savoir si la vérification est valide ? En leur appliquant les deux filtres suivants :

1. Si aucune preuve n’est fournie, le produit est faux et l’auteur n’est pas professionnel,
2. Si la vérification échoue, le produit est faux et l’auteur est incompétent².

Le premier filtre va drastiquement réduire la cacophonie ressentie dans le cyberespace. Publicités, influenceurs, arnaques, buzz, pseudo-actualités, fake news, … D’un coup, la quasi totalité des contenus polluants (et leurs auteurs) sont éliminés. Et si l’information était vraie ? Rassurez-vous, si c’était le cas, une autre source (fiable cette fois) vous en parlera bientôt.

Le deuxième filtre est plus subtil. On n’a pas forcément le temps de vérifier tout ce qui reste alors on va échantillonner sur ce qui nous importe ; par exemple les informations à enjeux ou les nouvelles sources. Petit à petit, comme en inférence bayesienne, on construit un score de confiance des sources qui répond à la question « à quelle point est-ce fiable ? ».