Pour les organisations et les bailleurs de fonds
Le problème
La désinformation opère à une échelle et avec un degré de sophistication que les vérificateurs des faits individuels ne peuvent égaler. Les affirmations sont conçues pour exploiter des faiblesses précises de l’évaluation humaine : utiliser des faits véridiques pour créer de fausses impressions, blanchir des sources peu fiables par l’entremise de médias crédibles et instrumentaliser la dégradation d’institutions que les gens ont appris à considérer comme dignes de confiance.
Les organismes de vérification des faits existants accomplissent un travail essentiel, mais ils font face à des défis structurels : des processus éditoriaux difficiles à mettre à l’échelle, une prise de décision implicite difficile à auditer et des défenses systématiques limitées contre les techniques adversariales de désinformation.
L’approche
Veridi est une méthodologie structurée de vérification des faits — un processus explicite, étape par étape, pour évaluer les affirmations qui répond directement à ces défis :
Évolutive. La méthodologie est mise en oeuvre sous forme de système de consignes pour l’intelligence artificielle, ce qui lui permet de traiter des affirmations à la vitesse d’une machine tout en suivant des procédures documentées. Une seule évaluation prend quelques minutes, et non des heures.
Auditable. Chaque étape est documentée. Classification des sources, vérification des contre-mesures anti-manipulation, cheminements dans les arbres de décision, raisonnement sur la confiance — tout est visible dans les résultats. Lorsque le système commet une erreur, le processus montre où et pourquoi.
Consciente de l’adversaire. La méthodologie comprend des contre-mesures explicites pour onze techniques de désinformation documentées. C’est sa caractéristique la plus distinctive : traiter la vérification des faits comme un problème adversarial où des acteurs malveillants tentent activement de contourner le processus.
Adaptative face aux changements institutionnels. Un Indice de fiabilité institutionnelle suit l’évolution des sources autrefois faisant autorité lorsqu’elles ont été compromises par l’ingérence politique ou les coupes budgétaires, et propose des sources de remplacement à consulter. Cela importe dans une ère où certaines des formes les plus efficaces de désinformation attribuent correctement de fausses affirmations à des institutions autrefois dignes de confiance.
Les preuves
La méthodologie a été validée contre 97 affirmations :
- 96 réussies, 1 partielle, 0 échouée. La partielle était un verdict correct avec une confiance légèrement basse en raison de l’indisponibilité d’une source.
- 24 scénarios adversariaux ont été spécifiquement conçus pour produire des réponses erronées en exploitant des techniques de désinformation. Tous ont été traités correctement.
- 4 affirmations étaient fondées sur des schémas documentés de désinformation recueillis en conditions réelles (utilisation abusive du VAERS, narratif « mort subitement », statistiques immigration-criminalité, détournement de la FEMA lors d’ouragans).
- 6 affirmations portaient sur des sujets véritablement contestés où les experts sont en désaccord. La méthodologie a produit des verdicts appropriés avec une incertitude clairement signalée.
- 4 langues ont été testées pour l’évaluation de sources non anglophones (japonais, turc, chinois, hindi).
Le rapport de validation complet documente la méthodologie de test, les résultats par affirmation et les limites.
L’organisation
Veridi est développé par une petite organisation canadienne qui a l’intention de devenir un organisme à but non lucratif doté d’un budget de fonctionnement modeste. L’organisation :
- N’a pas de capital de risque, de modèle publicitaire ni de pression à la croissance à tout prix
- Publie l’intégralité de sa méthodologie aux fins d’examen externe
- Documente ses limites aux côtés de ses réussites
- Se positionne comme complémentaire aux organismes de vérification des faits existants, et non en concurrence avec eux
La suite
La méthodologie est validée et prête pour un déploiement contrôlé : une utilisation en conditions réelles par des bénévoles formés avec un suivi continu de la qualité. Les prochaines étapes comprennent :
- Tests d’utilisabilité avec des bénévoles humains pour vérifier que la méthodologie peut être suivie correctement par des non-experts
- Calibrage du score de Brier pour mesurer si les indices de confiance correspondent aux résultats réels au fil du temps
- Tests à grande échelle en production continue
- Mise à l’épreuve adversariale par des parties externes tentant de trouver des affirmations que la méthodologie traite incorrectement
Contact
veridi [at] nettercap.net
Pour les questions techniques sur la méthodologie, consultez la documentation pour les chercheurs. Pour les fichiers complets de la méthodologie, consultez la méthodologie ouverte.