Comment fonctionnent les méthodologies
Discipline partagée à travers la suite
Veridi, Pragma et Praxis abordent chacun une question distincte, mais ils partagent une discipline commune :
- Procédures explicites. Aucune dépendance à l’instinct ou à la reconnaissance de patrons ; chaque étape est documentée.
- Preuves classées, pas aveuglément acceptées. Une hiérarchie de sources à quatre niveaux et un Indice de fiabilité institutionnelle s’appliquent aux trois produits.
- Détection de manipulation. 14 vecteurs Pragma (compte canonique après l’audit v1.2), 6 vecteurs natifs Praxis et 8 hérités. Veridi partage la surface d’évaluation des sources.
- Confiance calibrée. Chaque produit produit des bandes verbales et des plages numériques correspondant à une force de preuve documentée, et non à un sentiment subjectif de certitude.
- Suivi des résultats. La boucle de rétroaction de calibration v1.3 ferme l’écart entre la recommandation et le résultat réalisé.
Le processus Veridi détaillé est décrit ci-dessous. Le processus Pragma est sur les pages for-policymakers ; le processus Praxis est sur les pages for-advocates.
Comment fonctionne Veridi
La version courte
Une affirmation est soumise. Veridi la classe par domaine et complexité. Il recueille des preuves par des recherches structurées. Il évalue chaque source et lui attribue un niveau de qualité. Il vérifie la présence de techniques de désinformation. Il applique des arbres de décision pour déterminer un verdict. Il calibre la confiance en fonction de la force des preuves. Il exécute une liste de contrôle d’assurance qualité. Il produit une évaluation qui présente son raisonnement à chaque étape.
Le processus en détail
1. Classification de l’affirmation
Chaque affirmation est catégorisée par domaine — scientifique, juridique, médical, financier, électoral, historique, technologique ou propagande — et par complexité :
- Simple : Fait unique et vérifiable, sources claires disponibles. Résolu directement.
- Modéré : Sous-affirmations multiples ou contexte nécessaire. Résolu par recherche, avec signalement de l’incertitude.
- Complexe : Expertise spécialisée requise, déconstruction de propagande nécessaire ou enjeux élevés. Acheminé vers un cadre spécialisé.
2. Hiérarchie des sources
Les preuves sont classées selon un système à quatre niveaux :
| Niveau | Sources | Plafond de confiance |
|---|---|---|
| Niveau 1 | Bases de données gouvernementales, recherche évaluée par les pairs, dossiers judiciaires, données brutes faisant autorité | 95 % (avec sources multiples) |
| Niveau 2 | Agences de presse, vérificateurs des faits établis, experts accrédités | 80 % |
| Niveau 3 | Médias d’information généraux | 65 % |
| Niveau 4 | Médias sociaux, sources anonymes, médias partisans | 50 % |
Le plafond de confiance est structurel : une affirmation appuyée uniquement par des sources de Niveau 3 ne peut pas obtenir un indice de confiance supérieur à 65 %, peu importe le nombre de ces sources qui concordent. Plusieurs sources de faible qualité ne se substituent pas à une source de haute qualité.
3. Balayage des contre-mesures anti-manipulation
Avant tout verdict, la méthodologie vérifie la présence de douze schémas documentés d’attaque par la désinformation. Ceux-ci vont du blanchiment de confiance (plusieurs médias remontant à une seule source peu fiable) à la self-référence du substrat (le modèle évaluateur évaluant une affirmation à son sujet, au sujet de son développeur, ou au sujet du système même de l’opérateur). Chaque schéma dispose de procédures de détection définies et de conséquences précises pour l’évaluation.
Au niveau Standard et supérieur, l’évaluation présente les trois principaux vecteurs pertinents pour l’affirmation avec une évaluation explicite de chacun, plutôt qu’un simple indicateur détecté/non détecté. Les niveaux Complet et Forensique affichent les douze vecteurs avec des évaluations individuelles.
Contre-mesures anti-manipulation détaillées
4. Détermination du verdict
Veridi utilise neuf catégories de verdicts :
| Verdict | Signification |
|---|---|
| Vrai (TRUE) | L’affirmation est exacte |
| Majoritairement vrai (MOSTLY TRUE) | Exacte avec une imprécision mineure qui ne change pas la conclusion |
| Mixte (MIXED) | Contient des sous-affirmations vraies et fausses vérifiables indépendamment |
| Majoritairement faux (MOSTLY FALSE) | Contient un élément vrai, mais l’assertion principale est fausse |
| Faux (FALSE) | L’affirmation est inexacte |
| Trompeur (MISLEADING) | Les faits individuels peuvent être vrais, mais sont assemblés pour créer une fausse impression, et cette fausse impression semble être le but recherché |
| Manque de contexte (LACKS CONTEXT) | Des informations importantes sont absentes qui changeraient l’interprétation raisonnable, mais l’omission semble accidentelle, non délibérée |
| Dépassé (OUTDATED) | Était exact au moment de la publication originale, mais ne l’est plus |
| Invérifiable (UNVERIFIABLE) | Ne peut être confirmé ni infirmé avec les preuves disponibles |
Les verdicts sont déterminés à l’aide d’arbres de décision conçus pour traiter les distinctions les plus susceptibles de prêter à confusion — en particulier Trompeur c. Manque de contexte, et Mixte c. Majoritairement faux.
5. Calibrage de la confiance
La confiance est présentée sous forme de bande verbale — Quasi certaine, Élevée, Modérée, Faible ou Spéculative — plutôt que sous forme de pourcentage entier brut. Chaque bande correspond à une plage, et le plafond structurel imposé par le niveau de source est affiché à côté à titre contextuel (p. ex., « Confiance élevée · plafond : sources de Niveau 2 uniquement »). Cela permet de voir à la fois la solidité des preuves et le facteur structurel qui limite l’évaluation.
Les indices de confiance reflètent la force des preuves, et non la certitude quant au verdict. Une affirmation peut recevoir un verdict clair (FAUX) avec une confiance modérée si les preuves sont solides, mais proviennent uniquement de sources de Niveau 2.
La méthodologie applique également des coefficients de fiabilité disciplinaire — des annotations divulguées fondées sur les taux de réplication publiés — afin de contextualiser les affirmations dans des domaines présentant des défis connus en matière de reproductibilité. Une affirmation en psychologie et une affirmation en physique appuyées par des preuves similaires recevront le même indice de confiance, mais l’évaluation en psychologie notera le taux de réplication plus faible du domaine.
6. Assurance qualité
Avant la publication d’une évaluation, une liste de contrôle est complétée couvrant l’exhaustivité des preuves, l’indépendance des sources, l’application des contre-mesures anti-manipulation, le calibrage de la confiance et la conformité du format de sortie.
La précision de la confiance est suivie dans le temps à l’aide d’un cadre de score de Brier. Les résultats sont définis comme la correspondance avec la vérité factuelle externe — résultats électoraux, décisions judiciaires, réplications scientifiques et événements similaires vérifiables de manière indépendante — plutôt que la persistance du verdict (le fait que le système produirait la même réponse à nouveau).
7. Validation post-génération
Après la rédaction de l’évaluation mais avant sa présentation, une passe de validation obligatoire vérifie mécaniquement la sortie : la confiance ne dépasse pas le plafond autorisé par le niveau de source, tous les champs requis sont présents pour le niveau de vérification, les sources gouvernementales et institutionnelles ont été vérifiées par rapport à l’Indice de fiabilité institutionnelle, et le verdict est cohérent avec la logique de l’arbre de décision. Si le validateur détecte une violation, il corrige l’évaluation en place et ajoute une note transparente expliquant ce qui a été modifié et pourquoi.
Profondeur de vérification
Quatre niveaux de vérification sont disponibles :
- Rapide : Affirmations simples avec réponses claires. Une seule source faisant autorité suffit.
- Standard : La plupart des affirmations. Sources multiples, recherche structurée, balayage anti-manipulation.
- Complet : Affirmations complexes ou à enjeux élevés. Cadres spécialisés, recherche de sources exhaustive, analyse complète des contre-mesures anti-manipulation.
- Forensique : Rigueur maximale. Réservé aux affirmations ayant un impact public significatif ou des implications juridiques. (Ce terme ne vise pas à suggérer une accréditation ou un permis d’exercice, dont le système ne dispose dans aucune juridiction.)
La méthodologie peut procéder à une escalade automatique : une affirmation soumise au niveau Standard sera rehaussée au niveau Complet si des indicateurs de manipulation sont détectés lors du balayage initial.