Pragma : Analyse des politiques fondée sur les données probantes

Une synthèse des politiques qui montre son travail

La plupart des analyses de politiques proviennent d’organisations qui ont des positions. Les groupes de réflexion produisent des rapports qui concordent avec les priorités de leurs bailleurs de fonds. Les groupes de défense rassemblent des données probantes pour des conclusions auxquelles ils sont déjà arrivés. Les organismes gouvernementaux optimisent la faisabilité politique. Les données probantes sont réelles, mais elles ont été filtrées par des incitatifs institutionnels avant d’arriver jusqu’à vous.

Pragma est une méthodologie structurée de synthèse des données probantes en matière de politiques publiques. Vous lui soumettez une question de politique - « Que disent les données probantes sur les taxes carbone ? » ou « Cette juridiction devrait-elle adopter le Logement d’abord ? » - et elle vous indique ce que les données probantes établissent réellement, où les données probantes sont faibles, quels choix de valeurs sont enchâssés dans la question, et ce qui devrait être vrai pour qu’une recommandation donnée tienne.

Ce n’est pas du plaidoyer. Ce n’est pas de l’opinion. C’est un processus documenté pour traduire des données probantes vérifiées en inférence politique rigoureuse et auditable.

Comment ça fonctionne

Pragma opère à quatre niveaux de profondeur, selon la question :

• Balayage : Évaluation rapide du paysage des données probantes. Détermine si une question est empirique, fondée sur les valeurs, ou les deux. Quelques minutes, pas des heures.
• Standard : Synthèse complète des données probantes avec évaluation de la transférabilité, cartographie des compromis et contraintes de mise en œuvre. Le niveau par défaut pour la plupart des questions de politique.
• Complet : Analyse approfondie avec les 13 vérifications de contre-mesures anti-manipulation, analyse détaillée du cadre normatif et évaluation des voies de mise en œuvre.
• Forensique : Rigueur maximale. Pour les questions à enjeux élevés où les données probantes sont contestées, la pression politique est intense ou les conséquences d’une erreur sont graves.

Chaque évaluation Pragma examine les données probantes selon trois dimensions indépendantes : où elles ont été publiées (qualité de la source, 4 niveaux), quelle méthodologie a été utilisée (plan d’étude, 6 niveaux avec modificateurs de qualité) et la stabilité de la base de données probantes du domaine (fiabilité disciplinaire). La confiance ne peut dépasser le plafond imposé par la plus faible des deux premières dimensions. Dix études peu fiables ne compensent pas l’absence d’une étude rigoureuse.

Les données probantes sont ensuite filtrées à travers une évaluation de la transférabilité en 7 dimensions : les données probantes du Contexte A s’appliquent-elles réellement au Contexte B ? Une politique qui fonctionne dans un petit pays nordique à forte confiance institutionnelle ne se transpose pas automatiquement à une grande juridiction fédéralisée à faible confiance. Pragma évalue la correspondance de population, la correspondance institutionnelle, la correspondance économique, la compatibilité culturelle, l’échelle, la pertinence temporelle et la compatibilité constitutionnelle/juridique. Chacune est cotée indépendamment. Une faible transférabilité sur une dimension critique pour le mécanisme réduit la confiance, quelle que soit la solidité de l’étude sous-jacente.

Ce qui la distingue des groupes de réflexion

Méthodologie transparente. L’ensemble du processus est documenté et inspectable. Vous pouvez voir exactement comment Pragma est arrivé à ses conclusions et où les choix de valeurs sont entrés dans l’analyse.

Bandes de confiance explicites. Pragma utilise cinq niveaux de confiance (Élevée, Modérée-élevée, Modérée, Faible, Spéculative) plus trois évaluations spéciales (Contestée, Déconseillée, Non évaluable). Chacun a des exigences de données probantes définies. « Confiance modérée » a une signification précise : bonnes données probantes, transférabilité raisonnable, mécanisme plausible, certains précédents de mise en œuvre.

Contre-mesures anti-manipulation. Les données probantes en matière de politiques sont plus vulnérables à la manipulation que les affirmations factuelles. Pragma vérifie 13 vecteurs d’attaque spécifiques : juridictions sélectionnées de manière tendancieuse, blanchiment de mécanisme (traiter une corrélation comme un mécanisme causal utilisable), idéalisation de la mise en œuvre (citer les résultats d’un projet pilote comme s’ils se maintiendraient à grande échelle), blanchiment de valeurs (dissimuler des choix normatifs dans un langage empirique), théâtre de transférabilité (reconnaître les différences contextuelles puis les ignorer), et huit autres. Chacun a une procédure de détection nommée.

Les disputes de valeurs sont identifiées, pas cachées. Lorsqu’une question de politique implique un véritable désaccord sur les valeurs plutôt que sur les faits, Pragma le dit. Elle cartographie la structure des valeurs - ce que chaque camp priorise réellement - au lieu de prétendre que le désaccord est purement empirique. Une sortie Pragma qui se lit comme un conseil purement technocratique a échoué. Une sortie Pragma qui se lit comme du plaidoyer a également échoué.

Où Pragma se situe

Pragma est l’étape intermédiaire d’un pipeline à trois systèmes :

• Veridi répond à « Est-ce vrai ? » - vérification des faits avec hiérarchie des sources, contre-mesures anti-manipulation et verdicts structurés.
• Pragma répond à « Que devrait-on faire ? » - synthèse des données probantes pour les politiques avec évaluation de la transférabilité, cartographie des compromis et identification explicite des valeurs.
• Praxis répond à « Que puis-je faire ? » - planification d’actions individuelles avec correspondance de levier, évaluation des risques et garde-fous de non-nuisance.

Chaque système peut être utilisé de manière indépendante. Ensemble, ils forment un pipeline où la confiance diminue de manière transparente à chaque étape - de la certitude factuelle à l’incertitude politique jusqu’à la spéculation au niveau de l’action.

À qui ça s’adresse

Les décideurs politiques qui veulent savoir ce que les données probantes disent réellement avant de décider quoi prioriser. Les chercheurs qui veulent un cadre structuré pour traduire les résultats en synthèse pertinente aux politiques. Les journalistes couvrant les politiques publiques qui ont besoin de distinguer les affirmations fondées sur les données probantes du plaidoyer déguisé en analyse. Les militants qui veulent que leurs positions soient ancrées dans des données probantes qu’ils ont réellement examinées plutôt que des données probantes qu’ils ont sélectionnées.

État actuel

Pragma v1.1 a été validée contre 55 affirmations de test dans plusieurs domaines de politique : 53 réussites, 2 partiels, 0 échec. Les résultats partiels ont été corrigés et revalidés. La suite de tests comprenait des questions contestées, des interactions politiques multi-domaines et des affirmations adversariales conçues pour exploiter des faiblesses spécifiques.

Les tests d’intégration du pipeline ont couvert 10 scénarios de bout en bout à travers les trois systèmes (30 exécutions d’étapes), tous réussis. Les indicateurs de manipulation se sont propagés correctement entre les étapes, et la confiance a diminué de manière appropriée de la vérification des faits à l’analyse des politiques jusqu’à la planification d’actions.

La méthodologie est documentée, les résultats des tests sont disponibles, et nous accueillons avec intérêt les tentatives de la mettre en défaut.