La valeur de l’information: Présentation du nouveau travail d’IDinsight

Imaginez un décideur qui doit déterminer s’il est pertinent d’augmenter l’ampleur d’un programme. Pour prendre cette décision, il aimerait estimer l’impact de ce programme et demande à IDinsight de réaliser une évaluation. Vous pourriez penser qu’il s’agit d’une excellente nouvelle pour nous : un client nous offre la possibilité de travailler dans notre champ d’expertise, et il a déjà en tête une décision importante que nous pourrions éclairer ! C’est également une excellente nouvelle pour le monde du développement : un autre programme à grande échelle fondé sur des preuves ! Toutefois, comme les fonds consacrés à l’évaluation pourraient être affectés au programme, nous voulons être sûrs que l’étude améliorera suffisamment la décision qu’elle tente d’éclairer pour justifier son coût.

On suppose souvent que l’obtention de nouvelles informations est nécessaire parce que les coûts associés à la collecte de données sont moindres par rapport aux coûts de mise en œuvre de programmes. Il existe également des cas où nous ne sommes pas sûrs de la meilleure décision à prendre et nous savons que les études réduisent l’incertitude. Notre équipe pense qu’une confiance excessive dans ces hypothèses conduit, parfois, à un surinvestissement dans la collecte d’informations. En revanche, on renonce quelquefois à mener des études car remplir les critères méthodologiques les plus poussés peut s’avérer trop coûteux, ou parce qu’on pense que l’on sait déjà ce qui fonctionne. Dans ce cas, on risque de manquer l’occasion d’améliorer une décision qui est sensible à des changements minimes par rapport à ce qui est supposé quant à l’efficacité du programme. On continuera à commettre ces erreurs si on ne répond pas à la question suivante : dans quelle mesure l’obtention de nouvelles informations pourrait-elle améliorer l’impact social ?

À travers notre travail sur la Valeur de l’Information (VdI), nous essayons de trouver un moyen de répondre de manière structurée à cette question. Nous souhaitons aussi améliorer la façon dont les ressources limitées du secteur du développement sont allouées au processus de création d’information. Notre objectif est de faire en sorte que les acteurs du développement aient accès à plus d’études à haute valeur ajoutée, que les décideurs réorientent moins de fonds alloués à la mise en œuvre de programmes vers des études à faible valeur ajoutée, et que le design des études financées soit mieux adapté aux décisions qu’elles cherchent à éclairer.

Comment calculer la Valeur de l’Information

Nous testons toujours actuellement notre méthodologie, mais nous avons déjà en tête quelques étapes clés. Dans un premier temps, nous estimons la probabilité qu’un décideur choisisse une option incorrecte dans un monde où aucune étude n’est réalisée. Par exemple, sur la base des informations dont il dispose, il choisit d’intensifier un programme, même si en réalité (et s’il disposait de plus d’informations, il le saurait peut-être) l’impact du programme n’est pas suffisant pour le justifier. Ou encore, il choisit d’interrompre un programme même si, en réalité, il est rentable. Nous appelons cette possibilité de faire le mauvais choix le “risque décisionnel” du client. Pour quantifier le risque décisionnel, nous travaillerons avec notre client pour comprendre comment sa décision dépend de l’impact du programme, et de ses croyances vis-à-vis de cet impact tout en prenant en compte son niveau d’incertitude.

Nous serions ravis si les décideurs venaient nous voir en nous disant : “Je suis convaincu à 80 % que mon programme entraîne une amélioration des résultats comprise entre 0,2 et 0,35 écart-type. Sans autre preuve, je choisirais de l’intensifier”. Dans la réalité, peu de décideurs définissent leurs croyances de manière aussi précise. Heureusement, il existe une littérature de plus en plus conséquente sur la façon d’amener les groupes à exprimer leurs croyances de façon précise, grâce à une série de questions et d’étapes simples et intuitives pour le grand public. Ces efforts n’en sont encore qu’à leurs balbutiements, en particulier dans le secteur du développement. Nous testons donc actuellement la mesure dans laquelle les croyances ainsi suscitées se rapprochent de la “vérité” dans des contextes comme le nôtre. 

Une fois que nous avons calculé le risque décisionnel lié au fait de ne pas mettre en place une étude, nous estimons comment les nouvelles informations fournies par un certain type d’étude le réduirait. Pour ce faire, nous utilisons la magie de la simulation. Dans chacune de nos simulations, nous supposons une valeur différente pour l’impact réel du programme et simulons les informations qu’un type d’étude donné pourrait produire à ce sujet. Nous incorporons également dans nos modèles ce que le preneur de décisions est susceptible de faire sur la base de ces informations.

Nous posons ensuite les questions suivantes : L’étude simulée conduit-elle le décideur à modifier sa décision concernant la taille du programme ? Rapproche-t-elle cette décision de celle qu’il choisirait avec des informations parfaites ? Les réponses à ces questions, répétées pour des milliers de simulations, nous indiquent dans quelle mesure l’étude hypothétique réduit le risque décisionnel. Elles nous indiquent aussi le montant moyen réalloué par un décideur après qu’il ait investi dans un certain type d’étude. Ce chiffre peut ensuite être comparé au coût de sa réalisation pour aider à décider si elle vaut la peine d’être financée. Ce processus peut être répété pour différents types d’études, qui diffèrent en termes de risque décisionnel et de coût.

Pourquoi pensons-nous que ce travail a du potentiel ?

Nous pensons qu’il s’agit d’une autre façon pour IDinsight de donner la priorité à notre valeur centrale : l’impact social. Une grande partie du financement du secteur du développement est consacré à des activités qui n’atteignent pas les objectifs fixés, ou qui n’ont pas un impact suffisant, compte tenu de leur coût. Nous considérons le travail sur la Valeur de l’Information comme un moyen de faire en sorte que cela soit moins vrai dans le domaine de la collecte d’informations.

Cette approche n’est encore qu’en phase bêta, nous espérons la tester sur quelques projets et voir si/comment elle pourrait s’appliquer à d’autres. Il se peut que nous finissions par conclure que le processus décrit ci-dessus ne peut pas être mis en place pour certains des projets d’IDinsight (ou même pour tous). Mais nous pensons que le simple fait de poser la question sera utile, car : 

• Aider nos clients à exprimer ce qu’ils pensent de l’efficacité d’un programme peut révéler des situations où les décisions prises ne correspondent pas aux croyances. Dans ce cas, il serait possible d’améliorer la qualité des décisions prises, avant même de recueillir de nouvelles informations. Par exemple, des groupes de décideurs mettent parfois en œuvre un programme en partant du principe qu’ils sont tous d’accord pour dire que c’est l’option la plus efficace. Cependant, lorsqu’on leur demande d’estimer le rapport qualité-prix, il se peut qu’ils se rendent compte que la plupart d’entre eux pensent qu’il existe une meilleure solution.
• Le fait de devoir clarifier la manière dont ils comptent prendre leurs décisions, et à partir de quelles preuves, peut aider nos clients à éviter de payer pour un travail intéressant mais potentiellement inutile à la prise de décision. Par exemple, si des contraintes politiques ou administratives signifient qu’un décideur n’a qu’un seul choix, il n’est peut-être pas très utile de mesurer précisément son impact.
• Le travail que nous faisons pour développer une méthodologie autour de la Valeur de l’Information peut être utile. Prenez notre travail d’évaluation de l’exactitude des croyances préalables des décideurs. Si nous pouvions identifier les conditions sous lesquelles les croyances obtenues prédisent correctement l’impact réel d’un programme, nous pourrions identifier des situations où les décideurs n’ont pas besoin d’une évaluation – du moins pas tout de suite. 

Prochaines étapes

Nous n’en sommes qu’au début de notre travail. Nous allons continuer à tester et à affiner notre méthodologie. En attendant, nous serions ravis d’entrer en contact avec des personnes ayant des idées. Si nous avons suscité votre intérêt, si vous souhaitez en savoir plus, ou si vous voulez nous faire part de vos réactions, laissez-nous un commentaire et/ou contactez zack.devlinfoltz@idinsight.org, mallika.sobti@idinsight.org, claire.ricard@idinsight.org ou eloisa.avila@idinsight.org.

Les concepts et techniques que nous proposons d’utiliser ne sont pas nouveaux. Beaucoup sont courants dans d’autres domaines. L’équipe VdI a, entre autre, tiré son inspiration des sources suivantes :

• Introduction to Meta-Analysis
• How to Measure Anything
• The Social Science Prediction Platform and its staff
• Good Judgment Open
• Assorted value of information literature: Macauley and Laxminarayan (2010), Fenwick et al. (2020), Carlson et al. (2013), Myers et al. (2012), and Claxton and Sculpher (2012)

Et beaucoup d’autres sources issues de l’économie, de la théorie de la décision, du commerce, de la psychologie, etc.