Publié dans la revue Nature, cet examen scientifique dirigé par Abel Brodeur, professeur d’économie à l’Université d’Ottawa, s’inscrit dans la foulée d’un vaste projet international de sept ans évaluant la capacité des études à rester pertinentes dans le temps, surtout celles qui ne sont pas appuyées sur un indicateur scientifique reconnu. Dans le cadre de ce projet – Systematizing Confidence in Open Research and Evidence (SCORE) –, près de 4 000 articles en sciences sociales avaient été examinés et, dans la moitié des cas, les résultats n’avaient pu être reproduits.
Les travaux du professeur Brodeur offrent toutefois des résultats plus encourageants.
Des conclusions optimistes
Abel Brodeur a adopté une double stratégie. Son équipe a examiné des articles lors de séances de travail d’une journée en 2022 et en 2023. Au total, 110 articles ont été évalués. Résultat : 85 % d’entre eux étaient reproductibles sur le plan computationnel. Un taux encourageant dans un contexte marqué par une méfiance croissante du public à l’égard des conclusions scientifiques.
« Nous disposons maintenant de preuves systématiques et à grande échelle de la fiabilité de la recherche en sciences sociales, explique le professeur Brodeur, fondateur de l’Institute for Replication de l’Université d’Ottawa. Ce constat devrait favoriser l’adoption de normes de recherche plus élevées, notamment en matière de programmation, de partage des données et de transparence, afin que les erreurs puissent être détectées avant qu’elles ne se répercutent sur les politiques. Indirectement, il devrait mener à une confiance accrue en la science par l’application de principes de transparence et de pratiques d’autocorrection pour que les décisionnaires puissent s’appuyer sur des données probantes plus solides. »
Des pratiques de communication améliorées
Cette première initiative coordonnée d’envergure visant à reproduire et à répliquer systématiquement les résultats d’articles de premier plan en économie et en sciences politiques a montré que les études analysées par le professeur Brodeur respectaient de meilleures normes de communication des données et du code que celles examinées dans le cadre le projet SCORE, qui portaient sur des articles publiés entre 2009 et 2018. Selon lui, la reproduction des travaux des autrices et auteurs originaux devrait devenir une pratique courante.
« Les recherches futures devraient, de façon plus générale, viser à tirer des conclusions sur la reproductibilité et la réplicabilité en reproduisant et en répliquant les résultats d’un échantillon aléatoire d’articles provenant de revues dotées, ou non, de politiques de disponibilité des données, ajoute-t-il. Notre projet a le potentiel de faire progresser la science et d’améliorer les enjeux d’équité. La communication des données et du code, et leur réanalyse sont susceptibles de faire progresser la science non seulement par la correction d’erreurs, mais par l’apprentissage et la compréhension plus rapides de nouvelles approches. »
À l’avenir, les revues savantes reconnues devraient intégrer davantage les principes de science ouverte et la mise en commun des données, compte tenu du rôle central que joue la recherche universitaire dans l’élaboration des politiques publiques et les décisions courantes. Le professeur croit que l’examen des résultats à l’aide de logiciels libres peut également contribuer à équilibrer les règles du jeu.
« Grâce à cette approche, les équipes de recherche d’universités de moins grande importance, de pays en développement ou n’ayant pas les moyens d’acquérir des licences coûteuses pourraient bénéficier des travaux d’universitaires de renom, précise-t-il. Par son ampleur, le projet a le potentiel de transformer les normes de recherche ainsi que les pratiques des chercheuses et chercheurs. »
L’article intitulé « Reproducibility and robustness of economics and political science research » a été publié dans Nature, vol. 652. DOI : 10.1038/s41586-026-10251-x.
Demandes des médias : media@uOttawa.ca