Connaissez vous le Repligate ?

Paris, le samedi 12 octobre 2019 – Coup de tonnerre et confirmation de ce que beaucoup affirmaient tout bas. En 2015, 270 chercheurs réunis au sein d’un collectif baptisé Open Science Collaboration publient dans la revue Science les résultats de la tentative de reproduction de 100 expériences de psychologie. Les conclusions sont particulièrement décevantes : dans 64 % des cas, il n’a pas été possible de retrouver les données initialement publiées. Faute de reproductibilité, des pans entiers du savoir constitué en psychologie menaçaient de s’effondrer.

Nazis voleurs d’idées

Ce que les anglosaxons ont nommé le Repligate, qui a concerné toutes les disciplines scientifiques, mais plus particulièrement la psychologie, a été une déflagration qui a entraîné des réactions épidermiques. Ainsi, bien que s’appuyant le plus souvent sur une puissance statistique bien plus importante que les protocoles initiaux, les expériences de réplication qui ont commencé à se multiplier ont été sévèrement attaquées. Les « accusations ont été violentes : des chercheurs se sont opposés à l’idée de reproduction des résultats publiés allant jusqu’à qualifier de "nazis", de "fascistes" ou de "mafiosi" ceux qui remettaient ainsi en question les recherches de "collègues". Des chercheurs séniors se sont opposés à ceux qualifiés de "Replicators" avec des arguments peu convaincants, du type : ceux qui répliquent des recherches sont des incompétents qui n’ont pas d’idées, leur objectif est de montrer que les autres recherches ne marchent pas. Il aura fallu beaucoup de temps avant de sortir de cette mentalité qui consistait à penser que ce travail était inutile. La demande de transparence et d’ouverture des données a largement contribué à ce changement », rappelait dans un article publié il y a quelques mois sur le site de l’Association française d’information scientifique (AFIS), le médecin et blogueur Hervé Maisonneuve.

Réplication : un champ de recherche à part entière

Plus de dix ans après la publication de l’Open Science Collaboration, cependant, les conséquences du Repligate pourraient être jugées positivement. D’abord, témoignant d’une volonté de ne plus considérer la psychologie comme une discipline pouvant s’émanciper des règles fondamentales de l’expérimentation scientifique, de nombreuses équipes se sont engagées dans des travaux de réplication.
Dans un article publié ce mois-ci dans la revue Pour la Science, François Maquestiaux, professeur de psychologie cognitive à l’université de Franche-Comté note ainsi comment « des revues de premier plan comme Psychological Science ont créé des rubriques spéciales qui leur sont destinées. Ainsi, entre 2013 et 2017, la proportion des publications scientifiques qui portent sur le thème de la réplication a augmenté de 50 % dans les revues de psychologie ».

L’absence de réplication n’implique pas une déconstruction de tous les principes

Le décryptage de ces différentes expériences de réplication conforte François Maquestiaux dans l’idée que les « fondements de la psychologie scientifique sont (…) solides ». Il en veut notamment pour preuve que « Même quand une expérience de réplication échoue, les "grandes conclusions" restent souvent valides, car elles reposent sur tout un faisceau d’études. Prenons le cas d’un (…) effet classique de la psychologie, l’"amorçage". Il est bien établi que des mots ou des personnes peuvent influencer inconsciemment nos jugements et nos décisions, notamment en activant des stéréotypes : une fille obtiendra ainsi de moins bons résultats en mathématiques si on lui rappelle qu’elle est une fille. L’étude sur le Trivial pursuit, que nous avons mentionnée précédemment (qui voulait que les joueurs pensant à un professeur plutôt qu’à un hooligan aient plus de chances de réussite au Trivial pursuit et dont les résultats n’ont pas pu être reproduits, ndrl) s’inscrivait dans ce contexte : l’idée était que l’image mentale d’un professeur "amorce" l’intelligence et la recherche de connaissances dans notre esprit. Le fait que la réplication ait échoué n’invalide pas les très nombreuses études publiées dans le domaine de l’amorçage, qui reste un phénomène psychologique robuste » insiste-t-il, invitant à ne pas tirer de conclusion globale d’expériences de réplication ponctuelles, ce qui altérerait la pertinence de cette démarche en la transformant en une logique arithmétique aveugle. Dès lors la réplication ne fonctionnerait plus comme un indicateur contribuant à l’amélioration de la qualité de la recherche mais comme un couperet, ce qui ne serait pas sans conséquences, à l’instar du dévoiement d’autres indicateurs (comme nous le souligneront plus loin).

Voir la psychologie en rose

Par ailleurs, toutes les expériences de réplication n’échouent pas et leur réussite, notamment parce qu’elles s’inscrivent dans un contexte statistique plus fiable, permettent de conforter certains principes "classiques" de la psychologie. François Maquestiaux donne ainsi comme exemple : « Dans une étude publiée en 2013, Matthew Crump du Brooklyn College, à New York, et ses collègues (…) ont (…) confirmé la réalité des effets d’inhibition, qui stipulent que bloquer nos automatismes et nos habitudes a un coût cognitif. On mesure ce dernier de diverses façons, par exemple grâce au test de Stroop. Ce test consiste à indiquer la couleur de l’encre dans laquelle un nom de couleur est écrit et on constate que le temps de réponse s’allonge nettement lorsque les deux ne correspondent pas (…), car le cerveau doit alors bloquer la lecture automatique du mot ».

Echouer c’est parfois réussir

Enfin, les résultats négatifs ne doivent pas toujours être considérés comme des échecs. Outre qu’ils témoignent de la capacité de remise en question des acteurs d’une discipline (et de la possibilité de déployer des moyens qui autrefois faisaient défauts à travers des collectifs élargis de chercheurs), ils permettent parfois également de mettre en évidence d’autres mécanismes. François Maquestiaux cite à cet égard des travaux qu’il a lui-même conduits. Ces derniers concernaient la « célèbre illusion visuelle d’Ebbinghaus, selon laquelle un même cercle apparaît plus gros lorsqu’il est entouré de petits cercles plutôt que de grands. En 2012, Jessica Witt, de l’université Purdue, et ses collègues avaient reproduit l’illusion sur un tapis de minigolf et montré que lorsqu’on leur faisait paraître le trou plus large, les joueurs réussissaient mieux à y envoyer la balle ». Cependant, le laboratoire de François Maquestiaux a voulu évaluer la fiabilité de ces résultats. Alors qu’il est apparu que dans la publication de leurs données, les chercheurs de Purdue avaient exclu les informations « de 4 des 36 participants et ignoré certaines configurations de l’expérience », les travaux de réplication de François Maquestiaux et de son équipe ont « montré que les participants percevaient bien l’un des trous comme plus gros, mais que cela n’avait aucune influence sur leurs performances. L’effet de l’illusion d’Ebbinghaus sur le succès au golf semble donc chimérique. Toutefois, cette réplication avortée nous a permis de trancher une controverse sur le fonctionnement du système visuel, résultant d’un certain nombre d’expériences aux résultats opposés : les voies cérébrales qui permettent la formation d’une image consciente sont-elles dissociées de celles qui assurent le contrôle visuel d’une action ? Nos résultats indiquent que c’est bien le cas, car les participants ne visaient pas mieux le trou même s’ils le percevaient comme plus gros. Pour planifier un acte moteur (le tir au golf), le cerveau se fonde donc sur une représentation visuelle inconsciente du but à atteindre (le trou), qui n’est pas influencée par l’illusion d’Ebbinghaus et qui est donc distincte de l’image consciente » développe le chercheur dans Pour la Science.

Attendre au moins la réplication avant d’en parler

Fort de ces différentes observations, François Maquestiaux est convaincu que la crise de la reproductibilité a été une épreuve positive pour la psychologie. Elle a permis selon lui « non pas de décrédibiliser cette discipline mais au contraire d’en redorer le blason en attestant de sa maturité et de sa capacité à se questionner. Elle nous rappelle aussi le caractère provisoire des connaissances scientifiques ». Cependant, les éventuels effets positifs de la crise de reproductibilité (que certains contesteront peut-être) n’ont pas été complets. Le chercheur note en effet que le dévoiement de certains résultats et leur utilisation à des fins politiques et commerciales demeure un écueil important. Or, sans attendre la confirmation de certaines données par le biais notamment du filtre de la réplication (qui n’est cependant pas un critère de fiabilité suffisant), la mise en avant de différentes conclusions peut servir de base à des décisions et à des jugements politiques, ou à des propositions commerciales. Pour éviter de telles dérives, François Maquestiaux suggère, reprenant les propositions d’Harold Pashler de l’université de Californie, la mise en place d’un « indice spécifique » qui permettrait de définir si la solidité des résultats publiés "autorise" ou non une médiatisation. Seuls les conclusions considérées comme les plus fiables et assortis du premier niveau de l’indice « seraient alors mûrs pour une éventuelle exploitation commerciale ou politique. C’est ainsi que pourraient être limités les malentendus et les interprétations abusives » juge le chercheur. Si une telle recommandation pourrait être utile dans de très nombreux autres domaines (par exemple en médecine ou en toxicologie), on pressent bien le caractère utopique d’une telle préconisation.

Le miracle italien

Cependant, à travers une telle observation, François Maquestiaux rappelle que l’un des enjeux de la crise de la réplication concerne l’évaluation de la recherche. Or, ce domaine est également en proie à une crise profonde depuis des années, une crise qui conduit à des situations absurdes, telle celle récemment rapportée par le journaliste scientifique Sylvestre Huet, sur son blog hébergé par Le Monde. On y découvre comment le prétendument « miracle italien » dans le domaine de la recherche n’est en réalité que le fruit d’une logique aveuglément poussée à l’extrême ou la qualité de la recherche n’est perçue qu’à travers le nombre de publications et de citations. Ainsi, alors que les chercheurs italiens connaissent des conditions de travail bien plus difficiles encore que leurs collègues français sur fond de diminutions constantes de leurs budgets : « l’Italie talonne la France en nombre d’articles publiés (…) voire la dépasse en 2016 ».

Que faut-il en conclure : « Y a-t-il un miracle ? Permettant de faire plus (de recherches) avec moins (de chercheurs et d’argent) ? » s’interroge faussement naïvement Sylvestre Huet. La réponse est bien moins idyllique que le présupposé de la question. En réalité, comme dans de nombreux autres pays, la qualité de la recherche est en Italie jugée en fonction du nombre de publication. Mais aujourd’hui ce qui aurait dû rester un indicateur est devenu de l’autre côté des Alpes un véritable objectif, conduisant à un inévitable dévoiement. « Depuis que la loi votée en 2010 met sous pression le système de recherche et les chercheurs pour une évaluation strictement fondée sur ces critères, le dérapage est là. L’augmentation considérable du nombre d’articles et de leurs citations est en grande partie le fruit de stratégies destinées à duper le système d’évaluation en faisant grimper artificiellement ces chiffres. Pour publier plus, on saucissonne plus des résultats. Pour être plus cités, on s’arrange entre collègues pour multiplier les citations croisées. Ainsi, dans les chiffres de Scimago, le nombre d’autocitations pour l’Italie dépasse les 39 000 contre moins de 28 000 pour la France, alors que les chercheurs des deux pays publient un nombre quasi identique d’articles. C’est ce dernier point – les "autocitations" à l’échelle d’un pays – qui met la puce à l’oreille et font faire la moue à des  observateurs. Et provoqué la parution de deux articles sur le sujet dans Nature et Science. Une équipe… italienne (A. Baccine et al, de l’Université de Sienne et de Pavie) en avait fait la démonstration dans un article publié dans la revue Plos One où elle montre que les chercheurs Italiens sont devenus des champions pour l’autocitation parmi les pays dominant la science. Même s’il faut noter que toutes les communautés scientifiques nationales ont tendance à augmenter leurs autocitations dans leur recherche désespérée visant à atteindre l’objectif que leurs gouvernements leurs assignent via cet indicateur devenu, dès lors, stupide ». Et de la même manière toutes les communautés scientifiques sont enclines à publier des résultats dont la faible reproductibilité est pourtant flagrante.

Où l’on voit que la reproduction des mêmes erreurs provoque les mêmes effets : soit dans de nombreux pays du monde une activité de recherche plus  préoccupée de satisfaire des objectifs comptables que de produire des résultats fiables. Des solutions sont sans doute à chercher.

Pour en savoir plus, on pourra relire :
L’article d’Hervé Maisonneuve : https://www.pseudo-sciences.org/Comment-ameliorer-la-reproductibilite-de-la-recherche-scientifique
L’article (payant) de François Maquestiaux : https://www.pourlascience.fr/sd/psychologie/le-grand-menage-de-la-psychologie-17966.php
L’article de Sylvestre Huet : https://www.lemonde.fr/blog/huet/2019/09/25/recherche-scientifique-le-faux-miracle-italien/

Aurélie Haroche

Copyright © http://www.jim.fr

Réagir

Vos réactions (1)

  • Excellent

    Le 12 octobre 2019

    Excellent article et de qualité comme toujours d’Aurélie Haroche qui se lit avec délice.

    Une expérience est scientifique si elle est reproductible.
    Là encore dans le domaine de la psychologie le profit, l’argent va finir par tuer la crédibilité des articles scientifiques en psychologie.

    Les italiens font un travail bien plus difficile encore que leurs collègues français sur fond de diminutions constantes de leurs budgets.
    Conclusion ne croire que les articles qui ont bénéficié d’un REPLIGATE.

    Dr Frédéric Langinier

Réagir à cet article