Méta-analyse : il n’y a pas pire système, mais nous n’en connaissons pas de meilleur ?

Londres, le samedi 23 novembre 2019 – A l’exception de quelques esprits marginaux et décalés, la grande majorité de la communauté médicale est convaincue que la médecine doit être fondée sur les preuves. C’est-à-dire qu'elle doit s’appuyer sur des recommandations adoptées par des sociétés savantes certifiées qui elles-mêmes reposent sur des travaux concordants dûment publiés dans des revues à comité de lecture, dont la relecture par les pairs garantit le sérieux et la cohérence.

Fraudes intéressées à tous les étages

Un édifice parfait s’il n’était truffé de failles qui conduisent régulièrement à remettre en cause ces preuves et qui donnent du crédit à de nombreuses critiques, même quand elles sont en réalité mues par des intérêts très différents que l’établissement de la vérité scientifique. Classiquement, les preuves sur lesquelles se fondent les autorités médicales pour établir leurs recommandations sont issues de méta-analyses et des revues systématiques réalisées par les institutions les plus fiables en la matière. Cependant, ces revues systématiques sont entachées de nombreux biais.

D’abord, les risques de conflits d’intérêt sont régulièrement signalés et face à des sujets tels que la vaccination de masse ou la supplémentation de certaines populations, ils sont susceptibles d’être tout à la fois fréquents et prégnants et en même temps difficiles à réellement dépister. De fait, la protection d’un groupe de population est d’une importance telle qu’il peut être périlleux de remettre en cause le bien-fondé d’une campagne au motif qu’il existe des liens d’intérêt avec les auteurs d'un travail, liens d’intérêt difficilement évitables compte tenu de l’enjeu et qui donc ne peuvent à eux seuls totalement remettre en cause l’efficacité et l’innocuité d’une pratique de masse. Néanmoins, le nombre de personnes concernées est tel que les intérêts financiers sont tout autant importants et que l’on ne peut nier qu’ils aiguisent des appétits qui pourraient potentiellement faire passer au second plan la santé publique. En tout état de cause, l’existence de liens d’intérêt fonctionne comme un élément de blocage complexe : elle permet la remise en cause, de manière éthiquement légitime, mais sur des fondements non scientifiques et médicaux, de programmes qui pourraient pourtant être efficaces.

Parallèlement aux liens d’intérêts, les travaux sont également minés par les fraudes, fraudes favorisées par le système de financement de la recherche qui incite à la publication et qui peut conduire certaines équipes à maquiller leurs données ou à les gonfler artificiellement, faisant passer leurs travaux par exemple pour des essais randomisés, quand ils n’en remplissent nullement les critères.

Trouver la faille

Liés à ces liens d’intérêts (qui entacheraient par exemple la crédibilité des méta-analyses du groupe Cochrane à propos de la vaccination HPV) et à ces fraudes, les doutes rejaillissent sur la constitution même des méta-analyses.

Par ailleurs, la qualité des études incluses peut être sujet à caution, soit parce qu’elles sont décalées par rapport à la réalité clinique, soit parce qu’elles manquent de robustesse statistique. Or, en se concentrant sur ces éléments, l’ensemble d’une méta-analyse peut être discréditée, même quand certaines des motivations des opposants ne sont probablement pas toutes liées à la rigueur scientifique. Ainsi, les méta-analyses soulignant les risques liés aux traitements hormonaux substitutifs sont régulièrement remises en cause en France par ceux qui prétendent que les travaux inclus ne correspondent pas à la réalité des patientes françaises. Or, ces critiques sont formulées par des personnalités qui défendent par ailleurs la nécessité d’un accompagnement des patientes au moment de la ménopause. N’utilisent-elles pas à leur profit la critique d’une faille (peut-être vénielle, voire inexistante) des méta-analyses en question pour assoir leur position ? De la même manière, récemment, des chercheurs ont remis en cause la pertinence des travaux affirmant la dangerosité d’une sur consommation de viande, observant la faible significativité statistique des études utilisées et l’existence de biais. Néanmoins, n’est-il pas possible de considérer que ces méta-analyses s’inscrivent dans un contexte fort d’éléments (physiologiques et  épidémiologiques) concordants ?

La médecine sur les preuves fondée sur une vaste entreprise mensongère ?

Quelles que soient les limites des critiques émises, certains estiment qu’il est temps de s’interroger sur la pertinence du rôle prépondérant joué par ces méta-analyses. En tout état de cause, il serait impératif de revoir les critères d’inclusion dans ces méta-analyses. C’est notamment le constat posé par le rédacteur en chef du Lancet dans un éditorial publié cette semaine. Richard Horton expose les réflexions du professeur d’épidémiologie et de santé publique de la London School of Hygien & Tropical Medicine, Ian Roberts. « Imaginez que tout l'édifice de la connaissance médicale soit fondée sur un mensonge. Les méta-analyses systématiques sont considérées comme la norme la plus élevée en matière de médecine basée sur les preuves. Régulièrement réactualisées pour garantir que les recommandations reposent sur les connaissances scientifiques les plus récentes et les plus fiables, les revues systématiques et les méta-analyses sont largement utilisées » rappelle Richard Horton avant d’évoquer la prépondérance en la matière du groupe Cochrane qu’il qualifie « d’industrie » productrice de revues systématiques. « Les prétentions de Cochrane sont élevées : preuves fiables, décisions éclairées, amélioration de la santé. Mais que se passerait-il si cette imposante et énergique entreprise empoisonnait bien plus qu’elle ne sert la pratique médicale ? » s’interroge-t-il sans nuance.

La pollution des méta-analyses

Cette condamnation a été inspirée à Ian Robert après l’étude d’une méta-analyse portant sur l’utilité du mannitol à forte dose dans la prise en charge des lésions cérébrales traumatiques aiguës. Il a mis en évidence que certains des travaux inclus dans la revue systématique Cochrane étaient de très faible qualité, qu’ils soient entachés de fraudes ou simplement médiocres scientifiquement, parce que comptant par exemple trop peu de sujets ou n’ayant fait l’objet d’aucune vérification. Or, explique Robert Horton, les responsables des revues systématiques « incluent ces travaux dans leurs méta-analyses sans appliquer de critères d'inclusion suffisamment rigoureux. Les études sont donc intégrées sans vérification des faits. Et elles sont susceptibles d’induire des conclusions erronées », assène-t-il. Cette constatation n’est pas récente. Déjà en 2015, Ian Roberts parlait des « déchets » polluant les méta-analyses.

Une rigueur aveugle ! 

Pour Robert Horton et Ian Roberts, ces critiques ne doivent cependant pas sonner la mort des méta-analyses mais inciter à une réflexion profonde tout à la fois sur les critères d'inclusion retenus et sur le rôle de plus en plus prégnant qu’elles jouent dans la pratique médicale.

Cependant, ces critiques ne seront sans doute pas unanimement partagées. D’autres ont en effet pu de façon paradoxale estimer que dans certains contextes particuliers, les critères d’inclusion de Cohrane étaient parfois trop stricts, excluant des études pertinentes et intéressantes pour la conclusion globale. Ainsi, il y a quelques années, le journaliste québécois Jean-François Cliche s’intéressant à la méta-analyse de Cochrane sur la fluoration de l’eau avait noté : « Pour ses méta-analyses (…), ce groupe de recherche a l’habitude de passer la littérature scientifique dans un crible très discriminant, pour ne retenir que les articles qui respectent les plus haut standards de qualité et de rigueur. Il n’y a rien de mal là-dedans (…) le raisonnement derrière cette démarche est évident (et généralement excellent) : les études plus biaisées créent une sorte de "bruit de fond" qui peut enterrer ou brouiller le signal des travaux les plus rigoureux, d’où l’intérêt de ne garder que ces derniers. J’imagine sans mal que dans beaucoup, beaucoup de cas, la méthode de Cochrane doit rendre les choses plus claires. Mais si bien intentionnée soit-elle, cette démarche a souvent pour effet de laisser énormément de données de côté (toutes des études publiées dans des revues à comité de révision, rappelons-le), ce qui en soi peut introduire des biais. (…) Dans le cas du "fluorure", les chercheurs n’ont retenu que les études qui avaient commencé avant la fluoruration de l’eau d’une ville ou région donnée, qui avaient un groupe contrôle (ça, c’est élémentaire) et qui avaient au moins deux mesures dans le temps. Ainsi, ont été exclus tous les travaux consistant grosso modo à comparer une municipalité X qui fluorure son eau depuis, disons, 20 ou 30 ans, avec sa voisine Y qui ne le fait pas. Si bien que l’équipe de Cochrane a trouvé 4677 études pertinentes au départ mais n’en a finalement retenu que… 107 » avait remarqué le journaliste qui s’interrogeait de façon provocatrice sans cependant remettre en cause le bien-fondé d’une exclusion des travaux les plus fantaisistes : « Si la rigueur est une qualité on ne peut plus fondamentale en science (…) est-ce que cette vertu est comme le pain béni ? C’est-à-dire : peut-on en abuser ? (…). Est-ce que la Collaboration Cochrane a péché par "excès de rigueur ?". Une telle chose existe-t-elle vraiment ? Considérant les réactions médiatiques et/ou politique que les méta-analyses sur le Tamiflu et sur la fluoruration de l’eau ont engendrées, il me semble que oui, la Collaboration Cochrane a beurré son pain béni un peu épais… » concluait-il.

Outre une réflexion sur les limites des critères automatisés, cette dernière remarque rappelle que ce qui est en cause c’est notamment l’appropriation médiatique des résultats des méta-analyses. Leur irréprochabilité, qu’il s’agisse des liens d’intérêt, de la qualité des études retenues, de l’adaptation des données incluses par rapport à la réalité clinique, est indispensable pour éviter que toute faille ne soit utilisée de façon opportune par ceux qui tentent de discréditer la médecine fondée sur les preuves pour imposer d’autres voies probablement dangereuses.

Pour approfondir le débat on pourra relire l’éditorial de Richard Horton
https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(19)32766-7/fulltext
et une analyse du blog de Jean-François Cliche : https://www.jim.fr/medecin/pratique/recherche/e-docs/ah_la_rigueur__153223/document_jim_plus.phtml

Aurélie Haroche

Copyright © http://www.jim.fr

Réagir

Vos réactions (10)

  • Niveau de preuve des méta-analyses Cochrane

    Le 23 novembre 2019

    Pour lire très régulièrement les méta-analyses de mon champ d'action venant de Cochrane, je peux dire que leur crible est honnête. Très régulièrement, ils concluent en avançant que le niveau de preuve reste faible à très faible, rarement qu'il est très fort. Donc ils osent intégrer des études à niveau de preuve très faible.
    Les études évacuées doivent être de qualité encore moindre.

    Dr Pierre Serveille

  • Meta analyse et vérité médicale

    Le 23 novembre 2019

    Une bonne attitude pour faire avancer notre savoir médical, nous médecins de terrain serait de confronter notre expérience, notre intuition et les métaanalyses (en s’assurant de leur solidité et en tenant compte des enjeux économiques -intérêts des lobbies politiques et économiques-).

    Il faudrait par exemple que le résultat d’une metaanalyse tienne compte du poids de tel lobby pharmaceutique et ainsi d’appliquer un coefficient correcteur. Il faudrait aussi intégrer les disparités de résultats qui composent la dite métaanalyse.
    Et bien sûr exiger la révélation des éventuels conflits d’intérêts des auteurs de l’étude.
    Puis agir en notre âme et conscience !

    Dr Jean-Luc Verine

  • La médecine des preuves, pas une fin en soi

    Le 25 novembre 2019

    Les méta-analyses (honnêtes) sont certainement un bon outil pour l'évaluation des procédures standardisées, lesquelles ne représentent qu'une partie seulement du champ d'action médical.

    Or nous soignons des êtres humains dont la souffrance résiste à se laisser réduire à des équations mathématiques. Et nous les soignons, que nous le voulions ou non, avec une certaine dose de subjectivité, même si de bonne foi nous essayons d'être "rigoureux", "objectifs", "scientifiques".
    La "médecine des preuves" est un outil, utile, mais sûrement pas une fin en soi.

    Dr Jean-Jacques Perret

Voir toutes les réactions (10)

Réagir à cet article