Relecture par les pairs : l'étude princeps sur l’hydroxychloroquine du Pr. Raoult discréditée

Paris, le lundi 20 juillet 2020 – On se souvient que la première étude publiée en mars par l’équipe du professeur Didier Raoult dans l’International Journal of Antimicrobial Agents qui selon ses auteurs apportait des arguments en faveur de l’efficacité de l’hydroxychloroquine face à la Covid-19 avait été très largement critiquée. La Société internationale de chimiothérapie antimicrobienne (ISAC) qui édite la revue avec Elsevier avait elle-même manifesté les plus grandes réserves. Tout en assurant que contrairement à ce que certains soupçonnaient fortement (notamment parce que le rédacteur en chef de la revue dirige une équipe au sein de l’IHU Méditerranée) la procédure de relecture par les pairs avait été rigoureusement conduite, l’ISAC avait annoncé dès la mi-mars avoir diligenté un « examen post-publication » à des experts indépendants.

Attitude irresponsable

Cette mission a ainsi été confiée au professeur Frist Rosendaal, responsable du département d’épidémiologique clinique du CHU de Leiden (Pays-Bays). Le travail réalisé par ce spécialiste est sans appel : « L’étude présente d’importants biais méthodologiques qui la rendent quasiment non informative » assène le praticien dans son introduction, qui ajoute que compte tenu de l’attente suscitée par ces travaux, les affirmations des auteurs allant jusqu’à recommander leur traitement sur la base de leurs résultats peuvent être considérées comme « irresponsables ».

Des erreurs à foison

Dans une publication assez courte, Frist Rosendaal énumère dix points méthodologiques saillants qui annihilent toute significativité statistique. Ces derniers ont déjà été épinglés par d’autres observateurs (dont le JIM), dont nombreux avaient présenté leurs remarques et interrogations sur le site collaboratif Pubpeer. Des informations « minimales » sur les groupes de patients, des tests statistiques « inappropriés », pas le « moindre effort » pour présenter des données statistiquement analysables : le chercheur néerlandais juge que le « relecteur ne peut que conclure que toute comparaison est dépourvue de sens ». De façon plus factuelle, l’auteur note les multiples bizarreries de l’étude : six patients ont été de façon « incorrecte » considérés comme « perdus de vue » quand parmi eux un est mort et trois ont été transférés en soins intensifs. Or, l’exclusion de ces patients présentant les formes les plus graves ne peut qu’interroger. A contrario, il ne peut que s’étonner de la présence de patients décrits comme asymptomatiques, tandis que l’ensemble du groupe a été hospitalisé, ce qui relève un problème manifeste de cohérence. Frist Rosendaal épingle encore l’absence de recensement des effets secondaires, quand le caractère unicentrique de l’étude aurait permis une collecte aisée de ces données importantes. D’une manière générale, il ne peut que déplorer les multiples informations discordantes et manquantes. Enfin, il s’interroge en outre en une ligne sur la raison qui a poussé les investigateurs à choisir le prélèvement nasopharyngé pour évaluer la charge virale.

Une relecture très tardive

L’ensemble de ces défauts aurait sans doute justifié un retrait de l’étude juge Frist Rosendaal, mais cette recommandation n’a pas encore été suivie d’effets. Même si la revue choisissait finalement de s’orienter dans cette voie, le si long délai entre la publication du texte et cette relecture affaiblit considérablement son impact. Pour expliquer pourquoi son texte n’est présenté par l’International Journal of Antimicrobial Agents qu’aujourd’hui quand quelques jours seulement ont été nécessaires pour publier l’article critiqué, Frist Rosendall indique cité par Le Parisien : « J’ai recommandé de la retirer (...). L’ISAC a décidé de ne pas se rétracter, mais de considérer cela comme un débat scientifique. J’ai alors pris la position qu’il serait important de rendre cette revue publique, et j’ai insisté pour la publier sans qu’une seule lettre ne soit modifiée. Je pense qu’une action en justice était à craindre à ce sujet, ce qui retarderait la publication de la revue, et ces délibérations ont donc pris du temps ».

Aurélie Haroche

Copyright © http://www.jim.fr

Réagir

Vos réactions (6)

  • Irresponsable

    Le 20 juillet 2020

    Le lien en accès libre en anglais est ici:
    https://www.sciencedirect.com/science/article/pii/S0924857920302338

    Donc, si je comprends bien, la revue officielle de l'ISAC a accepté rapidement l'article princeps en suivant les procédures normales mais en prenant la précaution d'exclure de la procédure de relecture son rédacteur en chef, membre de l'IHU.
    Suite aux nombreuses critiques de cet article, une procédure de relecture par des experts indépendants (les premiers relecteurs ne l'étaient donc pas ?) s'est mise en place. Il aura fallu près de 4 mois entre la publication de l'article problématique et cet article.

    Cet article-ci d'experts "indépendants", s'il ne me surprend pas quant à ses conclusions, est d'une sévérité incroyable, mais fondée, envers les auteurs de l'article de l'IHU, article publié en mars dans la même revue.
    Cherchez l'erreur !

    En attendant, le mal est fait.
    Mais qui portera la responsabilité de cette catastrophe "scientifique" ?
    Ceux qui ont produit cette étude bidon, voire truquée, ou ceux qui ont accepté de la publier ?

    Dr Thibault Heimburger

  • Quand le vers est dans le fruit : qui mange le fruit ?

    Le 21 juillet 2020

    Les analyses post-hoc sont suffisamment rares pour qu’on s’y attarde. Le désespérant « travail du Lancet » en était une illustration , les travaux HCQ de l’IHU en sont une autre.

    Compte tenue des implications des informations restituées par A Haroche, il faut déjà que chacun puisse se faire son opinion en revenant à la source, libre d’accés. On pouvait théoriquement espérer que ceci avait été le cas AVANT prescriptions et / ou commentaires :

    L’article évoqué : Gautret P, Lagier JC, Parola P et coll . Hydroxychloroquine and azithromycin as a treatment of COVID- 19: results of an open-label non-randomized clinical trial . Int J Antimicrob Agents. 2020 Mar 20 ;105949

    Critiques méthodologiques dés le 18 avril, par l’équipe de Mc Master (Trop evidence based ?) :
    Alexander PE, Debono VB, Mammen MJ et coll . COVID-19 coronavirus research has overall LOW methodological quality thus far:case in point for chloroquine/hydroxychloroquine. J Clin Epidemiol. 2020;123:120-126. doi:10.1016/j.jclinepi.2020.04.016
    « … this emergency pandemic situation does NOT transform flawed methods and data into credible results …»

    Les risques d’une recherche médicale, voir d’une éthique, à DEUX VITESSES est formulée :

    AJ London, J Kimmelman . Against pandemic research exceptionalism : Crises are no excuse for lowering scientific standards. Science. 2020 May 1;368(6490):476-477

    ANALYSE post-hoc en 10points : Rosendaal FR . Review of: "Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial Gautret et al. Int J Antimicrob Agents. 2020 Jul 2 ;106063. doi:10.1016/j.ijantimicag.2020.106063
    « Conclusion : This is a NON-informative manuscript with GROSS methodological shortcomings . The results do not justify the far-reaching conclusions about the efficacy of hydroxychloroquine in Covid-19, and in the view of this reviewer do NOT justify any conclusion AT ALL»

    Nombreuses réserves méthodologiques , dés parution, compilées dans :

    Machiels JD, Bleeker-Rovers CP, Ter Heine R et coll . Reply to Gautret et coll : hydroxychloroquine sulfate and azithromycin for COVID-19: what is the evidence and what are the risks? . Int J Antimicrob Agents. 2020 Jul 10 ;106056. doi:10.1016/j.ijantimicag.2020.106056
    « …The paper by Gautret et al. raised a lot of attention and contributed to a demand for the drug WITHOUT the appropriate evidence of its benefit. The study by Gautret et al. showed important methodological issues and does NOT provide a suggestion of effectiveness … »

    REPONSE non revue de l’IHU :

    Raoult D, Matthieu Million M, Gautret Ph et coll : Hydroxychloroquine and Azithromycin as a Treatment of COVID-19: Results of an 2 Open-Label Non-Randomized Clinical Trial: Response to David Spencer (Elsevier) . Int J Antimicrob Agents. 2020 Jul 8 (pre-print)
    https://www.mediterranee-infection.com/wp-content/uploads/2020/07/Response-to-Mr.-David-Spencer-ELSEVIER.pdf

    EDITORIAL de la Société Internationale de chimiothérapie Antimicrobienne (ISA) qui édite la revue : Voss A, Coombs G, Unal S et coll . Publishing in face of the COVID-19 pandemic . Int J Antimicrob Agents. 2020 Jul 10;106081 doi:10.1016/j.ijantimicag.2020.106081


    L’INTERFACE COPIEUSE ENTRE EQUIPE EDITORIALE & AUTEURS a été rappelée (Jim 27/6 : Publications scientifiques : quantité ne rime pas toujours avec qualité) . L’ offre de publications « généraliste » ne semblait pas manquer pourtant.
    Quand le vers est dans le fruit, qui mange le fruit ?

    Qu’en est t’il des 58 autres publications dans « International Journal of Antimicrobial Agents » ( 2940 publications entre 1995 et ce jour - PubMed)

    Qu’en est t’il des 237 dans « New Microbes and New Infections » dont :

    M Million, Ph Gautret, Ph Colson et coll . Clinical Efficacy of Chloroquine derivatives in COVID-19 Infection: Comparative metaanalysis between the Big data and the real world . New Microbes and New Infections 2020 June 6 , 100709

    Qu’en est t-il des 25 dans « Travel medicine and infectious disease » dont :

    Gautret P, Lagier JC, Parola P et coll . Clinical and microbiological effect of a combination of hydroxychloroquine and azithromycin in 80 COVID-19 patients with at least a six-day follow up: A pilot observational study . Travel Med Infect Dis 2020 Apr 11 Volume 34 , March–April , 101663

    Million M , Lagier JC , Gautret P, et coll . Early treatment of COVID 19 patients with hydroxy chloroquine and azithromycin : A retrospective analysis of 1061 cases in Marseille, France. Travel Med Infect Dis. 2020 May 5 Volume 35, May–June, 101738

    JC Lagier , M Million , Ph Gautret et coll . Outcomes of 3,737 COVID-19 patients treated with hydroxychloroquine / azithromycin and other regimens in Marseille, France : A retrospective analysis . Travel Medicine and Infectious Disease 2020 June 25 , 101791 (In Press, Journal Pre-proof)

    La SELECTION des patients y est patente (Exclusion de plus de la moitié des patients PCR+ , Age moyen 45ans , 88%<65ans) : Pas du tout « affaiblis » ET DONC potentiels candidats à un bras Placébo.
    Utile de préciser que le coût n’est pas un argument vis-à-vis de l’efficacité ?

    Les reproches qui peuvent être faits NE SONT PAS le monopole (Passé,actuel, à venir) de l’IHU qui les illustre juste en les hypertrophiant :
    Courses aux pré-prints, Publications sur Site (Ex : RECOVERY), Annonces tapageuses avant revue / acceptation ou même analyse (AP-HP), Conflits d’intérêts auteurs/éditeurs «entre soi» (QS). course aux «Malades Publiables» (D Raoult), Course aux Points SIGAPS.

    Ces sprints ont souvent été fallacieusement justifiés par l’URGENCE de la crise sanitaire : FAUX pour les patients de l’IHU où la démonstration acharnée par l’hypothèse reste de mise sur le sujet en cours. Mais aussi sur d’Autres ?

    Dr JP Bonnet

  • Ce qui est surprenant c'est la publication de ce registre mais aussi un phénomène plus grave

    Le 24 juillet 2020

    De quoi s'agit il sur le plan de la recherche clinique ?
    Ce registre après le décevant précédent où rappelons le seuls 6 patients avaient "bénéficié" du protocole OH-CQ + Azithro est au mieux de l'observationnel. Il n'y avait aucune urgence à le publier puisqu'il ne s'agit pas de patients graves (à la différence de certains observations chinoises faites en réanimation). Cette utilisation non compassionnelle de l'OH-CQ pouvait attendre un peer reviewing solide compte tenu de sa structure méthodologique.

    L'avis du reviewer est simplement factuel.
    Comment en effet accorder le moindre crédit à des séries observationnelles sur un traitement dans une affection qui tuant 10 à 50 fois plus que la grippe reste peu létale et donc extrêmement difficile à évaluer par intuition? Même si le traitement comme une potion magique "guérit" tout le monde.
    Alors comment en est on arrivé là ?
    Tout simplement par une combinaison de facteurs structurels et conjoncturels qui ont abouti à un biais cognitif grégaire. Effondrement de la culture scientifique dans l'enseignement, médiocrité des élites dans la gestion de la pandémie, forte poussée du complotisme alimenté par différents canaux, pauvre prestation des PUPH sur la méthodologie des RCT, et en contre partie un besoin de certitude et de gourous comme alternative à ce qui est le plus incertain une pandémie par un nouveau virus.

    Dr Guy-André Pelouze

Voir toutes les réactions (6)

Réagir à cet article