Publications scientifiques : quantité ne rime pas toujours avec qualité

Paris, le samedi 27 juin 2020 - Outre une incontournable ode à ses propres exploits, l’audition de Didier Raoult ce mercredi à l’Assemblée nationale a été l’occasion de rappeler certains troubles dont souffre aujourd’hui la recherche médicale. Un véritable cercle vicieux tend en effet à perturber son fonctionnement, ce qui a pu être mis en lumière de manière frappante lors de l’épidémie de Covid-19. Ainsi, de plus en plus, la médiatisation de certains sujets a une influence déterminante sur le déploiement des financements. Les recherches accélérées autour de SARS-CoV-2 l’ont rappelé mais de nombreux autres exemples peuvent être quotidiennement cités. Cette focalisation se fait au détriment d’autres projets. Et, pour pouvoir bénéficier de financements, les équipes tendent à orienter leurs travaux vers des sujets socialement et budgétairement porteurs. Par ailleurs, pour espérer voir leur soutien se pérenniser et pour bénéficier d’une évaluation positive de la part de leurs institutions, ils se doivent de multiplier les publications. Les effets contre-productifs du fameux mantra « publish or perish » ont souvent été dénoncés dans ces colonnes d'autant que la course à la publication peut parfois se faire au détriment de la qualité. Et là encore, la crise épidémique l’a mis en évidence d’une façon cruelle avec la multiplication des pre-prints et des études ne répondant pas aux standards habituels. Cependant, ne maîtrisant pas toujours nécessairement les différences de niveau de publication, les médias grand publics s’emparent de toutes les données présentées, en ne mettant pas toujours nécessairement en garde quant aux différences de processus de validation. Présentés par la presse et débattus sur les réseaux sociaux, ces relais créent une attente au sein du public ; incitant les pouvoirs politiques et les industriels à orienter leur cible. Ainsi, le cercle vicieux se réenclenche.

Le prétexte dangereux de l’urgence

Les défauts de ce système nuisent nécessairement à la qualité de la recherche, qui devrait pouvoir, même (ou plus particulièrement) en période d’urgence éviter ces dérives et écueils. La crise qui, on l’a vu, a d’abord conduit à accentuer à l’extrême les vices de ce mécanisme sera-t-elle l’occasion d’une refonte profonde ? L’urgence qui a été si souvent brandie comme une excuse pour prendre quelques libertés avec certains principes doit-elle nous inviter à repenser la facilité avec laquelle certaines règles ont été dépassées ? L’interne auteur du blog Litthérapie interroge : « La question de l’essai clinique en contexte d’urgence vient interroger les fondements éthiques, les critères de validation et les finalités pragmatique de la médecine. La crise du SARS-COV-2 est peut-être l’élément disruptif à l’aube d’un nouveau paradigme médical. (…) Pour ouvrir à la discussion, interrogeons-nous : faut-il encore réfléchir à l’urgence de l’éthique, ou initier une éthique de l’urgence ? Faut-il imaginer, comme les soins qui, de par l’urgence sanitaire, se sont vu prodigués en « situation dégradée », que l’éthique, et notamment celle de la recherche clinique dans l’espoir d’un traitement, puisse également donner lieu, dans un tel contexte, à une « éthique dégradé » ? Quels aménagements cela donneraient lieu ? Il y aurait-t-il des valeurs plus importantes que d’autres ? Doit-on concevoir des essais cliniques médiocres au nom du principe « faute de mieux » ? Ou, au contraire, refuser cette chimère d’une éthique dégradée, et redoubler de prudence, notamment aristotélicienne, pour faire de l’éthique un point de repère dans le brouillard de l’incertitude, un phare dans la tempête, une boussole y compris dans l’urgence ».

Alerte pour les journalistes

Au-delà de ces considérations générales et qui intéressent d’abord l’éthique du chercheur, la réflexion doit probablement également concerner toute la chaîne de publication. L’explosion récente des pre-prints a été beaucoup évoquée. Nous avons ainsi souligné plus haut l’absence de recul des médias grand-public en la matière. Ils n’hésitent pas ainsi à accorder le même degré de crédibilité à des résultats dûment approuvés par les revues et à ceux qui ne sont encore qu’à la première étape de la publication. Si cette discrimination n’est pas faite, d’autres pièges moins visibles seraient également à décrypter.

C’est ce que ce rappellent dans un article publié sur The Conversation, Yves Gingras et Mahdi Khelfaoui (Université du Québec à Montréal (UQAM). Ils remarquent ainsi qu’est peu connu : « le fait que certains parmi les chercheurs ont aussi compris l’intérêt de proposer » aux « géants de l’édition de nouvelles revues savantes qu’ils se proposent alors de « gérer » pour faire prospérer leur activité et leur domaine de recherche. Un exemple d’un tel dérapage, que l’un de nous (Y.G.) avait découvert au hasard de ses recherches bibliométriques il y a une quinzaine d’années, concerne l’ingénieur égyptien Mohamed El Naschie qui était rédacteur en chef de la très spécialisée revue de physique théorique Chaos, Solitons & Fractals. Cette revue avait été créée par El Naschie lui-même en 1991 et était alors publiée par le groupe Pergamon, éditeur racheté par Elsevier en 1992. Nous avions été frappés par le fait qu’ El Naschie avait publié, entre 1991 et 2008, près de 269 articles dans cette seule revue, soit plus de 85 % de sa production scientifique totale durant cette période. De plus, selon les données du Web of Science, ses articles n’ont été à peu près jamais été cités en dehors de la revue elle-même. Nous n’avions pas jugé utile d’alerter le monde savant et avions seulement trouvé le cas curieux. Des chercheurs ont toutefois fini par découvrir le pot aux roses et un scandale éclata en 2008 dans la revue Nature ».

Ce cas n’est pas isolé, ainsi les deux chercheurs canadiens se sont appesantis sur celui de « la revue New Microbes and New Infections (…). Nous avons (…) effectué une analyse bibliométrique de cette revue (…). Ce qui frappe pour une revue affirmant « couvrir presque l’entièreté du monde scientifique » est le fait que les pays qui y publient le plus sont les suivants : France (N=373), Arabie saoudite (N=115), Iran (N=48), Sénégal (N=46), Italie (N=44). Suit une queue de pays contribuant avec très peu d’articles depuis la création de la revue. La France représente donc 50 % du total des articles, alors que ce pays n’a produit qu’environ 7 % des publications mondiales en virologie entre 2013 et 2020, contre 41 % pour les États-Unis. Ainsi, contrairement à ce que suggère le contenu de la revue New Microbes and New Infections, la France est loin de dominer le champ international de l’étude des microbes et des infections virales. Penchons-nous à présent sur ces publications françaises. On observe d’abord que 337 contiennent au moins une adresse institutionnelle de chercheurs basés à Marseille, soit 90 % du total français. En augmentant la focale, on trouve ensuite que 234 d’entre-elles, soit les deux-tiers, sont co-signées par le chercheur Didier Raoult. On observe aussi une montée en puissance rapide de cet auteur dans la revue : d’un seul article publié l’année de naissance de la revue en 2013, il passe à un pic de 77 articles pour la seule année 2017. En date du 10 juin, il en compte déjà 12 en 2020, alors que l’année n’en est qu’à sa moitié (Figure 1). Par ailleurs, l’éditeur-en-chef adjoint de la revue, Pierre-Edouard Fournier, y compte également 170 publications. Comme les publications scientifiques sont normalement évaluées par des pairs et que la décision relève d’un comité scientifique supposé indépendant, regardons maintenant de plus près la composition du comité éditorial de la revue. Le rédacteur en chef est basé à Marseille, et parmi les six autres membres français du comité éditorial associé, composé de quinze membres, on retrouve cinq chercheurs de Marseille et un de Paris. Le caractère « international » de la revue est tout de même assuré par la présence sur ce comité de neuf autres membres provenant des États-Unis (4), d’Algérie (1), de Chine (1), de Suisse (1), d’Australie (1) et du Brésil (1). Bien que toutes les publications soient censées être évaluées par des spécialistes indépendants et extérieurs, mais choisis par les responsables de la revue, il demeure que la forte composante locale – soit près de la moitié du total – du comité de direction de la revue, peut contribuer à expliquer la domination des publications très locales dans cette revue dite « internationale ». (…)  Un bon usage de la bibliométrie nous éclaire en effet de manière unique sur la sociologie des sciences. Elle permet ainsi de suggérer que les journalistes qui couvrent les recherches en santé, et plus largement en sciences, ne devraient pas se contenter de répéter l’expression convenue « paru dans une revue scientifique », mais devraient scruter davantage la nature de la revue qui annonce les résultats qui auront l’honneur de figurer dans les médias de masse ».

Trompe l’œil

Les précisions des deux chercheurs canadiens rappellent également que cette multiplication des petites revues n’est en rien un gage de dynamisation et d’élargissement du marché, qui pourrait par exemple permettre de limiter la captation de l’activité par quelques grands groupes, que réprouvent certains chercheurs. En effet, beaucoup de ces revues « mineures » sont en réalité détenues par les leaders du marché. D’un point de vue de l’évaluation de la qualité de la science, cette explosion ne paraît pas plus nécessairement parfaitement bonne conseillère. « On constate (…) que les grands éditeurs de revues ont trouvé le moyen de monétiser des articles refusés par leurs titres les plus sélectifs, en les acceptant dans de nouvelles revues, souvent en « accès libre » et donc payées par les auteurs et leurs laboratoires. Ainsi, les articles refusés par une revue A prestigieuse, mais recyclés dans une revue C moins regardante, tombent encore dans l’escarcelle de l’éditeur, contribuant alors davantage à son profit économique qu’au profit de la science » concluent les deux chercheurs canadiens. Certains pourraient néanmoins considérer que la diversité peut contribuer à un panorama plus riche, à la condition qu’elle ne coïncide pas avec un affaiblissement des critères de sélection. En outre, on a pu constater que la notion de « revues prestigieuses » est à relativiser quand l’urgence conduit les institutions qui bénéficiaient des meilleurs impact factor à transgresser certaines de leurs règles.

Ces observations sur les rouages et les failles des mécaniques de publication étaient déjà prégnantes avant l’épidémie. Cette dernière a cependant été un révélateur dont certains espèrent qu’il sera déterminant. Mais on peut redouter que comme dans d’autres situations, les leçons tirées de circonstances dramatiques particulières ne soient pas assez solides pour être le terreau de changements structurels réels.

On pourra relire l’analyse de Lithérapeute
Et de Yves Gingras et Mahdi Khelfaoui

Aurélie Haroche

Copyright © http://www.jim.fr

Réagir

Vos réactions (5)

  • Débats covid-finances

    Le 27 juin 2020

    Certes, Raoult a "le melon"; la psychiatrie classique appelait cela le "sentiment de soi", bien différent de ce que les imbéciles attribuent à la paranoia. Toutefois,il est loin d’être le seul à laisser de coté "les antibiotiques,c'est pas automatique", slogan qui a fait beaucoup de victimes (tout le monde s'en fout) et coûté très cher (pauvres labos!). Etant africaniste, j'ai appris de mes collègues du cru (oh honte,des noirs?) à traiter les infections respiratoires avec une bithérapie antipaludéens-antibiotiques...et ça marche,n'en déplaise aux docteurs racistes...

    Raoult a toutefois un grand tort: il ne sait pas gérer son patrimoine: les labos, ça paye.

    Dr Y. Kaufmant

  • « L’expertise universitaire, l’exigence journalistique »

    Le 27 juin 2020

    Pas de " CQFD" réducteur & paresseux .... Mais l’idée y est
    Merci A Haroche pour cette analyse, qui devrait attirer moulte commentaires à l’encontre du JIM.

    L’audition du 24/6 évoquée se déroulait très probablement sous serment : A ne pas négliger.
    Remarquons que la «notoriété scientifique» auto-déclamée du Pr Raoult est LE SOCLE de la crédibilité éventuelle des travaux actuels, et non plus passés.

    Yves Gingras, que vous référencez, est professeur d’histoire et de sociologie des sciences à l'Université du Québec à Montréal : probablement neutre dans les ébats que nous savons, franco-français, durablement pénalisants.

    Très complémentaire, de la même équipe, nous pouvons consulter depuis le 26/6
    "Einstein vaut-il la moitié du Dr Raoult ? Pour en finir avec «l’indice h»".

    https://theconversation.com/einstein-vaut-il-la-moitie-du-dr-raoult-pour-en-finir-avec-lindice-h-141169
    « En ignorant les autocitations, l’indice h de Raoult a une valeur de 104 alors qu’Einstein obtient un indice h de 56 ».

    L’auto-citation ne semblant plus poser problème , j’avais indiqué dans le JIM DES le 18/5 L’INTERFACE MANIFESTE ENTRE EQUIPE EDITORIALE & AUTEURS.

    Afin de vérifier les analyses convergentes faites sur le même thème dans la "grande presse" , j’avais regardé «PubMed» & les publications où le Pr Didier Raoult était associé. Occasion acutisée par la quête d’un collègue à la recherche de « radomisation(s) sur le paracétamol » dans la COVID-19.
    Sauf homonymie, improbable ou ne modifiant pas de manière significative le résultat de ma recherche (21/6-14h) :

    2940 publications entre 1995 et 2020.Soit : XXX / an, depuis un historique et émouvant :
    Stein A, Raoult D. Return of trench fever. Lancet.1995;345 (8947):450-451 du Lancet donc
    Trench fever, Fièvre des tranchées et non French fever !

    Une partie des publications se fait dans des revues où des membres de l’IHU et / ou co-auteurs font parties du board éditorial. Qui parlera de CONFLIT(s) d’intérêt(s), d’entre Soi ? :

    237 dans « New Microbes and New Infections » jusqu’à un intéressant «pré-proof In Press» pour amateurs de BigData & de Vraie vie :

    M Million, Ph Gautret, Ph Colson et coll . Clinical Efficacy of Chloroquine derivatives in COVID-19 Infection: Comparative metaanalysis between the Big data and the real world . New Microbes and New Infections 6 June 2020, 100709 In Press, Journal Pre-proof

    59 dans «International Journal of Antimicrobial Agents» jusqu’à :
    Gautret P, Lagier JC, Parola P et coll . Hydroxychloroquine and azithromycin as a treatment of COVID-19: results of an open-label non-randomized clinical trial . Int J Antimicrob Agents. 2020 Mar 20 ;105949

    25 dans « Travel medicine and infectious disease » jusqu’au Grahl :
    Million M , Lagier JC , Gautret P, et coll . Early treatment of COVID 19 patients with hydroxy chloroquine and azithromycin: A retrospective analysis of 1061 cases in Marseille, France. Travel Med Infect Dis. 2020 May 5 Volume 35, May–June, 101738

    Mais quid des grandes revues généralistes des supposés élites ? :
    76 dans le Lancet, dont la publication princeps de 1995 déjà citée
    9 dans le NEJM
    2 dans le BMJ

    Un nouveau venu dans les heureux élus : «Journal of Microbiology, Immunology and Infection» (Taiwan) avec une BELLE revue qu’il faut consulter :
    Devaux CA, Rolain JM, Raoult D. ACE2 receptor polymorphism: Susceptibility to SARS-CoV-2, hypertension, multi-organ failure, and COVID-19 disease outcome. J Microbiol Immunol Infect. 2020 ; 53(3):425-435

    Analyse proposée au JIM (21/6 & 25/6) mais NON publiée.
    Pas d’ «intime conviction» , des FAITS que chacun peut vérifier avec une connexion internet & un peu de pratique de PubMed
    Que chacun se questionne ou nous renseigne ensuite sur :

    1/ L’impact financier notoire de ce stakhanovisme publicatoire : Points SIGAPS & Valorisation. Ce que Raoult appelle : " les malades publiables "

    2/ Quelles ont été les réactions de l’AP-HM durant la crise sanitaire ? Après ? : Aucune à ma connaissance. Simple aveugle ?

    Il faudra être aveugle & sourd pour nier l’impact en terme d’auto-satisfaction

    Il faudra être stupide pour penser que ces pratiques sont un monopôle Marseillais (Cf AP-HP) : La crise actuelle les (re)met juste en lumière via la médiatisation attenante.

    Il faudra être très chauvin pour nier la pauvreté de la recherche clinique nationale, la pauvreté de la collaboration inter-hospitalière tant plaidée mais rarement appliquée.
    Que penser d'un essai franc-comtois sur le Tocilizumab ?

    Il y a des exceptions heureusement : La contribution historique des ORL, celle des pédiatres :

    Lechien JR, Chiesa-Estomba CM, Place S et coll . Clinical and epidemiological characteristics of 1420 European patients with mild-to-moderate coronavirus disease 2019 . J Intern Med. 2020 Apr 30 ;10.1111

    Cohen R, Jung C, Ouldali N et coll . Assessment of spread of SARS-CoV-2 by RT-PCR and concomitant serology in children in a region heavily affected by COVID-19 pandemic . medRxiv 2020.06.12.20129221 (non revu)

    M Mahevas, Viet-Thi Tran, M Roumier et coll . Clinical efficacy of hydroxychloroquine in patients with covid-19 pneumonia who require oxygen: observational comparative study using routine care data . BMJ 2020 May 14;369:m1844 14 May 2020

    Belhadjer Z, Méot M, Bajolle F et coll . Acute heart failure in multisystem inflammatory syndrome in children (MIS-C) in the context of global SARS-CoV-2 pandemic . Circulation. 2020 May 17

    Grimaud M, Starck J, Levy M et coll . Acute myocarditis and multisystem inflammatory emerging disease following SARS-CoV-2 infection in critically ill children. Ann Intensive Care. 2020 Jun 1;10(1):69

    Toubiana J, Poirault C, Corsia A et coll . Kawasaki-like multisystem inflammatory syndrome in children during the covid-19 pandemic in Paris, France: prospective observational study. BMJ. 2020 Jun 3; 369 : m2094

    Tout ceci n’est ni un effet de style, ni un billet d’aigreur : Impact patient passé (inévaluable mais certain : Discovery , Solidarity-Umbrella), à venir (Prévention : Restructurations - « Sanctions » ?)

    Dr JP Bonnet

  • Recherche...ou dérives?

    Le 27 juin 2020

    Excellent article qui met le doigt sur pas mal de problèmes liés à "la Recherche Médicale" en France et ailleurs dans le monde: les labos ou équipes agréés passent un temps infini à rechercher...des financements et font des dossiers et des dossiers. Les nominations de Professeur de Médecine dépendent du nombre d'articles publiés, quel que soit leur intérêt scientifique ou leur réalité ("étude préliminaire de..." = pas grand chose en général, mais compte pour une publi, voire...pour une Thèse de 3° cycle), et effectivement il y a des sujets plus porteurs que d'autres carrément délaissés.

    Ajoutons-y la grande misère des salaires des chercheurs qui s'expatrient ou passent dans l'industrie , il faut bien vivre...

    Dr Astrid Wilk

Voir toutes les réactions (5)

Réagir à cet article