Etude critique d’une modélisation des effets du confinement

Paris, le samedi 2 mai 2020 - Des chercheurs de l’Ecole des Hautes Etudes de la Santé Publique (EHESP) ont récemment présenté sur leur site un article en cours de soumission et non encore publié évaluant à un peu plus de 60 000 le nombre de décès qui auraient été évités grâce au confinement. Ces travaux que nous avons commentés dans ces colonnes n’ont pas manqué de susciter certaines interrogations, voire réserves de la part commentateurs et de nos lecteurs.

Pourtant, le Premier ministre n’a pas hésité à reprendre cette estimation lors de son discours mardi à l’Assemblée nationale, lui conférant une caution surprenante. Les limites statistiques de cette modélisation ne sont cependant probablement pas mineures comme nous le suggère une analyse statistique approfondie d’Eric Le Bourg, Quentin de Larochelambert et Jean-François Toussaint. Ce texte qui dépasse la prise de position qui est habituellement l’objet de nos tribunes s’inscrit dans le champ de l’expérimentation et de la critique scientifique.

Dans ce cadre, il apparaît évident que nos colonnes sont ouvertes à la poursuite de l’indispensable  débat scientifique, et notamment aux auteurs des travaux de l’EHESP (Roux et al).

 

Par Eric Le Bourg1, Quentin de Larochelambert2, Jean-François Toussaint3

La pandémie du Covid-19 a donné lieu au confinement de la moitié de l’humanité. Celui-ci a été décrété en France le 17 mars 2020. La validité de cette décision fait débat entre ceux qui estiment que cette mesure, malgré toutes ses conséquences néfastes, était nécessaire, et ceux qui pensent qu’on pouvait en faire l’économie. Les auteurs ne prennent pas position à ce sujet dans le cadre de la présente note et n’ont pas forcément la même opinion. Toutefois, évaluer les conséquences du confinement est d’un intérêt crucial : quel est son impact sur les hospitalisations et la mortalité liées au SARS-Cov-2 ?

En l’absence de groupe contrôle ou d’étude randomisée, différentes estimations ont tenté de modéliser ces effets, en attendant, peut-être, après la pandémie, des études comparatives des pays ayant adopté des stratégies différentes. Le cadre éthique et méthodologique d’un groupe contrôle ou d’une étude randomisée est bien entendu impossible à établir à l’échelle des populations (or c’est pourtant le fondement qui établit la validité scientifique des essais thérapeutiques) et fait donc défaut pour déterminer le bénéfice de mesures ayant aussi des effets secondaires importants et durables. Ces études de modélisation, du fait du contexte très particulier de la pandémie et de l’urgence de la situation, ont bousculé la marche normale de toute étude scientifique : réalisation de l’étude, soumission à une revue scientifique à comité de lecture, expertise, publication après une éventuelle révision ou rejet de l’article par la revue. De ce fait, les critiques de ces études suivent la même voie. Dans ce contexte, les auteurs ont publié le 25 avril 2020 dans le quotidien L’Humanité, en ligne, un article réfutant les conclusions d’une récente modélisation de la situation française (Le Bourg et al., 2020). La présente note détaille les éléments statistiques soutenant cette conclusion.

Roux et al. (2020) ont publié sur le site de l’Ecole des Hautes Etudes de la Santé Publique une modélisation du nombre d’hospitalisations, de patients en réanimation et de décès potentiellement évités par le confinement en France depuis le 17 mars. Se basant sur les connaissances disponibles quant à la transmission virale, ils estiment l’effet d’une absence de confinement sur le nombre d’événements dans les trois situations. Pour cela, ils observent les données du 20 au 28 mars et vérifient que leur modèle reproduit les résultats des 13 régions métropolitaines. Ils prolongent ensuite ce modèle, supposé validé, jusqu’au 19 avril et mesurent alors l’écart obtenu entre le modèle et les résultats observés à cette date. Ils concluent que le confinement a permis d’éviter 61 739 morts en un mois, qui ne se sont donc pas ajoutés aux 12 069 décès hospitaliers observés à cette date. Dans le modèle des auteurs, la mortalité atteint 10 000 décès à l’hôpital le 19 avril et elle double tous les 4-5 jours, comme cela était indiqué sur le site internet de l'Ecole des Hautes Etudes de la Santé Publique, sur une page depuis supprimée (https://www.ehesp.fr/2020/04/23/une-etude-inedite-de-chercheurs-de-lehesp-montre-que-le-confinement-aurait-sauve-au-moins-60-000-vies/).

A la lecture de l’article, plusieurs problèmes apparaissent. D’abord, les intervalles de confiance autour des courbes modélisées sont importants : en conséquence, aucune valeur observée de mortalité ou d’hospitalisations ne pourrait remettre le modèle en cause. Par exemple, en Île-de-France (Fig. 2E) le 28 mars, toute valeur dans un intervalle compris entre 20 et 200 décès tomberait dans « l’intervalle de confiance de 95% de la prédiction ». Par ailleurs, l’observation des 13 figures des régions montre que si la courbe reste proche des premiers points observés, les 20 et 21 mars, elle s’en écarte les 27 et 28, avec une tendance à un écart systématiquement positif entre la prédiction et la réalité. En d’autres termes, la courbe diverge des points réels ayant servi à valider le modèle et surestime le nombre d’événements qui auraient pu se produire sans confinement. Les valeurs du modèle augmentant avec le temps de manière exponentielle, la modélisation amplifie systématiquement les résultats à mesure que le temps passe.

La lecture de l’article semble donc suggérer que le modèle surestime notablement les effets positifs du confinement. Il est donc nécessaire de valider ou d’infirmer cette hypothèse par une étude statistique.

Méthodes

Les résultats de la modélisation de Roux et al. (2020) et les points réellement observés du 20 au 28 mars pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital sont issus des registres de Santé Publique France et présentés par ces auteurs pour les 13 régions métropolitaines dans les figures 2 et S3 à S14 (détails A, C, E dans ces dernières).

Pour chaque jour du 20 au 28 mars, et pour chacune des 3 variables, on détermine si le modèle prédit correctement, ou s’il surestime (valeur en dessous de la courbe) ou sous-estime (valeur au- dessus de la courbe) la variable étudiée. Si la modélisation reproduit les données sans biais on doit observer une distribution équilibrée des valeurs observées autour de la prédiction durant la période de validation (20 au 28 mars). Cela se mesure par un nombre semblable de résidus négatifs et de résidus positifs (écarts entre les valeurs observée et prédite) qui s’illustre par un nombre identique de points tombant en dessous de la courbe ou au-dessus. Un test de Chi-2 d’indépendance est utilisé pour déterminer s’il existe un lien entre la date (du 20 au 28 mai) et le signe du résidu sur les 39 valeurs analysées (13 régions, 3 variables). Le niveau de signification est fixé au seuil α = 0.05, comme dans l’étude de Roux et al. (2020).

Dans un second temps, si le test de Chi-2 est significatif, les résidus de Pearson du test de Chi-2 (Haberman, 1973) sont analysés afin d’identifier les jours où la modélisation surestime (trop de résidus positifs) ou sous-estime (trop de résidus négatifs) les indicateurs analysés.

Résultats

Le tableau 1 donne la répartition des points observés.

Tableau 1

Observation de la répartition des points en adéquation (sur la courbe), inférieurs (en-dessous) ou supérieurs (au-dessus) pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital du 20 au 28 mars pour les 13 régions métropolitaines (39 points chaque jour).

La statistique du Chi-2 prend une valeur de 128,92, pour 16 degrés de liberté, avec une valeur p < 0.0001 (valeur critique : 26.30). Elle permet donc de rejeter l’hypothèse selon laquelle il n’existerait pas de lien entre le jour et la précision. Une analyse des résidus de Pearson, qui tendent à suivre une loi normale sous l’hypothèse d’indépendance, est alors réalisée (tableau 2).

Tableau 2

Résidus de Pearson du Chi-2 d’indépendance entre la position des valeurs et la date pour les admissions à l’hôpital, les admissions en réanimation et les décès à l’hôpital du 20 au 28 mars. Les effectifs significativement sous-représentés sont en gras et les effectifs sur-représentés sont en italiques soulignés

Si les résidus ne sont pas significatifs les 20 et 21 mars (distribution homogène au début de la période de validation), ils indiquent que le nombre de points sous la courbe les 27 et 28 mars est plus important qu’attendu dans le cas d’une répartition homogène pendant les 9 jours. L’étude des trois variables séparées donne les mêmes résultats, si ce n’est que les résidus sont significatifs pour les admissions à l’hôpital et les admissions en réanimation les 27 et 28 mars et seulement le 28 mars pour les morts à l’hôpital.

Discussion

La modélisation utilisée par Roux et al. (2020) diverge significativement des valeurs observées les deux derniers jours : elle surestime donc les variables mesurées. Or, dans une évolution de nature exponentielle, les modélisations amplifient les résultats avec le temps : l’écart calculé ne fait que croître, de plus en plus rapidement. Roux et al. (2020) concluent « Notre analyse montre qu’en l’absence de toute mesure de contrôle, l’épidémie de Covid-19 aurait eu une morbi-mortalité critique en France, dépassant en quelques semaines les capacités des hôpitaux français ». Ils estiment qu’un nombre supplémentaire de 61 739 morts aurait dû être comptabilisé à l’hôpital au soir du 19 avril, 10 000 morts étant observés ce seul jour et cette mortalité journalière doublant tous les 4-5 jours. De ce fait, si l’on ne tient pas compte de l’évolution des interactions virus-populations-environnement, poursuivre ce type de modélisation jusqu’au 11 mai aboutit à près de trois millions de décès hospitaliers. En ce qui concerne le nombre d’hospitalisations (590 000 auraient été évitées au soir du 19 avril selon Roux et al., 2020), peut-être aurait-on dépassé le 11 mai… la taille de la population française.

Roux et al. (2020) souhaitaient sans doute démontrer l’efficacité du confinement généralisé en France mais la méthode utilisée ne permet pas de le faire. Les familles de modèles compartimentaux permettent certes de mieux approcher les phénomènes épidémiques, en particulier celui du Covid- 19, mais de nombreux paramètres estimés a priori et encore très incertains à ce jour peuvent changer de manière extrêmement conséquente les trajectoires et les résultats des projections. Leur utilisation doit donc rester prudente quant aux conclusions à en tirer et personne ne peut s’appuyer raisonnablement sur ce type d’étude pour justifier une mesure dont nous n’avons pas fini de mesurer les impacts sanitaires, économiques et sociaux. Alors que l’angoisse et la peine affectent des milliers de familles, il est sans doute préférable d’éviter d’induire de telles erreurs, surtout si elles altèrent la décision publique (https://www.youtube.com/watch?v=8bDvdxXIiro, à 2’26’’). 

 

1: Centre de Recherches sur la Cognition Animale (CRCA), Centre de Biologie Intégrative (CBI Toulouse), Université de Toulouse, CNRS, UPS, Toulouse, France, courriel : eric.le-bourg@univ-tlse3.fr
2: IRMES (Institut de Recherche bioMédicale et d’Epidémiologie du Sport) EA 7329, Université de Paris & INSEP, Paris, France, courriel : quentin.delarochelambert@insep.fr
3: Directeur de l’IRMES, Professeur de Physiologie, Université de Paris, AP-HP, France

Références
- Haberman SJ (1973) The analysis of residuals in cross-classified tables. Biometrics 29: 205-220
- Le Bourg E, Toussaint JF, de Larochelambert Q (2020) Confinement : à trop vouloir prouver... L’Humanité 25 avril, en ligne, https://www.humanite.fr/confinement-trop-vouloir-prouver-688299
- Roux J, Massonnaud C, Crépey P (2020) COVID-19: One-month impact of the French lockdown on the epidemic burden. https://www.ea-reperes.com/wp-content/uploads/2020/04/ImpactConfinement-EHESP-20200322v1.pdf

Copyright © http://www.jim.fr

Réagir

Vos réactions (15)

  • Ce confinement doit cesser

    Le 02 mai 2020

    Merci de ce message qui confirme l'article de G Delépine

    https://www.agoravox.fr/tribune-libre/article/non-le-confinement-ne-sauve-pas-il-223739

    Il montre que le premier ministre a menti à l'assemblée.

    Ce confinement doit cesser. Il a entrainé des morts supplémentaires et beaucoup de pathologies psy pour l'avenir. Honteux. Ne le poursuivons pas avec l'enfermement des enfants à cause d'une propagande inique pour vendre leurs vaccins.
    L'épidémie se termine exigeons de reprendre une vie normale rapidement.

    Dr Gérard Delepine

  • Modèle ? De désinformation !

    Le 02 mai 2020

    La publicité pour le confinement de la population ne recule devant aucun procédé.
    Avant de dire qu'il est meilleur d'enfermer les personnes saines plutôt que d'isoler les personnes malades, il faudrait disposer d'éléments de comparaison.
    Avant de dire que l'enfermement à domicile ajoute quelque chose aux mesures d'hygiène publique (distanciation, masques, prévention du manuportage), il faudrait disposer d'arguments solides.

    Merci aux gens sérieux qui prennent le temps de démontrer les absurdités statistiques de cette "modélisation" - absurdités qui ne font qu'ajouter à sa stupidité conceptuelle.

    Etre stupide n'excuse néanmoins ni l'incompétence, ni la prétention, ni le dévoiement de la science au service de l'idéologie.

    Dr Pierre Rimbaud

  • Effet du confinement pendant la grippe de 1918

    Le 02 mai 2020

    Si l'on compare la mortalité en 1919 lors de la grippe espagnole, entre les villes Saint Louis et Philadelphie au USA, la première ayant pris de régler de confinement tandis que la deuxième n'a pas voulu annuler toute les manifestations en l'honneur de la fin de la guerre. Les courbes sont parlante et montrent un pic de mortalité important à Philadelphie et une mortalité moins importante instantanément et au total à Saint Louis mais plus longue dans le temps. Ceci est très bien montré dans le webinar HEC Lumni par O. Sibony (Minute 50 :https://youtu.be/H6IAOM3Ei2o‌).

    Le déconfinement pose aussi problème dans tous les cas et aucun modèle mathématique ne peux prédire tout ces risques avec une marge d'erreur faible du fait du nombre de paramètres qui interviennent dans la vrai vie à tout moment avec un nombre de biais aussi très important.

    Dr J Guillon

Voir toutes les réactions (15)

Réagir à cet article