(Des erreurs, mon cul, ils l'ont fait exprès ! note de rené)

Bilan des décès du COVID : les scientifiques reconnaissent des erreurs dans les estimations de l’OMS

4 JUIN 2022   anguille sous roche

Des chercheurs de l’Organisation mondiale de la santé expliquent les erreurs commises dans des estimations très médiatisées de la mortalité en Allemagne et en Suède.

Des scientifiques travaillant avec l’Organisation mondiale de la santé (OMS) ont corrigé certaines erreurs surprenantes dans ses estimations du nombre de décès causés par la pandémie, après une avalanche de questions sur le rapport original de l’OMS, publié début mai.

Dans une révision d’un document technique sur leurs méthodes, les chercheurs ont réduit de 37 % l’estimation du nombre de décès liés à la pandémie en Allemagne, ramenant son taux de surmortalité en dessous de ceux du Royaume-Uni et de l’Espagne¹. Ils ont également augmenté de 19 % leur estimation pour la Suède (voir « Estimations corrigées des taux de mortalité liés à la pandémie »).

Sources : WHO/Ref.1

L’étude de l’OMS publiée le 5 mai avait estimé les taux de décès excédentaires – c’est-à-dire l’augmentation de la mortalité au-delà des niveaux attendus – pour 194 pays. L’organisation a indiqué qu’entre 13,3 et 16,6 millions de personnes étaient mortes dans le monde entre janvier 2020 et décembre 2021 à cause de la pandémie, soit plus de 2,5 fois le nombre de décès signalés dans le cadre du COVID-19. Cette estimation était plus prudente que d’autres analyses de la surmortalité (voir « Le véritable bilan du COVID »).

Sources : Our World in Data/The Economist/IHME/WHO

Mais certains observateurs ont rapidement exprimé des inquiétudes quant aux chiffres concernant certains pays, notamment l’Allemagne. On pensait qu’elle avait mieux résisté au COVID-19 que beaucoup d’autres pays d’Europe, mais l’OMS a estimé que son taux de surmortalité était plus élevé que celui de beaucoup de ses voisins.

« Nous nous sommes presque immédiatement rendu compte qu’il y avait un problème », déclare Jon Wakefield, statisticien à l’Université de Washington à Seattle, qui dirige le projet mondial de l’OMS sur les décès dus au COVID-19 et a publié sur Twitter le 18 mai le document révisé. Il précise que l’équipe est en train de réexaminer toutes ses estimations.

Le projet de l’OMS est un modèle vivant qui, selon les chercheurs, devait toujours être mis à jour au fur et à mesure que les démographes obtenaient de nouvelles informations. L’organisation n’a pas encore modifié les chiffres figurant sur le site Web de son projet (voir go.nature.com/3azupk5). Les mises à jour systématiques officielles des estimations de la surmortalité – y compris pour l’Allemagne et la Suède – suivront « lors de la prochaine itération prévue plus tard dans l’année », déclare Somnath Chatterji, conseiller principal à la Division des données, de l’analyse et de la diffusion pour l’impact de l’OMS à Genève, en Suisse.

Ces erreurs sont importantes car l’étude de l’OMS a rapidement reçu l’attention des médias du monde entier en tant qu’estimation officielle du nombre réel de vies perdues à cause de la pandémie. Le projet est également politiquement sensible : certaines critiques ont utilisé la première série d’estimations incorrectes pour remettre en question la politique allemande en matière de pandémie. Et le gouvernement indien conteste l’estimation de l’OMS, qui fait état de 3,3 à 6,5 millions de décès dans le pays, soit environ 10 fois plus que le bilan officiel indien de la COVID-19. (D’autres chercheurs affirment que l’estimation de l’OMS est plus digne de foi que celle du gouvernement indien ; le chiffre de l’OMS est également conforme à plusieurs autres études).

Dans une interview accordée à Nature, Wakefield a expliqué les problèmes que son équipe a trouvés dans son travail. « Nous voulons que cela sorte parce que c’est faux. Nous devons le corriger », dit-il.

Le tableau d’ensemble

Pour déterminer combien de personnes sont mortes à cause de la pandémie, les chercheurs modélisent tous les décès survenus au cours de la période et soustraient une base de référence des décès attendus (ceux qui se seraient produits en l’absence de pandémie). Ce qui reste, ce sont les décès hors norme : une mesure plus fiable de la mortalité liée à la pandémie que celle fournie par les chiffres officiels, car de nombreux pays ont sous-déclaré ou omis de déclarer les décès liés au COVID.

Ce type de projet ne peut donner que des approximations grossières, car il nécessite une modélisation complexe et une révision régulière au fur et à mesure de l’arrivée de nouvelles données. Par exemple, selon l’OMS, seuls 100 pays dans le monde ont jusqu’à présent communiqué des données nationales sur les décès chaque mois pendant au moins une partie de la période pandémique. Les chiffres de l’OMS ont néanmoins montré que certains pays, comme l’Inde, la Russie et l’Égypte, avaient massivement sous-compté leurs décès dus à la grippe COVID-19 : la surmortalité de ces pays au cours de la période 2020-21 était beaucoup plus élevée que leur bilan officiel. Les estimations ont également montré les pays qui ont connu beaucoup plus de décès que les niveaux normaux – plusieurs d’entre eux en Amérique du Sud. Le Pérou se distingue, avec une hausse des décès qui a presque doublé sa mortalité habituelle pour ces deux années.

Ce qui a surpris les critiques, en revanche, ce sont certains des résultats concernant les pays riches qui communiquent des données sur les décès en temps voulu, comme l’Allemagne et la Suède. Le problème semblait provenir de la façon dont les décès attendus avaient été modélisés. Quelques heures après la publication des résultats de l’OMS, des commentateurs sur Twitter ont fait remarquer que la prévision de l’organisation concernant la mortalité attendue en Allemagne en 2020-21 était étonnamment basse, ce qui a fait grimper les chiffres de la surmortalité.

Où l’OMS s’est trompée

Les chercheurs modélisent la mortalité attendue en extrapolant les tendances historiques. Par exemple, le World Mortality Dataset (WMD), un projet largement cité, utilise une extrapolation linéaire à partir des décès de 2015-19 pour tenir compte des tendances sous-jacentes de la mortalité. Un chercheur de ce projet, l’économiste Ariel Karlinsky de l’Université hébraïque de Jérusalem en Israël, faisait également partie de l’équipe technique de Wakefield. Cependant, le groupe de l’OMS a utilisé une fonction mathématique appelée spline à plaque mince pour estimer les décès attendus pour 2020-21. Malheureusement, comme l’ont fait remarquer les commentateurs sur Twitter, cette fonction semblait trop sensible à une légère baisse des décès en Allemagne en 2019 ; elle prévoyait également une baisse des décès en 2020 et 2021 (voir « Le puzzle allemand »).

Sources : World Mortality Dataset/WHO/J. Wakefield

« Extrapoler une spline est une mauvaise pratique connue », déclare Jonas Schöley, démographe à l’Institut Max Planck de recherche démographique de Rostock, en Allemagne. Nature a interrogé d’autres démographes, qui sont du même avis.

On a demandé à Schöley d’examiner le document technique de l’OMS en avril dernier, et il dit avoir averti Wakefield à l’époque que les extrapolations par spline peuvent conduire à des « prévisions de tendances erratiques ». Mais à l’époque, les données et les estimations avaient été gravées dans le marbre par l’équipe de l’OMS ; Schöley a été consulté pour vérifier un autre aspect du travail.

Après les critiques, Wakefield et l’équipe de l’OMS ont réexaminé leur méthode d’extrapolation. Mais ils ont alors découvert un deuxième problème, qui s’est avéré plus préoccupant : leurs données sur les décès réels en Allemagne ne correspondaient pas aux données brutes des bureaux de statistiques allemands, également rassemblées dans des projets tels que le WMD. Ce décalage affectait non seulement les décès signalés en 2020 et 2021, mais aussi les données historiques de 2015 à 19. Cela avait joué un rôle majeur dans leur faible extrapolation des décès attendus.

Ce décalage s’explique par le fait que les scientifiques de l’OMS ont ajusté – ou « mis à l’échelle » – les données brutes sur la mortalité. L’OMS procède souvent ainsi pour les données qu’elle reçoit des pays, explique M. Wakefield. Il peut y avoir de bonnes raisons à cela : l’organisation essaie de corriger les sous-déclarations, les incohérences avec d’autres flux de données ou les erreurs d’exhaustivité, par exemple lorsque les données de mortalité des derniers mois sont censées augmenter à mesure que d’autres résultats sont reçus. Mais il était moins évident que ce processus s’applique à l’Allemagne, un pays qui dispose de rapports détaillés sur la mortalité. « Nous devons examiner la manière dont l’ajustement pour la sous-déclaration est effectué », déclare Wakefield.

L’équipe de Wakefield est revenue aux données brutes et a utilisé une extrapolation linéaire en 2020 et 2021 (voir « Les décès révisés de l’Allemagne »). Ironiquement, l’extrapolation spline sur les données brutes donne des résultats similaires, ajoute Wakefield. L’effet global réduit les estimations de la surmortalité de l’Allemagne en 2020-21 de 195 000 à 122 000 (avec une fourchette comprise entre 101 000 et 143 000). Son taux de décès excédentaire tombe à 72,7 pour 100 000 personnes par an, contre 116 par an dans le précédent rapport de l’OMS.

Sources : World Mortality Dataset/WHO/J. Wakefield

Les chercheurs ont également corrigé les chiffres de l’OMS pour la Suède, suite à des critiques similaires. L’un des groupes qui a réagi est le COVID-19 Actuaries Response Group, un forum composé principalement d’actuaires basés au Royaume-Uni qui ont régulièrement examiné l’impact de la pandémie sur la mortalité. Le 16 mai, le groupe a publié un blog dans lequel il notait que les chiffres de mortalité de la Suède figurant dans le rapport de l’OMS ne correspondaient pas à ceux de Statistics Sweden (go.nature.com/3nctx5s). En fait, les chiffres de l’OMS semblaient différer des sources officielles de déclaration pour de nombreux pays européens.

Il s’est avéré qu’il s’agissait des deux mêmes problèmes : la technique de la spline et la mise à l’échelle. Une fois de plus, l’équipe de Wakefield a révisé son approche pour utiliser l’extrapolation linéaire sur les données brutes (voir « Les décès révisés de la Suède »). Dans ce cas, le taux de mortalité excédentaire annuel de la Suède est passé de 55,8 à 66,1 pour 100 000. Schöley attribue à Wakefield le mérite de s’être rapidement attaqué au problème. « Il s’agit d’un modèle sur la façon de gérer un examen public honnête par les pairs », a tweeté Schöley.

Sources : World Mortality Dataset/WHO/J. Wakefield

D’autres pays européens pourraient également être affectés par la mise à l’échelle des chiffres de décès par l’OMS – la Norvège est un autre pays sur lequel les critiques ont soulevé des questions. M. Wakefield indique que son équipe va maintenant revoir les procédures de mise à l’échelle de l’OMS, ainsi que la manière dont elle extrapole à partir des données historiques. « Je ne pense pas que cela fasse une grande différence pour la plupart des pays », dit-il.

Les révisions rapprochent les chiffres de l’OMS pour l’Allemagne de ceux d’un autre modèle, produit par The Economist. Mais un troisième modèle, de l’Institute for Health Metrics and Evaluation (IHME) de Seattle (Washington), publié dans The Lancet, fait figure d’aberration². Il estime à plus de 200 000 le nombre de décès en excès pour l’Allemagne. « La méthode de l’Economist est la plus transparente et la plus défendable », écrit l’équipe de Wakefield dans son document technique.

Interrogé à ce sujet, Haidong Wang, démographe et spécialiste de la santé des populations à l’IHME, a seulement répondu que les différences dans les estimations globales peuvent résulter de la manière dont les modèles traitent les données relatives à la mortalité, y compris la manière dont les chiffres sont ajustés pour tenir compte des problèmes de sous-enregistrement et d’exhaustivité, et la manière dont les modèles estiment la mortalité attendue.

Comment comparer les pays

Dès que les résultats de l’OMS ont été publiés, des chercheurs, des hommes politiques, des journalistes et d’autres personnes les ont utilisés pour comparer les pays. Certains y ont vu un moyen d’évaluer les réponses politiques des nations à la pandémie.

Une des subtilités de cette démarche est que les taux de mortalité excédentaire ne sont pas la seule métrique utile. Une autre mesure est la proportion de décès supérieurs à la norme dans un pays, ce qui peut donner des résultats légèrement différents. Par exemple, les décès survenus en Allemagne pendant la pandémie étaient supérieurs de 6,5 % à la normale, alors qu’en Suède, ils étaient supérieurs de 7,5 % (même si le taux de mortalité excédentaire par habitant en Allemagne est supérieur à celui de la Suède ; voir « Décès supérieurs à la normale »). Ces chiffres sont assortis d’une marge d’incertitude – ou « intervalles crédibles », comme les chercheurs les appellent. Néanmoins, même lorsque les intervalles crédibles de deux pays se chevauchent, le pays dont l’estimation centrale est la plus élevée a une plus grande probabilité d’avoir réellement un taux de mortalité excédentaire plus élevé, explique Wakefield.

Sources : J. Wakefield/WHO

Les démographes expérimentent d’autres façons de montrer ces fourchettes (voir « Visualiser l’incertitude »). Ce graphique, qui présente les taux de mortalité excédentaire, y compris les chiffres révisés de l’Allemagne et de la Suède, a été créé par Victoria Knutson, doctorante à l’université de Washington et co-auteur du document technique révisé sur les méthodes d’étude de l’OMS.

Sources : J. Wakefield/V. Knutson

Le problème majeur des comparaisons est que, bien que les chiffres des taux de mortalité montrent à quel point les pays ont été touchés par la pandémie les uns par rapport aux autres, cela reflète en partie les différences démographiques entre eux. Selon M. Schöley, si l’on veut estimer le succès relatif de la stratégie d’atténuation de la pandémie d’un pays, il est essentiel d’utiliser des chiffres ajustés en fonction de la démographie particulière de ce pays, car le risque de mortalité lié au COVID-19 est plus élevé chez les personnes âgées et les hommes. Wakefield affirme que cet ajustement donnerait une image plus nuancée, mais que l’OMS n’a pas publié de taux de surmortalité mondiaux ajustés en fonction de l’âge parce que des estimations fiables de la mortalité par âge ne sont pas disponibles dans de nombreux endroits.

Certaines organisations communiquent des données provisoires en utilisant des taux de mortalité normalisés par âge. Par exemple, l’Office for National Statistics du Royaume-Uni le fait dans ses comparaisons de la mortalité toutes causes confondues en Europe, bien qu’il n’ait pas encore inclus les données jusqu’à la fin de 2021.

D’autres chercheurs, dont Schöley, ont adopté une approche similaire, en indiquant dans des prétirés ³,⁴comment l’espérance de vie moyenne – qui est calculée à partir des taux de mortalité par âge – a évolué au cours de la pandémie dans plus de 20 pays. Sur la base de ces calculs, par exemple, le Royaume-Uni a fait moins bien que l’Espagne et l’Italie en termes d’espérance de vie perdue au cours des deux dernières années, même si les trois pays ont des chiffres de surmortalité largement similaires. L’Espagne, l’Italie et l’Allemagne ont des valeurs d’espérance de vie à peu près égales, et la Suède et les autres pays scandinaves avaient récupéré, fin 2021, les pertes moyennes d’espérance de vie causées par la pandémie (voir « Pertes d’espérance de vie »).

Source : Ref. 3

Les chiffres montrent également que les États-Unis ont obtenu de moins bons résultats que de nombreuses nations riches comparables, ayant perdu plus de deux ans d’espérance de vie moyenne par rapport à 2019.

Les calculs de l’espérance de vie ont toutefois tendance à donner plus de poids aux décès prématurés chez les personnes plus jeunes – car plus d’années de vie sont perdues dans ces cas-là. Les États-Unis ont également connu un excès notable de décès dans les groupes d’âge plus jeunes, selon les démographes.

Réfléchissant aux corrections, Wakefield concède que les erreurs étaient malheureuses. « Écoutez, nous nous sommes trompés », dit-il. « Et je n’ai pas de problème avec cela, pour être honnête. Parce que c’est la science, non ? Si quelqu’un vous critique, corrigeons-le. Ça ne veut pas dire que tout est faux. Ce que je pense que cela signifie en fait, c’est que nous avons une approche très transparente et que nous sommes prêts à prendre note des critiques raisonnées. »

« J’espère que les gens se rendent compte qu’il n’est pas possible d’avoir raison pour tous les pays du premier coup, et je suis convaincu que nos estimations sont plus fiables que celles de l’IHME et de The Economist », ajoute-t-il.

Selon lui, les plus grandes incertitudes dans les études sur la surmortalité ne concernent pas les nations européennes riches en données, mais les pays qui ne publient pas de données sur la mortalité toutes causes confondues. Pour ces pays, les démographes doivent utiliser des modèles informatiques pour estimer ce qu’était probablement la mortalité, en se basant sur d’autres pays aux caractéristiques similaires et sur toutes les enquêtes qui donnent une idée des décès régionaux.

C’est à cette procédure difficile que l’équipe de l’OMS a consacré la majeure partie de son temps, précise M. Wakefield. Ce sont ces résultats qui sont les plus susceptibles de changer dans les mises à jour ultérieures si d’autres données sur la mortalité peuvent être recueillies, en utilisant des mesures telles que les enquêtes ainsi que les statistiques officielles. « Si nous pouvions obtenir des données pour de nombreux pays d’Afrique, ce serait un grand changement », dit-il.

Nature 606, 242-244 (2022)

doi: https://doi.org/10.1038/d41586-022-01526-0

Références :

1. Knutson, V., Aleshin-Guendel, S. Karlinsky, A., Msemburi, W. & Wakefield, J. Preprint at https://arxiv.org/abs/2205.09081 (2022).
2. Collaborateurs de COVID-19 Excess Mortality. Lancet 399, 1513-1536 (2022). PubMed – Article – Google Scholar
3. Schöley, J. et al. Preprint at medRxiv https://doi.org/10.1101/2022.02.23.22271380 (2022).
4. Masters, R. K., Aron, L. Y. & Woolf, S. H. Preprint at medRxiv https://doi.org/10.1101/2022.04.05.22273393 (2022).

Lire aussi : La vérité sur les décès dus au Covid en Grande-Bretagne

Source : Nature – Traduit par Anguille sous roche