Nous avons vu, dans deux articles précédents, les techniques de base de la pêche aux alphas, c’est-à-dire l’art d’obtenir dans une publication scientifique des résultats statistiquement significatifs, mais simplement dus au hasard. Dans le premier exemple, celui de notre astrologue épidémiologiste[1], nous avons employé la technique la plus basique, la multiplication des modalités testées. Une méthode simple et infaillible, tout-à-fait suffisante pour convaincre Générations Futures ou Le Monde, mais un peu légère pour faire une carrière scientifique. Dans le cours de niveau 2[2], nous avons vu comment enrober la pêche aux alphas dans des traitements statistiques suffisamment compliqués pour faire passer la pilule à un comité de lecture moyennement motivé. Ça reste insuffisant pour viser Nature ou Science, mais cela fait l’affaire pour des revues assez en vue comme Environmental Health Perspectives, ou des magazines de vulgarisation scientifique comme La Recherche.
Toutefois, la méthode vue en niveau 2 garde un inconvénient majeur : les résultats significatifs obtenus restent dus au hasard. Le chercheur qui l’emploie ne peut pas savoir à l’avance quel va être le résultat significatif qu’il va obtenir. Et, s’il doit refaire une expérience du même type pour approfondir ses premiers résultats, il va de nouveau obtenir des résultats significatifs, mais différents. Il est donc préférable dans certains cas de pouvoir choisir à l’avance le résultat significatif que l’on va obtenir. Heureusement, les statistiques modernes sont pleines de ressources. Nous allons voir maintenant comment une même méthode statistique peut trouver deux causes diamétralement opposées pour le même phénomène, simplement avec un changement mineur de variable de redressement.
L’exemple que nous allons voir cette fois ne concerne pas les pesticides, mais les particules fines. Mais gageons que des spécialistes des pesticides ne manqueront de l’adapter un jour à leur sujet d’étude favori. Ou l’ont peut-être déjà fait, car cette méthode est très difficile à détecter pour toute personne ne disposant pas des données de base de l’étude.
Particules fines 2015 : des résultats inquiétants
Nous allons partir d’une étude épidémiologique publiée en 2015 par l’INVS (Institut National de Veille Sanitaire) dans son Bulletin Epidémiologique Hebdomadaire. Dans cette publication[3], l’INVS a enquêté sur la liaison entre la pollution par les particules fines et la mortalité dans 17 villes françaises. Ses conclusions sont très inquiétantes : non seulement les auteurs observent un effet significatif de la pollution sur la mortalité, dès les premiers jours de pics de pollution ; mais, de plus, cet effet s’observerait même à des concentrations de particules inférieures aux seuils d’alerte actuels. Un résultat bien sûr repris largement par la presse[4].
Ces résultats sont obtenus en étudiant, à un pas de temps journalier, les corrélations entre les statistiques de mortalité non accidentelle, et les mesures des taux de particules fines PM10[5] dans l’air. Les chercheurs détectent ainsi une augmentation significative de la mortalité dans les jours 2 à 5 des pics de pollution, et même dès le premier jour en été. Cet effet s’observerait dès des concentrations de PM10 de l’ordre de 20 mg/m3 d’air, donc bien inférieures au seuil d’alerte pollution de 80 mg/m3, et même au seuil d’information retenu en France (50 mg/m3). Voilà qui est fort inquiétant, mais avant de céder à la panique regardons un peu plus en détail.
Cet effet est significatif à l’échelle de l’année. Mais, si on regarde le détail par saison (tableau 4 de l’article INVS), on constate qu’en fait il ne l’est qu’en été. Ce résultat est un peu surprenant, car quand on voit la distribution saisonnière des concentrations de PM10 (figure p. 18 de l’article), on voit que l’été est la période où les concentrations de PM10 sont les plus basses, aussi bien en valeur moyenne qu’en valeur atteinte lors des pics de pollution. Les PM10 seraient-elles d’autant plus toxiques qu’il y en a moins ?
Quand on voit la saisonnalité de cet effet des particules fines, on pense immédiatement à une interaction avec les températures. Pourtant, les résultats de l’INVS sont redressés en fonction de la température, ce qui aurait dû annuler leur effet. Ce redressement est logique : les particules fines s’accumulent dans l’air en l’absence de vent, donc par temps anticyclonique. Or ces périodes de temps anticyclonique s’accompagnent de températures très basses en hiver, et très élevées en été. Si on ne redressait pas les résultats, on pourrait donc attribuer par erreur aux PM10 un effet dû aux températures extrêmes. Le principe du redressement par la température était donc bon… C’est son exécution qui est pour le moins étrange !
Quand l’INVS ignore ses propres seuils d’alerte
En effet, les auteurs n’ont introduit dans leur modèle que la température moyenne journalière. Or chacun sait, grâce aux alertes canicules (dont les critères ont été définis précisément par l’INVS !) que la température moyenne n’est pas l’indicateur le plus déterminant des risques pour la santé en cas de forte chaleur : les températures extrêmes de la journée, et en particulier la température minimale, sont un bien meilleur indicateur du risque. (cf par exemple http://www.invs.sante.fr/publications/2004/rapport_annuel_2003/alertes_canicule_2003.pdf ; depuis cette publication initiale, les seuils de risque ont été révisés plusieurs fois, mais les indicateurs calculés sont restés les mêmes). De plus, les seuils de risque employés varient considérablement selon les régions. Bien que reposant sur les mêmes techniques statistiques, le modèle employé pour définir les alertes canicule est donc beaucoup plus complexe que celui utilisé dans l’article de 2015.
Par conséquent, réfléchissons à ce qui va se passer dans le modèle utilisé pour cette étude PM10, pour les trois périodes suivantes :
| Température minimale (moyenne sur 3 jours) | Température moyenne
sur 3 jours |
Température maximale (moyenne sur 3 jours) | Alerte canicule
(selon les seuils de Paris : Tmin >21°C et Tmax>31°C) |
|
| Période 1 | 20 ° C | 27°C | 34°C | Non |
| Période 2 | 22° C | 27°C | 32°C | Oui |
| Période 3 | 24°C | 27°C | 30°C | Non |
Tab. 1 : Selon les travaux de l’INVS sur l’effet de la canicule, ces trois périodes ne présentent pas les mêmes risques pour la santé : bien qu’elles aient la même température moyenne, seule la période 2 présente un risque de surmortalité, car elle est la seule où le seuil critique soit dépassé à la fois pour la température minimale et la température maximale.
Comme le modèle utilisé par l’INVS pour les PM10 ne prend en compte que la température moyenne, il va attribuer à la température de 27°C la surmortalité moyenne de ces 3 périodes. Il va donc considérer qu’une température moyenne de 27°C ne génère qu’une faible mortalité. Avec ce modèle, on va trouver un excès de mortalité en période 2 seulement, même après redressement par la température moyenne. Cette surmortalité due à la canicule va-t-elle être comptée comme un effet résiduel aléatoire ? Sans doute pas, car ces périodes de canicule coïncident avec un temps calme, pendant lequel la pollution de l’air s’aggrave progressivement faute de vent. L’effet canicule va donc être attribué de manière erronée à un accroissement des PM10, même si leur concentration n’est pas particulièrement élevée à ce moment : il suffit qu’elle soit croissante. Il est donc évident que le modèle choisi par l’INVS génère un artefact qui présente exactement les mêmes caractéristiques troublantes que l’effet qu’il prête aux PM10 : il ne s’exerce qu’en été, et ne dépend pas de la concentration de PM10, puisqu’il est en fait dû aux températures minimales de la nuit !
En 2003, la faute à la canicule ; en 2015, la faute aux particules fines !
Nous avons vu que la publication sur les PM10, bien qu’analysant les données de l’année entière, n’a en fait identifié des résultats significatifs qu’en été. En conséquence, les deux études, celle de 2003 comme celle de 2015, étudient finalement le même phénomène : la surmortalité estivale en période de temps anticyclonique. On voit ici toute la puissance des statistiques : à 12 ans d’intervalle, le même Institut explique le même phénomène, avec les mêmes méthodes statistiques, par deux causes différentes :
- Une première fois par les températures minimales et maximales
- Une seconde fois par les particules fines, avec un redressement basé sur les températures moyennes
Quel est le vrai coupable ? Probablement un mélange des deux, mais dans quelle proportion ? Pour le savoir, il suffirait de reprendre l’analyse en se concentrant sur la période estivale, et en remplaçant la température moyenne par l’indicateur utilisé pour les alertes canicules. Quant à savoir pourquoi l’INVS a oublié ses propres travaux, le mystère reste entier, si on reste sur le terrain scientifique. Si on s’aventure sur un terrain plus spéculatif, il est difficile de ne pas envisager des influences extérieures :
- En 2003, l’INVS avait été mis sur la sellette, pour ne pas avoir anticipé les effets sanitaires de la canicule. Son étude réalisée a posteriori lui permettait de poser les bases d’un dispositif d’alerte, mais elle renvoyait aussi un message subliminal à ses autorités de tutelle : la complexité du modèle employé, basé sur la combinaison de deux variables avec des seuils différenciés par région, légitimait le fait que l’institut n’ait pas détecté plus tôt les surmortalités liées aux canicules, d’autant plus que les seuils de températures minimales obtenus avaient rarement été atteints avant 2003.
- L’étude de 2015 est sortie quelques mois après que plusieurs ministres aient repris de façon un peu aventureuse un vieux hoax sur les 40 000 morts que les particules fines causeraient en France[6] chaque année (pour rappel, cela représenterait 8% de la mortalité totale, pour un phénomène qui n’est observé que sur une partie du territoire, et quelques jours par an : étonnant, pour un résultat obtenu par des études de surmortalité, qui par définition ne peuvent mettre en évidence que des causes de mortalité épisodiques).
De là à voir un effet du climat politique sur le travail des chercheurs…
Des dangers du cloisonnement de la recherche
Cette amnésie partielle de l’INVS est d’autant plus surprenante que le débat sur les effets respectifs de la température et des particules fines n’est pas nouveau. Le lien entre pics de pollution et mortalité avait été observé dès les années 90, et dès cette époque certains chercheurs avaient fait remarquer que ce lien était beaucoup plus clair en été qu’en hiver. Mais, comme le fait remarquer une des rares publications ayant cherché à approfondir ce sujet[7], cette question a été traitée le plus souvent avec deux approches opposées :
- d’une part des équipes travaillant sur l’effet de la chaleur, le plus souvent dans les pays tropicaux, et sans prise en compte de la pollution
- dans les pays tempérés, essentiellement par des chercheurs spécialisés dans l’analyse des effets de la pollution, qui ont traité l’effet de la température comme un simple facteur de confusion, redressé de façon assez superficielle.
Bien qu’ayant travaillé sur les deux sujets, l’INVS n’a malheureusement pas su éviter ce clivage entre les deux approches, entre 2003 et 2015. Il est permis de se demander combien de morts auraient pu être évitées en France en 2003, si une équipe pluridisciplinaire s’était saisie de ce sujet assez tôt, pour mettre au point un dispositif d’alerte avant cette fameuse canicule. C’est en cela que ce sujet nous ramène à des questions déjà vues à propos des pesticides : nous avons que l’INSERM n’est pas très moteur pour la recherche de facteurs de confusion potentiels avec l’exposition aux pesticides, même à propos de publications montrant des indices forts dans ce domaine.[8] Attention à ce que les pistes de recherche prioritaires des chercheurs (particules fines pour les uns, pesticides pour les autres) ne détournent pas l’attention d’autres risques bien réels !
Lire une analyse plus détaillée de la publication INVS 20915.
Philippe Stoop, docteur- ingénieur en agronomie, directeur Recherche et Innovation de la société iTK
[1] http://www.forumphyto.fr/2016/04/01/la-peche-aux-alphas-non-ce-nest-pas-un-poisson-davril/
[2] http://www.forumphyto.fr/2016/05/19/la-peche-aux-alphas-niveau-2-cours-de-perfectionnement/
[3] http://www.invs.sante.fr/beh/2015/1-2/pdf/2015_1-2_3.pdf
[4] http://tempsreel.nouvelobs.com/sante/20150106.OBS9332/comment-la-pollution-aux-particules-fines-tue-tres-rapidement.html , http://www.lemonde.fr/pollution/article/2015/01/06/la-pollution-a-un-impact-immediat-sur-la-mortalite_4549657_1652666.html , http://sante.lefigaro.fr/actualite/2015/01/06/23229-particules-fines-risque-accru-deces-court-terme
[5] PM 10 : particules en suspension dans l’air, de diamètre inférieur à 10 mm.
[6] http://tempsreel.nouvelobs.com/planete/20130304.OBS0712/le-diesel-combien-de-morts.html et
http://www.senat.fr/compte-rendu-commissions/20150622/ce_pollution.html
[7] http://aje.oxfordjournals.org/content/167/12/1476.full.pdf Malheureusement, cette publication n’a pas échappé au biais de l’étude INVS : les auteurs ont travaillé sur un indicateur supposé mieux refléter les effets physiologiques de la chaleur (la température apparente). Mais ils ont travaillé sur sa valeur moyenne quotidienne, et non les valeurs extrêmes de la journée.
[8] http://www.forumphyto.fr/2016/01/04/pesticides-et-sante-des-agriculteurs-attention-aux-faux-temoins/