Résumé :

Nous avons récemment vu comment, à l’aide d’un modèle statistique plutôt simpliste, des chercheurs britanniques avaient tenté de démontrer que la légère décroissance des populations d’abeilles sauvages en Angleterre cachait en fait un effet négatif des néonicotinoïdes, compensé par un effet positif de l’augmentation des surfaces de colza[1]. Une démonstration qui ne pouvait convaincre qu’un public conquis d’avance, comme l’équipe « scientifique » du Monde.

Cette publication n’était pas la première du genre : devant la difficulté à mettre en évidence des effets macroscopiques des néonicotinoïdes sur le terrain, la nouvelle tendance est en effet de démontrer que ce manque d’effet visible n’est qu’une apparence, leur toxicité étant contrebalancée par de mystérieux effets positifs… mis à jour après des traitements statistiques complexes. D’après ces émules modernes du Dr Knock, les abeilles insouciantes, qui se portent bien malgré les néonicotinoïdes, sont en fait des malades qui s’ignorent. Revenons cette fois sur un exemple particulièrement emblématique de ces nouvelles pistes de recherche : une étude publiée en 2015 sur des abeilles marquées avec des puces RFID. Entre des surmortalités massives qui ne font pas baisser la population, et un intervalle de confiance à 95% qui ne contient que 33% des données observées, cette publication est un feu d’artifice de créativité statistique. Au point qu’on pardonnerait presque aux auteurs d’avoir oublié de traiter un « petit » détail : la coïncidence fâcheuse entre la localisation des parcelles de colza traitées et un foyer d’une grave maladie bactérienne…

Article

L’ANSES a publié en janvier 2016 un nouvel avis sur les effets des néonicotinoïdes sur les abeilles[2]. Le principal résultat scientifique nouveau mis en avant dans cette note est une étude publiée en novembre 2015, portant sur le suivi d’abeilles marquées avec une puce RFID[3]. Dans son avis, l’ANSES reprend sans aucune objection les conclusions de l’article (ou plus précisément du communiqué de presse qui a accompagné sa sortie[4]) :

« Une mortalité accrue des abeilles butineuses a été observée dans les ruches exposées. Cette mortalité augmente avec le temps et l’avancement de la floraison du colza, la taille des parcelles et leur proximité par rapport à la ruche. Toutefois, aucun impact sur les performances de la ruche ni les quantités de miel produites n’a été observé. Les colonies étudiées ont compensé la surmortalité des individus par des mécanismes de régulation démographique des colonies. Elles ont ainsi conservé des effectifs d’ouvrières et de butineuses suffisants pour maintenir la dynamique de production du miel, au détriment du couvain mâle ». 

Voilà une belle étude de cas pour l’application du principe  de précaution : les auteurs n’ont observé aucun effet des néonicotinoïdes sur la population totale des ruches, ni sur leur production de miel. Mais, en analysant plus finement les résultats, ils auraient mis en évidence un effet toxique de l’insecticide, heureusement compensé par la miraculeuse résilience des merveilleuses abeilles. Il y aurait donc de bonnes raisons de continuer à restreindre l’usage des néonicotinoïdes, comme le recommande l’ANSES, voire à les interdire. Alors pourquoi mettons-nous un conditionnel ? Parce que si on se plonge dans l’article, et non dans son communiqué de presse, les choses deviennent beaucoup moins claires… Pourtant, cette étude était censée mettre fin aux doutes sur une expérimentation de la même équipe en 2012. Publiée dans la prestigieuse revue Science, cette première publication avait connu un beau succès médiatique, avant d’être critiquée à propos du modèle statistique employé, et du fait que les abeilles y avaient été exposées à des doses supérieures à celles observées sur le terrain. Cette nouvelle publication allait-elle clouer le bec aux détracteurs de l’article de Science? Pas si sûr…

Comme d’habitude, une analyse détaillée de l’article demande un temps considérable. Nous n’en citerons ici que les résultats les plus marquants. Pour plus de détails, voir ici.

Une forte surmortalité … sans effet sur la population

Si on lit en détail les résultats de l’article[5], on note déjà une périphrase significative du communiqué de presse (et donc de l’avis ANSES) : le terme vague « performances de la ruche » signifie plus précisément qu’on n’a pas observé d’effet sur la population de la ruche ni sur sa production de miel. Ce qui est tout de même un peu gênant, quand on affirme avoir détecté (après moult redressements statistiques il est vrai) de fortes surmortalités dans les ruches exposées ! D’autant plus ennuyeux, que, si on essaie de recalculer la mortalité des ruches les plus exposées (que curieusement les auteurs ne nous ont pas indiquée), on trouve qu’elles auraient dû perdre toutes leurs butineuses en une quinzaine de jours :

Courbes de survie recalculées à partir des données de l’article (Fig.2a et 3a de Henry et al., pour le mode de calcul, voir ici).

D’après ces courbes, les butineuses devraient avoir disparu en deux semaines sur les ruches les plus exposées (60 unités d’exposition). Il est déjà étonnant que cette disparition n’ait pas entrainé de variation observable de la population totale de la ruche. Les auteurs prétendent que cette surmortalité aurait été compensée par une production accrue  de larves d’ouvrières. Outre le fait que leur démonstration de cette surproduction d’ouvrières n’est guère convaincante (voir l’étude détaillée), leur raisonnement omet un petit détail : les larves et les jeunes ouvrières ne sortent pas de la ruche, leur alimentation dépend donc, pendant plus de 3 semaines, de la nourriture apportée par les butineuses. Si celles-ci avaient subi des mortalités aussi importantes, il ne servait à rien de produire des ouvrières surnuméraires : celles-ci auraient de grandes chances de mourir de faim avant de voler de leurs propres ailes…

Il y a donc de quoi s’interroger sur la validité du modèle utilisé pour calculer cette surmortalité… d’autant plus que ce n’est pas la seule bizarrerie statistique de l’article.

Quand les statistiques sont plus belles que les données, publiez les statistiques

 

Le summum de la perplexité est atteint quand les auteurs prétendent valider leur estimation de l’exposition  des ruches au thiamethoxam. En effet, les résultats que nous venons de voir, déjà peu convaincants,  ne sont pas corrélés à des mesures de thiamethoxam absorbé par les abeilles, mais à des unités d’exposition théoriques, selon un mode de calcul défini par les auteurs. Dans l’article, ceux-ci nous assurent, statistiques à l’appui, avoir validé leurs unités d’exposition par des analyses de thiamethoxam dans le nectar collecté par les abeilles. Mais quand on va chercher dans les documents annexes le graphique illustrant cette validation, on a du mal à partager leur optimisme : il est difficile d’imaginer un patatoïde plus parfait que le nuage de points qu’ils nous présentent.

Fig S2a de l’article Henry et al : relation entre les unités d’exposition utilisées par les auteurs, et les résidus de Thiamethoxam trouvés dans le nectar. Les auteurs nous assurent que leurs unités d’exposition (Field exposure units) sont bien corrélées au thiamethoxam consommé. Le moins que l’on puisse dire est que cela ne saute pas aux yeux quand on regarde le graphique ! La zone grisée est censée représenter l’intervalle de confiance à 95% du modèle utilisé. Curieusement, elle est très loin de contenir 95% des points du graphe, surtout pour les ruches considérées comme exposées par les auteurs (Field Exposure Units >8). Notons en passant que, comme tous les résultats embarrassants, cette figure est dans les suppléments électroniques, et non dans l’article lui-même.

Soyons justes : il est vrai que, pour les unités d’exposition inférieures à 8, on ne retrouve jamais de thiamethoxam.  Mais sitôt que ce seuil de 8 est dépassé, il n’y a plus aucune corrélation entre les unités d’exposition et le thiamethoxam. Or, c’est par rapport à ces unités d’exposition que les auteurs avaient trouvé un effet-dose sur la mortalité. Si on suit jusqu’au bout leur raisonnement, la mortalité n’est donc pas liée à la quantité de thiamethoxam absorbée, mais simplement à la proximité de parcelles traitées avec ce produit. Aurait-il un effet homéopathique ? Surement une nouvelle piste à creuser par l’ANSES.

Surmortalité près des colza traités, oui. Mais est-ce dû aux néonicotinoïdes ?

Cela dit, ne chicanons pas : quand on examine la figure 3A de l’article, où les chiffres ont l’avantage de ne pas avoir été redressés par les auteurs, on voit bien qu’il y a effectivement une légère surmortalité (de l’ordre de 5 %) sur les ruches proches des colzas traités. Mais est-elle forcément due au thiamethoxam ? Quand on examine les cartes de répartition des ruches, on se rend compte que pendant les deux années de l’expérimentation, les parcelles traitées se trouvaient dans la même zone, avec un paysage agricole sensiblement différent de celui des parcelles non traitées. Même si les auteurs ont tenté de redresser cet effet de la complexité du paysage, cela a pu biaiser les résultats. Et surtout, il faut éplucher soigneusement l’article pour se rendre compte  du fait qu’un facteur de confusion majeur n’a pas été traité.

1609-Notes-de-Lecture-Stoop-NNics-episode2

Figure 1 de Henry et al. : localisation des ruches et des parcelles de colza pendant les deux années d’expérimentation

Les auteurs signalent en passant qu’ils ont éliminé des résultats une ruche gravement attaquée par la loque, une maladie bactérienne des abeilles.  Ils n’indiquent pas l’année ni l’endroit où cette ruche se trouvait, mais ils signalent que c’était celle qui avait la plus haute exposition au thiametoxam (82 unités d’exposition). Il est donc clair qu’il s’agissait d’une des 2 ruches les plus au sud, en 2013 (à gauche sur la Figure 1). Or la loque est une maladie fortement contagieuse. Il est donc probable qu’elle a aussi contaminé de façon moins visible les ruches voisines… qui avaient aussi une forte exposition au thiametoxam. Comme de plus les parcelles de colza traitées se situaient toujours dans la même zone en 2014, la proximité avec ces parcelles était donc associée à un risque plus élevé de loque pendant les deux années de l’expérience… sans que le niveau d’infestation des ruches par la bactérie n’ait jamais été vérifié. Un facteur de confusion essentiel, qui n’a absolument pas été traité par les auteurs !

Une publication emblématique

Cet article est emblématique de plusieurs dérives fréquentes des publications sur les méfaits réels ou supposés des facteurs environnementaux :

• Les effets identifiés par les auteurs ne portent sur aucune variable observable en pratique sur le terrain. Il s’agit d’effets purement statistiques, complètement dépendants du modèle employé. Ce ne serait pas forcément gênant, si les auteurs nous montraient ensuite que ces effets virtuels se traduisent bien dans des variables ayant une signification claire. Pour reprendre l’exemple des résultats de mortalité : les auteurs nous parlent de surmortalités significatives de 25%, qui sont ininterprétables tant qu’on ne connait pas la mortalité de base (c’est-à-dire celle des ruches non exposées). Pour caricaturer, si la mortalité de base est de 0%, une surmortalité de 25% reste égale à 0%. Or nous ne connaissons pas cette mortalité de base, et les auteurs n’ont même pas daigné nous montrer la comparaison entre les courbes des ruches les plus exposées et les ruches témoins.
• L’article glose longuement sur les deux malheureux résultats significatifs que les auteurs ont réussi à obtenir, après moult traitements statistiques sur des variables ininterprétables à elles seules, à propos de la mortalité des butineuses et du sex ratio du couvain. Il passe beaucoup plus rapidement (et le plus souvent dans les documents supplémentaires seulement), sur la masse des résultats non significatifs qui ont été obtenus. Pourtant, ces résultats non significatifs portaient sur des variables beaucoup plus importantes, comme la population globale de la ruche et sa production de miel. A partir de ces deux variables ésotériques mais statistiquement significatives, péniblement dénichées dans la meule de foin des résultats non significatifs, les auteurs suggèrent une cohérence possible : les néonicotinoïdes auraient provoqué un stress compensé par une production accrue d’ouvrières. Cela permet certes de suggérer de nouvelles pistes de recherche, mais pour l’instant cela relève plus du storytelling que de la démonstration scientifique. Au bout du compte, nous arrivons à une inversion totale du rôle des analyses statistiques : elles ne sont plus un moyen (pour valider les variations des variables que l’on voulait étudier), mais elles deviennent un but en soi : un résultat statistiquement significatif est digne d’être publié, même s’il porte sur une variable ininterprétable, que l’on n’aurait jamais pensé à regarder sinon.
• Vu les difficultés d’interprétation de l’article, un décryptage par le communiqué de presse de l’INRA était bien utile pour que la presse généraliste saisisse bien ses enjeux, quitte à les surligner un peu lourdement. Ce travail de vulgarisation relève bien de la mission d’un service de presse comme celui de l’INRA. Par contre, il est très regrettable que ce communiqué en ait profité pour affirmer que cette nouvelle expérimentation confirmait la première publication de la même équipe en 2012, ce qui est doublement faux :
  • Cette nouvelle étude ne permet pas de vérifier l’effet de désorientation des abeilles invoqué en 2012
  • Le modèle développé par les auteurs en 2012 prévoyait des effets forts des néonicotinoïdes sur la population globale de la ruche, ce que la publication de 2015 n’a pas observé.

Il est d’ailleurs révélateur que ce ne soit pas Science qui ait publié ce nouvel article, qui était pourtant censé lever les soupçons sur la publication acceptée par la prestigieuse revue en 2012. Manifestement, les reviewers de Science n’ont pas été plus convaincus que nous par cette nouvelle démonstration, et les auteurs ont dû se contenter d’un journal nettement moins en vue.

Pour finir, il est intéressant de noter que les auteurs déclarent avoir suivi les recommandations de l’ANSES pour la réalisation de leur étude. S’agissait-il de recommandations portant sur le protocole expérimental, ou sur les traitements statistiques appliqués ? Si l’ANSES valide bien les méthodes statistiques employées ici, cela nous promet de nombreux scoops scientifico-sanitaires dans les prochaines années…

Philippe Stoop

[1] http://www.forumphyto.fr/2016/09/15/les-nuisances-virtuelles-des-neonicotinoides-episode-1-les-abeilles-sauvages/

[2] https://www.anses.fr/fr/system/files/SUBCHIM2015SA0142.pdf

[3] http://rspb.royalsocietypublishing.org/content/282/1819/20152110.long

[4] http://presse.inra.fr/Ressources/Communiques-de-presse/Neonicotinoides-et-abeilles-la-desorientation-des-individus-confirmee-en-plein-champ-la-colonie-adapte-sa-strategie