Résumé : une publication récente a observé un risque de cancer réduit de 25% environ chez les forts consommateurs de bio, à rebours de la grande majorité des études précédentes sur ce sujet. Ce résultat a le plus souvent été interprété comme la démonstration d’un effet protecteur des aliments bio, car les données étaient bien sûr redressées de l’effet des facteurs nutritionnels classiquement considérés comme liés favorablement ou défavorablement au cancer (consommation d’alcool, de viande rouge, de plats ultratransformés, ou à l’inverse consommation de fruits et légumes et de fibre). Mais les résultats de ces ajustements statistiques sont surprenants : tous ces facteurs nutritionnels n’auraient qu’un effet minime comparé à l’effet propre des aliments bio. Pourtant, une étude précédente des mêmes auteurs, sur la même cohorte, et avec la même méthode statistique, avait montré un fort effet des aliments ultratransformés sur le cancer ! Où est l’erreur ?

Les effets de l’alimentation bio : un sujet complexe

Une publication récente de l’INRA et de l’INSERM déclare avoir observé un lien négatif entre incidence du cancer et consommation de produits de l’agriculture biologique, dans une vaste enquête épidémiologique sur les habitudes alimentaires des Français (Baudry et al, 2017[1]). Un résultat que la presse (quelque peu incitée par les auteurs de la publication il est vrai…) a le plus souvent interprété comme la démonstration d’un effet favorable de l’alimentation bio sur la santé. Peut-on vraiment tirer cette conclusion de la publication ? Nous allons voir que c’est loin d’être sûr. Ce qui est certain, c’est qu’une publication récente des mêmes auteurs démontre à l’évidence que la méthode statistique est inadaptée… voire qu’elle permet de choisir à volonté le responsable principal des cancers liés à l’alimentation !

Comme d’habitude, une revue sérieuse d’un article scientifique est quasiment aussi longue que l’article. Nous résumerons ici les points principaux, l’analyse détaillée est ici : Article complet

Quand on s’intéresse à l’effet éventuel de la consommation d’aliments bio, on se heurte à des difficultés, que les auteurs rappellent en toute objectivité dans leur article : la consommation d’aliments bio est fortement corrélée à la plupart des facteurs protecteurs contre les cancers déjà identifiés : les amateurs de bio sont plus attentifs que la moyenne de la population à leur hygiène de vue, ils fument moins, boivent moins d’alcool, consomment plus de fruits et légumes et moins de viande que la moyenne de la population. Cette liaison entre consommation bio et comportements alimentaires « vertueux » avait déjà été observée dans une autre publication sur la cohorte NutriNet-Santé, la population sur laquelle la publication dont nous parlons ici a été réalisée[2]. Elle est encore confirmée dans le Tableau 2 de Baudry et al.

En conséquence, il est très difficile de savoir si un risque plus faible de cancer chez les consommateurs de bio est vraiment dû à un bénéfice de la nourriture bio elle-même, ou n’est que la résultante de l’ensemble de leurs comportements alimentaires favorables : c’est ce que l’on appelle les facteurs de confusion. Bien entendu, les auteurs sont conscients de ce problème, et ont tenté d’y remédier en corrigeant statistiquement les résultats de l’effet de ces facteurs de confusion. Mais nous allons voir que la méthode employée est loin d’être neutre… et surtout que les corrections statistiques appliquées donnent des résultats surprenants

La méthode suivie : classique, mais involontairement orientée

La méthode suivie par les auteurs est classique : ils ont commencé par calculer un indicateur synthétique, l’organic food score (OFS), qui permet de résumer en une variable unique l’importance de l’alimentation bio de chaque membre de la cohorte. Ils ont ensuite étudié la relation entre cet OFS et le nombre de cancers survenus dans la cohorte. Bien entendu, cette relation n’est jamais calculée à partir des données brutes, car elle peut être biaisée par des facteurs de confusion, c’est-à-dire des facteurs protecteurs qui seraient associés à la consommation bio. Comme sur ce sujet les facteurs de confusion potentiels sont légion, les auteurs ont réalisés 3 séries successives d’ajustements statistiques, pour corriger leurs effets :

Tableau 2 de Baudry et al : Association entre cancer (toutes localisations confondues) et consommation bio. Exemple de lecture : dans le modèle 1, le risque de cancer des grands consommateurs de bio (Q4 pour 4^ème quartile, c’est-à-dire les plus forts consommateurs de bio) n’est que de 70% (HR = 0,70) de celui des faibles consommateurs de bio (Q1)

Dans le modèle 1, où ne sont corrigés que les effets de l’âge et du sexe, le groupe des plus forts consommateurs de bio (le quartile 4) a un risque de cancer réduit de 30%. En soi, ce résultat n’a rien de surprenant, puisque ce Q4 regroupe les « bons élèves » de l’hygiène de vie, qui ont tout bon sur presque tous les facteurs de risque : ils fument et boivent moins que la moyenne, consomment moins de viande et plus de fibres, etc.

C’est une 1^ère étape, mais la vraie question est bien sûr de savoir ce qu’il reste de cet effet apparemment favorable du bio, quand on le corrige tous ces facteurs de confusion. C’est ce que les auteurs ont voulu vérifier avec le modèle 2, où ils ajustent les résultats pour éliminer l’effet de tous les facteurs liés à la nutrition. Dans ce modèle 2, l’effet protecteur apparent du bio diminue, mais bien peu finalement : il passe de 30 à 25%. Si l’effet de tous les facteurs nutritionnels actuellement associés au cancer (y compris le tabac et l’alcool) avait réellement été éliminé, cela voudrait dire que l’effet propre des aliments bio est très supérieur à celui de tous les facteurs de risque habituellement identifiés. Voilà qui devrait éveiller les soupçons : et si tous ces redressements statistiques ne marchaient pas si bien que ça ?

L’analyse des résultats du modèle 3 renforce ces doutes. Dans ce modèle, les auteurs ont ajouté, aux effets déjà pris en compte dans le modèle 2, l’effet des aliments ultra-transformés. Or ce modèle donne des résultats absolument identiques à ceux du modèle 2. Là encore, si on prend au pied de la lettre les résultats des ces redressements statistiques, les aliments ultratransformés n’ont aucun effet dans cette étude, ce qui n’a que deux explications possibles :

Soit la consommation d’aliments ultratransformés est la même chez les consommateurs de bio que dans la population générale, ce qui serait pour le moins surprenant.
Soit elle n’a aucun effet sur le risque de cancer. Or ce sujet a déjà été traité dans la cohorte Nutrinet-Santé…

Pesticides ou aliments ultratransformés : choisissez votre coupable !

En effet, dans un article[3] paru début 2018, la même équipe, sur la même cohorte Nutrinet-Santé, a brillamment montré un fort effet des aliments ultra-transformés sur le risque de cancer.

La méthode employée est la même : création d’un indicateur global de la consommation d’aliments transformés, puis utilisation d’un modèle de Cox pour le relier à l’incidence des cancers. Et les résultats sont tout aussi impressionnants :

Extrait du tableau 2 de Fiolet et al : Association entre cancer (toutes localisations confondues) et consommation d’aliments ultratransformés. Exemple de lecture : le risque de cancer des grands consommateurs d’aliments ultratransformés (Quarter 4) est augmenté de 21% dans le modèle 1 (HR = 0,70) de celui des faibles consommateurs (Q1).

Dans cette publication, on constate que les aliments ultratransformés augmentent le risque global de cancer de plus de 20% pour les plus gros consommateurs : des résultats hautement significatifs, et bien entendu après ajustement de l’effet des facteurs de confusion. Or nous avions vu que, dans Baudry et al, la consommation d’aliments ultratransformés, qui faisait l’objet d’un ajustement dans le modèle 3, n’avait strictement aucun effet. La comparaison de ces deux publications (pourtant réalisées par les mêmes auteurs à quelques mois d’intervalle) devrait inciter à une sérieuse remise en cause méthodologique : il semble bien que, quel que soit le facteur nutritionnel principal retenu dans cette méthode, il ait toujours un effet significatif sur le cancer…qui résiste à tous les ajustements.

La méthode suivie est donc très efficace pour enchainer les publications annonçant des liens significatifs entre tout indicateur nutritionnel et risque de cancer, mais beaucoup moins pour savoir quels sont ceux qui ont un rôle sanitaire réel.

Le vrai sujet esquivé

C’est d’autant plus regrettable qu’il y a dans l’enquête un indicateur qui devrait être fondamental, et dont l’interprétation est curieusement sous-exploitée. En effet, les auteurs ont calculé pour chaque participant à l’enquête son mPNNS-GS, c’est-à-dire un indicateur qui mesure la conformité de son régime alimentaire aux recommandations du Programme National Nutritition Santé. La vraie question scientifique aurait dû être de comparer les poids respectifs de l’organic food score et du mPNNS-GS sur le risque de cancer, et en particulier de vérifier si un OFS élevé apporte un effet favorable significatif, à mPNNS-GS égal.

Ce sujet est certes effleuré à deux reprises dans la publication, et les chiffres présentés laissent entendre que l’effet du mPNNS-GS est mineur par rapport à celui de l’organic food score. Mais à chaque fois la comparaison présentée est déséquilibrée : la figure 1 est basée sur le modèle principal utilisé dans tous l’article, dont nous avons vu qu’il semble bien minorer l’effet de tous les facteurs autres que le bio. Dans les éléments supplémentaires fournis en annexe de l’article (eTable6), les auteurs montrent les facteurs de risque associés à différentes combinaisons d’OFS et de mPNNS-GS, indépendamment de tout modèle statistique. Mais ces comparaisons ne portent que sur les personnes ayant un OFS élevé, ce qui tend une fois encore à minimiser l’effet du mPNNS-GS.

Pour être concluants, les traitements appliqués aux données auraient dû être symétriques : les auteurs auraient dû utiliser une 2^ème fois le même modèle statistique en prenant le mPNNS-GS comme variable principale, et faire dans leur tableau annexe tous les croisements possibles entre OFS et mPNNS-GS, pour que l’on puisse juger lequel de ces deux indicateurs a le plus de poids. C’est seulement la comparaison de ces deux approches qui permettrait de vérifier si les aliments bio apportent un réel effet protecteur, à qualité nutritionnelle égale.

Quelques petits arrangements avec l’objectivité scientifique

Certes, les auteurs rappellent plusieurs fois que leurs résultats doivent être confirmées, et citent eux-mêmes, dans leur paragraphe « Limites de l’étude », la plupart des objections que nous avons faites ici à leurs résultats. Mais cela en des termes bien peu compréhensibles pour le grand public. De plus, l’article lui-même mord sérieusement sur la ligne blanche de l’objectivité scientifique, au moins deux fois :

Dans les « Key Points » qui résument l’essentiel de l’article, ils affirment « Une plus haute fréquence de consommation d’aliments biologiques est associée avec un risque réduit de cancer ; si ces découvertes sont confirmées, la promotion de l’alimentation biologique dans la population générale pourrait être une stratégie prometteuse de prévention du cancer». La deuxième partie de cette conclusion n’a de sens que s’il y a démonstration d’un effet propre des aliments bio sur la réduction du risque de cancer. Or nous avons que cet article ne démontre absolument pas l’existence de cet effet propre au bio (et qu’il minimise très fortement l’effet de facteurs nutritionnels démontrés de façon beaucoup plus robustes dans la population générale). De plus, confirmer ce résultat sur une autre cohorte, mais par les mêmes méthodes statistiques, n’apporterait aucune démonstration supplémentaire d’un effet réel du bio.
A propos de confirmation sur une autre cohorte, la façon dont les auteurs citent les résultats de la cohorte anglaise « One million women » est une fois encore très orientée : ils mettent surtout en avant le fait que dans cette cohorte, on avait observé comme dans Nutrinet-Santé une incidence plus faible du lymphome non hodgkinien chez les consommatrices de bio. Ils évoquent aussi le fait que dans la cohorte anglaise on avait observé par contre un excès de cancer du sein chez les consommatrices de bio, mais ils oublient de souligner les contradictions majeures entre les deux cohortes : dans One Million Women, les cancers de l’utérus et du cerveau étaient également en excès significatif chez les consommatrices de bio. Et l’incidence globale des cancers, tous sites confondus, présentait chez elles un excès global faible (3%), mais tout près d’être significatif (intervalle de confiance à 95% : 1,00 – 1,06). Les auteurs contribuent donc au détournement français des résultats de cette étude anglaise, que nous avions déjà signalé dans un article précédent[4].

Un nouvel exemple de « Foucartisation » de la science française

En conclusion, cet article montre bien une relation significative entre consommation bio et risque réduit de cancer. Mais ce résultat en lui-seul ne prouve rien vu la forte corrélation entre consommation bio, hygiène de vie, et respect de l’ensemble des recommandations sanitaires.

La crédibilité de la publication dépend donc de celle de la procédure utilisée pour corriger les résultats de l’effet de tous les facteurs de confusion potentiels (consommation d’alcool, tabac, viande rouge, fibres, etc…). Or l’examen des résultats statistiques suggère très fortement que la méthode employée minimise gravement l’effet des facteurs de confusion, et tend donc à exagérer l’effet du facteur principal étudié dans le modèle (ici l’alimentation bio).

Une publication précédente des mêmes auteurs renforce ces doutes : avec la même méthode, et sur la même cohorte, ils ont montré récemment un fort effet des aliments ultratransformés sur le risque de cancer. Or cet effet disparait complètement dans la nouvelle publication, quand on considère la consommation de bio comme le facteur principal, et que la consommation d’aliments ultratransformés comme une variable à ajuster.

Par conséquent, les résultats présentés sont certes compatibles avec l’hypothèse des auteurs (les aliments bio auraient par eux-mêmes un effet protecteur contre le cancer), mais ne démontrent absolument pas que l’effet favorable observé ne résulte pas simplement du bon respect des recommandations du Programme National Nutrition Santé, tel que mesuré par l’indice mPNNS-GS. Il est d’ailleurs très surprenant que les auteurs aient si peu exploité, et de façon si orientée, les résultats de cet indice qu’ils ont pourtant calculé dans la cohorte.

Cet article ne répond donc pas à ce qui devrait être un des critères les plus importants d’évaluation d’une publication scientifique : elle ne doit pas seulement montrer que les faits observés sont compatibles avec l’hypothèse des auteurs, mais aussi vérifier qu’ils ne peuvent s’expliquer simplement par les connaissances déjà établies. Le fait qu’il ait néanmoins été accepté par le JAMA, une des revues médicales les plus prestigieuses au monde, démontre une fois de plus l’indulgence étonnante de la presse scientifique, même dans les revues les mieux cotées, pour les sujets touchant à l’écologisme.

Le niveau de preuve de cette publication est donc inversement proportionnel à son potentiel médiatique. Il s’agit d’un exemple typique de ce que nous avons déjà appelé la « Foucartisation[5] » d’une certaine science française, qui vise plus les leaders d’opinion comme stephane Foucart du Monde, que les scientifiques. Comme d’habitude sur ce type de sujet, cet article a été abondamment cité dans la presse, le jour même de sa sortie, ce qui confirme une fois de plus l’efficacité des services de presse des instituts de recherche. Comme on pouvait s’y attendre, il était cité sans aucun recul critique par la presse écologiste et la majorité des medias comme une démonstration d’un effet favorable du bio sur la santé, même si pour une fois quelques voix un peu plus critiques ont souligné le manque de représentativité de la population suivie, et rappelé qu’il ne s’agissait que de corrélations statistiques qu’il ne fallait pas surinterpréter. Toutefois la plupart de ces avis critiques ont attribué les dérives à l’interprétation des medias, et non à la publication elle-même. Il faut tout de même s’interroger sérieusement sur le rôle des revues scientifiques, et des auteurs eux-mêmes, sur ces dérives.

Nous avons vu que les auteurs, sans commettre aucune erreur factuelle, ont plus ou moins discrètement orienté l’interprétation de leur étude, avec la bénédiction tacite du JAMA. A partir de là, il est facile pour les médias les plus orientés idéologiquement d’accommoder ces publications à la sauce qui les arrange. Stéphane Foucart du Monde, n’a pas manqué de dégainer, le jour même de la parution de la publication, un article où il franchit hardiment le Rubicon de la relation de causalité entre bio et cancer[6]. Il en a bien sûr profité pour utiliser cette publication dans sa croisade contre les agences sanitaires : « Pour les agences réglementaires, les résidus de pesticides dans l’alimentation ne présentent aucun risque pour la santé. Mais un corpus scientifique récent, sur les effets des mélanges de molécules et des expositions chroniques à faibles doses, suggère que les risques posés par les traces de produits phytosanitaires sont, au contraire, bien réels pour le consommateur. ». Quelques jours après, il récidive en attaquant les scientifiques qui se sont permis de relativiser les résultats de Baudry et al[7] : « Quelques voix, y compris scientifiques, se sont élevées pour relativiser ces conclusions… Des biais, il y en aura toujours…Les scientifiques qui interviennent ainsi dans le débat public le font souvent avec les meilleures intentions. Avec, comme étendard, l’exigence de rigueur. Celle-ci est bien sûr louable. Mais, en matière de santé publique, le rigorisme scientifique est une posture dangereuse. ». Ce faisant, S. Foucart se positionne bien sûr comme défenseur de l’intérêt des citoyens, face aux ergotages des « scientifiques rigoristes ». Mais la vérité n’est pas toujours si simple : en février 2018, il n’avait pas manqué de saluer aussi la publication Fiolet et al. sur les aliments ultratransformés[8], mais n’a manifestement pas relevé le fait que dans Baudry et al ces aliments n’avaient plus aucun effet néfaste. Un peu de « rigorisme scientifique » ne ferait donc pas de mal, pour ne pas se tromper d’ennemi. Bien sûr, en bonne logique précautionniste, on peut ne pas choisir, et décider de bannir tous les boucs émissaires (aliments issus de l’agriculture conventionnelle, et plats ultratransformés). Mais c’est au risque de renchérir encore davantage le régime alimentaire conseillé, et donc aggraver les inégalités sociales face aux recommandations nutritionnelles. Une posture « non rigoriste », mais dangereuse tant que l’on n’a pas vérifié si un bon respect des règles actuelles (telles que les mesure le PNNS-GS) n’est pas tout simplement le meilleur indicateur d’un risque réduit de cancer.

Philippe Stoop

[1] https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2707948

[2] https://info.etude-nutrinet-sante.fr/en/node/64

[3] Fiolet et al, 2018 : https://www.bmj.com/content/360/bmj.k322

[4] http://www.forumphyto.fr/2017/10/30/consommer-bio-quel-effet-sur-le-cancer-attention-il-y-a-un-piege/

[5] http://www.forumphyto.fr/2017/01/20/mais-bt-et-conflits-dinteret-de-la-science-a-la-propagande/

[6] https://www.lemonde.fr/planete/article/2018/10/22/l-alimentation-bio-reduit-significativement-les-risques-de-cancer_5372971_3244.html

[7] https://www.lemonde.fr/idees/article/2018/10/27/en-matiere-de-sante-publique-le-rigorisme-scientifique-est-une-posture-dangereuse_5375460_3232.html

[8] https://www.lemonde.fr/planete/article/2018/02/16/les-aliments-ultra-transformes-favorisent-le-cancer_5257759_3244.html