La pêche aux alphas,
ou comment montrer un lien entre signe astrologique et cancer

L’analyse statistique des résultats est un élément déterminant de la qualité d’une publication scientifique, en particulier dans le domaine de la biologie, où tous les résultats peuvent être brouillés ou faussés par la variabilité inhérente au monde du vivant. C’est cette analyse qui va déterminer si les différences observées par les chercheurs entre les modalités de leur expérience ou de leur enquête sont significatives, c’est-à-dire causées par le phénomène qu’ils étudient, ou simplement dues au hasard.

Si cette notion de significativité est facilement compréhensible par le grand public quand il s’agit d’une expérience simple, ses implications probabilistes sont souvent oubliées quand on travaille sur une grande enquête, où de nombreuses variables vont être étudiées. C’est là que la pêche aux alphas devient une tentation difficile à repousser pour obtenir en toute circonstance des résultats significatifs. De quoi s’agit-il ?

La pêche aux alphas, qu’est-ce que c’est ?

Pour le comprendre, il faut revenir un instant aux notions de base de l’analyse statistique. Par définition, un test statistique ne donne jamais une réponse binaire « oui, votre hypothèse est juste » ou « non, votre hypothèse est fausse ». Il va calculer la probabilité (dite probabilité critique) que le résultat obtenu soit l’effet du simple hasard. Cette probabilité est comprise entre 0 et 1, mais jamais strictement égale à 0 (ce qui voudrait dire qu’on est sûr que l’effet observé dans cette expérience confirme l’hypothèse de l’auteur). Elle définit ce qu’on appelle le risque de 1^ère espèce, désigné par la lettre α (alpha). Ce risque de 1^ère espèce est le risque d’attribuer par erreur au facteur étudié un effet qui serait simplement dû au hasard. La convention la plus fréquente est de considérer le résultat comme significatif si alpha est inférieur ou égal à 5%, et hautement significatif si alpha est inférieur ou égal à 1%. Ces seuils peuvent paraître assez rigoureux si on n’étudie qu’un seul facteur, mais la situation se complique si on en étudie un grand nombre.

Pour faciliter la compréhension, nous prendrons l’exemple concret d’un astrologue féru de médecine, qui voudrait démontrer que les personnes du signe astrologique du Cancer sont plus sujettes au cancer que la moyenne de la population. Nous ferons l’hypothèse entre nous que le signe astrologique n’a en fait aucune influence sur la santé, mais nous verrons que cela n’empêchera nullement notre astrologue d’obtenir des résultats significatifs, s’il est assez persévérant.

Notre astrologue va enquêter sur un échantillon représentatif de la population française, et calculer la proportion de personnes atteintes du cancer dans deux sous-populations : les personnes de signe cancer d’un part, et toutes les autres d’autre part). Imaginons qu’il trouve les résultats suivants :

Sous population	Prévalence du cancer
Personnes du signe du Cancer	5,25 %
Reste de la population	5,18 %

Voilà un résultat brut encourageant, mais il reste à vérifier si ce résultat est statistiquement significatif. Pour cela, notre astrologue va faire un test statistique de comparaison de moyennes. Comme nous savons (en tout cas nous en avons fait l’hypothèse) que le signe astrologique n’a pas d’influence sur la santé, il n’a que 5% de chances de trouver que son résultat est significatif. Retenons donc l’hypothèse la plus probable (à 95%) : son résultat est non significatif. Il va en être fort marri, mais comme c’est un homme de conviction il en faudra sans doute plus pour le décourager.

A ce stade, il va sans doute se dire qu’il a abordé la question de façon trop globale. Peut-être après tout que le signe Cancer n’aggrave le risque que pour certaines catégories de cancers, et pas pour d’autres, et que c’est cela qui a brouillé l’effet du signe astrologique dans son enquête initiale. Il va alors affiner son étude, et calculer la prévalence des différents types de cancers dans les deux sous-populations. Imaginons qu’il distingue 20 localisations possibles pour les cancers. Il va alors avoir les résultats suivants :

Sous population	1.      Cancer du poumon	2.      Cancer du sein	…	20. Cancer de la prostate
Personnes du signe du Cancer	4,56%	5,48%		5,25 %
Reste de la population	4,73%	5,36%		5,18 %

Cette fois, il va donc devoir réaliser 20 comparaisons de moyennes, au lieu d’une seule. Va-t-il encore être bredouille ? Probablement pas, car un calcul de probabilités élémentaire nous apprend que, même si le signe astrologique n’a d’effet sur aucune de ces maladies, la probabilité de n’obtenir aucun résultat significatif à l’issue de ces 20 tests n’est que de 0,95²⁰, soit 35,8%. Il a donc près de 2 chances sur 3 (64,2 % pour être précis) d’obtenir un effet « significatif » du signe astrologique sur au moins un type de cancer ! Et s’il pousse le principe de précaution jusqu’à vérifier l’effet éventuel des autres signes astrologiques, c’est le jackpot assuré. Il devra réaliser en effet 240 tests (12 signes astrologiques*20 localisations de cancer), le plus probable est donc qu’il trouvera 4 ou 5 effets significatifs à 5% (240*5%), il a même 91% de chances (1-0,99²⁴⁰) de trouver au moins un résultat hautement significatif ! Et, pour chacun des cancers étudiés, il a 45 % de chances (1-0,95¹²) de trouver au moins un signe astrologique qui ait un effet significatif.

Exprimé en termes plus généraux, on voit donc que, quel que soit alpha, la probabilité d’obtenir au moins un résultat significatif au seuil alpha tend vers 1, quand le nombre de tests réalisés devient très supérieur à 1/alpha. De façon plus pratique, la leçon à retenir est donc simple, pour tout chercheur auteur d’une belle hypothèse que les faits rechignent à confirmer : compliquez à loisir votre dispositif expérimental ou votre enquête, et par la magie du risque de 1^ère espèce, vous finirez forcément par attraper les résultats « significatifs » qui vous échappent avec un dispositif plus simple. C’est ce que nous appellerons la pêche aux alphas.

Un risque de dérive difficile à contrôler

Comme nous venons de le voir, il devient inévitable d’avoir des résultats significatifs au seuil alpha, si le nombre de tests réalisés est proche de 1/alpha, ou supérieur. Dans ce cas, la question qu’il faudrait se poser devient : y-a-t-il un excès significatif de résultats significatifs à 5% dans la série de tests présentés ?

Bien entendu, il existe des tests statistiques pour le vérifier, mais en pratique ces tests ne sont généralement pas appliqués par les chercheurs, ni exigés par les reviewers des revues scientifiques. Cela tient en partie au fait que ceux-ci ne sont pas toujours aussi férus de statistiques qu’ils le devraient, mais il y a aussi une raison plus profonde à cela : dans les enquêtes complexes, où ce problème risque le plus de se poser, un chercheur décidé à frauder peut contourner ce type de test facilement. Il suffit de réaliser un nombre de tests plus élevés que ceux que l’on montre dans la publication, et de n’en publier que des extraits soigneusement choisis. Par exemple, si notre astrologue était vraiment malhonnête (hypothèse de travail purement gratuite évidemment), il lui suffirait de faire une première série de tests sur une classification plus fine des cancers (en distinguant 40 localisations par exemple), puis de publier des résultats où les localisations n’ayant pas produit de résultats significatifs sont regroupées, ce qui fera baisser artificiellement la proportion de résultats non significatifs. Il pourra ainsi obtenir facilement 10% de résultats significatifs à 5%, ce qui donnera l’impression qu’il y a bien un effet du signe astrologique.

Si elle n’est pas trop voyante, la pêche aux alphas n’entraine donc que peu de risques de refus de la publication, surtout si elle assortie des précautions oratoires habituelles dans la conclusion de l’article, pour dire que ces résultats encore fragiles statistiquement devront bien sûrs être confirmés par des études complémentaires, etc. (bla-bla-bla) Notre astrologue peut ainsi préparer la voie pour des publications futures, et surtout commencer à sensibiliser le grand public à ce problème de santé publique insoupçonné jusqu’à présent, afin d’amorcer la pompe à finances qui lui permettra d’approfondir cette étonnante découverte.

Pour en avoir le cœur net, la méthode la plus sûre serait de refaire une enquête du même type sur une population indépendante de la première. Mais là, on va buter sur une particularité fâcheuse de la pêche aux alphas : certes, on est sûr d’attraper quelque chose, mais la probabilité d’attraper deux fois de suite le même poisson est infime. Imaginons que notre astrologue ait trouvé une liaison significative entre les Sagittaires et le cancer de la parotide droite (si, si, ça existe, il y a même des vrais chercheurs qui trouvent des choses stupéfiantes sur son épidémiologie[1]). Dans sa deuxième étude, il n’a toujours qu’une chance sur 20 de lui retrouver une liaison avec le signe Sagittaire. Le plus probable est donc qu’il retrouvera à peu près le même nombre de liaisons significatives entre un signe astrologique et une forme de cancer, mais que ce ne seront pas les mêmes que dans la première étude. Il aura toujours autant de résultats « significatifs », mais incohérents d’une enquête à l’autre.

Quand l’interprétation change tout !

Reprenons notre exemple initial : pour sa première publication, notre astrologue avait trouvé un lien significatif entre le signe du Cancer, et le cancer de l’œsophage. Dans une deuxième enquête, il ne retrouve pas ce lien, mais cette fois il a une liaison avec le cancer du colon. Que faut-il retenir de ces deux résultats ? C’est là que l’interprétation conjointe des deux enquêtes risque de diverger selon les lecteurs :

• Les statisticiens purs et durs diront que l’absence de résultat commun aux deux études montre que les résultats significatifs étaient de simples conséquences du risque de première espèce. Pour eux, la confrontation de ces deux études montre qu’il n’y a pas de lien entre signe astrologique et cancer ; pas grave, ce n’est pas à eux que l’on demandera un avis
• Par prudence, les épidémiologistes préféreront probablement dire que la confrontation de ces deux études ne permet pas de conclure scientifiquement… et qu’il faut donc poursuivre les recherches. Et en attendant, ils conseilleront de classer le signe astrologique du Cancer comme cancérigène possible
• Les astrologues retiendront plutôt que TOUTES les enquêtes sur la liaison entre signe astrologique et cancer ont donné des résultats significatifs !

L’exemple de notre astrologue, qui a multiplié les facteurs étudiés pour obtenir des résultats significatifs, est un peu simpliste et caricatural. Aucune revue scientifique sérieuse ne s’y laisserait prendre…tout au moins si elle est employée de façon aussi brute et transparente. Heureusement, avec les statistiques modernes, il y a bien des façons d’enrober la pêche aux alphas. C’est ce que nous verrons dans un autre article…

Philippe Stoop, docteur- ingénieur en agronomie, directeur Recherche et Innovation de la société iTK

[1]http://sam.smh.free.fr/Antennes-relais/Documents/Sante/Maladies/Parotide/20080222-PortablesParotide.pdf