Cela fut dit et répété partout, la vaccination BCG éviterait de 300 à 800 cas de tuberculose par an en France chez les enfants de moins de 15 ans. Telle fut la conclusion de l’expertise collective de novembre 2004 réalisée par l’Inserm ([1] p. 183-186) et unanimement reprise par la suite. Elle repose sur un calcul qui permettrait d’évaluer le nombre de cas de tuberculose évités chez l’enfant de moins de 15 ans par le BCG en France en fonction de telle ou telle efficacité du vaccin. Si cette efficacité est par exemple de 75% contre les formes autres que les méningites et les miliaires et de 85% pour celles-ci, le nombre de cas évités a alors été évalué à 802. Si ces efficacités sont réduites à 50% et 75% il sera de 318 cas.

Compte tenu de la complexité de la tuberculose et de sa répartition très variable dans notre pays, on peut être très fortement impressionné par la capacité de notre expertise à produire de tels résultats et cela pourrait donner quelques complexes. Cependant une étude minutieuse du procédé utilisé va nous rassurer sur ce point : le calcul est en effet d’une simplicité enfantine qui le rendrait accessible à un élève du primaire, trop simple sans doute, et les données initiales ont été étrangement corrigées par une expertise qui devait sans doute, une fois de plus, être dans la lune… L’étude a été dissociée en 2 articles indépendants « l’expertise était dans la lune » et « un calcul très simpliste ».

Du bon usage de la règle de trois !

Une fois connu ou estimé le nombre de cas observés, comment le calcul est-il effectué ? Par une règle de 3 pour élève du primaire ! Posons le problème avec des carottes pour rendre l’énoncé plus accessible : dans un lot de carottes, 550 étaient pourries alors que 90% avaient été traitées par un produit efficace à 50% ; combien le traitement a-t-il évité de carottes pourries ? Solution : 45% des carottes étant protégées par le traitement, les 550 pourries ont donc été observées parmi les 55% non protégées, soit 10 pour 1 %, soit 450 pour les 45% de carottes traitées. Le nombre de cas évités est donc 450. Difficile de faire plus simple !

Mais réfléchissons un instant : connaître le nombre de cas évités par le BCG en France chez les enfants de moins de 15 ans est forcément, de par sa nature, un problème très complexe. Chacun sait que la répartition de la tuberculose dans notre pays est particulièrement contrastée entre le département de Seine Saint Denis par exemple et celui des Landes ou de la Creuse ou entre différents quartiers de Paris. Chacun peut admettre qu’il doit exister un certain rapport de complexité entre un problème et sa solution. Quand j’étais jeune chercheur en mathématique à l’université, dans les années soixante, mon professeur nous disait qu’il recevait régulièrement des lettres lui proposant en une demi-page une démonstration du fameux théorème de Fermat dont la démonstration avait tenu en échec des générations de mathématiciens pourtant motivés par la gloire qui s’attacherait à cette découverte. La démonstration a été réussie vers 1990 et représente, par sa longueur et sa complexité, un monument des mathématiques. Nul doute qu’une démonstration d’une demi-page ou même de 10 pages ne pouvait être correcte.

Il en va de même ici pour ce calcul du nombre de cas évités par le BCG : il est trop court et fait appel à trop peu de données pour avoir la moindre chance d’être fiable. Je vais maintenant essayer d’expliquer pourquoi et nous verrons en même temps que le résultat est certainement très largement surestimé, et ce indépendamment du correctif lié à l’oubli du 57% de cas déclarés à tort (voir l'expertise était dans la lune). En effet, comme tout calcul, il a ses conditions de validité et le raisonnement, aussi simple soit-il, suppose en fait, et justement parce qu’il est simple, une répartition homogène des vaccinations et des contaminations dans la populations à laquelle on applique la formule. Or justement la situation contrastée de la France du point de vue de la tuberculose anéantit cette hypothèse.

Pour revenir sur le problèmes des carottes pourries, supposons que les 90% de carottes traitées aient toutes été stockées au grenier, que les autres aient été mises à la cave en milieu humide et que les 550 carottes pourries aient toutes été trouvées à la cave. Le calcul par une règle de trois serait-il encore valable ? Bien évidemment non. C'est le même problème avec la tuberculose où les enfants les moins exposés à la maladie étaient aussi les plus vaccinés, ce qui anéantit tout le calcul.

Une crèche non homogène

Supposons une crèche de 30 enfants dont 20 vaccinés et 15 contaminés par un membre du personnel. 5 enfants avaient été vaccinés et 3 d’entre eux éviteront la maladie. Il y a eu en tout 12 malades, 2 étaient vaccinés et les10 enfants non vaccinés. En supposant l’absence de résistance naturelle, l’efficacité du vaccin dans cette crèche aura été de 60% (3 sur 5). Le calcul par une règle de trois appliquée avec cette efficacité de 60% donne 8 cas évités par la vaccination alors qu’il n’y en a eu que 3 :

Sur 20 vaccinés 60% c'est à dire 12 sont classés protégés, soient 18 non protégés sur 30. Les 12 cas se sont donc produits parmi ces 18 soit les 2/3. On transporte alors cette proportion sur les 12 protégés, soit 8 cas qui se seraient produits parmi eux sans cette protection.

On a pourtant utilisé la bonne valeur d’efficacité du vaccin mais le taux de vaccinés parmi les contaminés (5 sur 15) n’est pas égal au taux de vaccinés global (20 sur 30) qui est le double. Or cette condition est essentielle car elle est en réalité la formule elle-même (voir complément 2 : "Un peu de probabilités"). Autrement dit, la formule de calcul modifie le nombre de contaminés et de contaminés vaccinés pour qu’il en soit ainsi.

Formule de calcul et problématique du BCG

Cela se voit très clairement quand on cherche à établir cette formule : le nombre Cev de cas évités par la vaccination s’obtient en multipliant le nombre de cas attendus en l'absence de vaccination (les contaminés sans résistance naturelle) par le taux d’immunisés chez ces contaminés ; en multipliant de même par le taux de non immunisés par la vaccination chez ces contaminés on obtient le nombre Co de cas observés. La formule s’obtient alors en éliminant les cas attendus entre les 2 relations. Le problème vient du fait que l’on remplace le taux d’immunisés chez les contaminés, qui est inconnu, par le taux global d’immunisés Im=CvxEv obtenu en multipliant la couverture vaccinale globale Cv par l’efficacité vaccinale supposée Ev. La formule s’écrit alors :

Cev=Co x Im/(1-Im) où Im devrait être le taux d’immunisés chez les contaminés mais est en réalité le taux global.

Est-il possible de considérer que la couverture vaccinale chez les contaminés serait la même que sur l’ensemble de la population ? On tombe là sur le problème majeur du BCG qui demande d’éviter de vacciner les contaminés, d’où le fameux test préalable. La conséquence inévitable, sauf vaccination à la naissance, est que plus l’enfant vivra dans un milieu contaminant et moins il aura de chance d’être vacciné car il aura une forte probabilité d’avoir été contaminé avant. De fait, la couverture vaccinale dans ces populations a toute chance d’être plus faible que dans les milieux à faible risque. C’est d’ailleurs pour ce motif que l’on veut faire pratiquer le BCG à la naissance pour les enfants exposés. Mais au moment des années prises en compte, de 1997 à 2002, ce n’était pas le cas.

Un exemple contrasté

Dans un groupe homogène de 100 000 enfants fortement exposés dont 10% de vaccinés on observe 280 cas de tuberculose. Dans un autre groupe de 700 000 enfants faiblement exposés il y a 95% de vaccinés et 20 cas de tuberculose. Avec une efficacité de 50% la vaccination évitera 33 cas, valeur obtenue en appliquant la formule de calcul à chacun des 2 groupes séparément. Mais un calcul global donnera 219 cas. Avec une efficacité de 75% on aurait 72 cas évités réels alors que le calcul global donne 517 cas…(J’ai choisi ces valeurs pour illustrer mon propos parce qu’on admet environ 100 000 enfants par an en France qui seraient à risque élevé de tuberculose parmi les 800 000 naissances).

On peut énoncer une règle : plus l’efficacité vaccinale utilisée sera élevée avec une situation contrastée, c’est à dire d’une part une population à faible risque fortement vaccinée et nombreuse et d’autre part une population à fort risque faiblement vaccinée et peu nombreuse, plus l’excédent de cas résultant d’un calcul global non valide sera important.

Une formule encore plus simple

Il aurait été possible, dans l’expertise collective réalisée par l’Inserm, d’éviter ce problème en limitant la formule aux vaccinés : il suffit de remplacer le nombre Co de cas observés par le nombre Cov de cas observés chez les vaccinés, ce qui doit être possible puisque le formulaire de déclaration obligatoire demandait au médecin déclarant de préciser le statut vaccinal pour les enfants de moins de 15 ans. La formule devient alors Cev=CovxEv/(1-Ev).

Ainsi, les critiques que je viens de formuler n’existent plus, du moins si on les limite à la couverture vaccinale qui est donc de 100% chez les vaccinés. Cependant, comme on l’a vu, il faut que l’immunité vaccinale soit la même chez les contaminés (plus précisément, chez les contaminés dépourvus de résistance naturelle) que sur l’ensemble des vaccinés.

Rien ne prouve que cela soit vrai comme on va le voir : l’efficacité vaccinale est choisie a priori, mais en a t-on le droit ? Avant d’aborder ce problème constatons d’abord qu’il faudra aussi choisir la bonne efficacité vaccinale. Cela paraît une évidence si on veut obtenir le bon résultat. Mais que ce passe-t-il si la valeur d’efficacité choisie est éloignée de la vraie valeur ?

Une crèche à géométrie variable :

Supposons maintenant une crèche de 30 enfants tous vaccinés, tous contaminés, tous malades ! Efficacité réelle du vaccin : zéro ! Appliquons cependant la formule avec une efficacité vaccinale supposée de 75%. Elle donnera 90 cas évités alors qu’il n’y a que 30 enfants ! La formule crée en fait une crèche virtuelle de 120 enfants tous vaccinés et contaminés mais dont seulement 30, soit 25%, tomberont malades, assurant ainsi une efficacité de 75% pour le vaccin. Pourtant les vaccinations et contaminations sont parfaitement bien réparties et toutes les conditions sont satisfaites sauf une : choisir la bonne valeur d’efficacité du vaccin. Avec une efficacité nulle la formule donne bien le bon résultat.

Si on avait ajouté à cet effectif les enfants des autres crèches de la ville chacun penserait que ces 90 enfants qui, selon le calcul auraient ainsi évité la maladie, seraient parmi eux et personne ne verrait le problème.

Une efficacité vaccinale variable

Mais cette valeur d’efficacité tant recherchée du vaccin existe-t-elle ? L’efficacité du BCG est en effet directement liée à l’importance de la contamination : si un enfant est contaminé une fois dans l’autobus ou s’il est contaminé plusieurs fois chaque jour par son père pendant 2 mois, la capacité de l’enfant à résister naturellement ou avec l’aide du vaccin ne sera pas la même dans les 2 situations. Cela a été établi expérimentalement sur des animaux il y a plus de 70 ans en les testant avec des doses variables de bacilles tuberculeux. Ainsi, on pourrait a priori admettre, par exemple, que le BCG pourrait avoir une efficacité de 55% en cas de contamination moyenne et de seulement 15% en cas de contamination importante.

Ainsi supposons que pour 100 000 enfants très exposés et tous vaccinés, le BCG ait une efficacité de 15% et que pour 700 000 enfants également tous vaccinés mais modérément contaminés, son efficacité soit de 55%. On aura donc 15 000 enfants protégés dans le premier groupe et 385 000 dans le second, soit 400 000 en tout pour 800 000 enfants. Le vaccin aura donc, sur l’ensemble, une efficacité de 50%. Mais elle n’est pas répartie de façon homogène et les conséquences seront les mêmes qu’avec une couverture vaccinale non homogène : avec 280 cas dans le premier groupe et 20 dans le second, le nombre réel de cas évités par la vaccination sera de 74 alors que le calcul effectué globalement pour 300 cas observés, une couverture de 100% et une efficacité de 50%, donnera 300 cas évités. Si on combine les 2 problèmes avec une couverture de 50% dans le premier groupe et de 95% dans le second on aura 45 cas évités réels alors que le calcul global donnera 242 cas ( couverture vaccinale globale 89,375%).

La conclusion devrait paraître claire : d’une part la procédure utilisée par l’expertise Inserm pour tenter d’estimer le nombre de cas évités par le BCG est dépourvue de toute valeur scientifique et est même très simpliste ; d’autre part, compte tenu de la nature des erreurs et des données on est fondé à penser que ces estimations ont certainement été très largement surestimées. En particulier pour les raisons suivantes cumulant leurs effets : une couverture vaccinale moindre chez les enfants les plus exposés ; une efficacité vaccinale réduite chez ces mêmes enfants ; des enfants faiblement exposés beaucoup plus nombreux que les enfants fortement exposés ; une surestimation considérable du nombre de cas observés pour les raisons exposés dans « l’expertise était dans la lune ! »

Des médecins mathématiciens ?

Les experts de la santé publique sont tous des médecins. Devraient-ils être davantage initiés aux mathématiques et à l’analyse statistique des données ? Quand je vais voir mon médecin parce que je suis malade je ne lui demande pas de me soigner avec des tests statistiques et des estimations mathématiques. Mais quand des médecins de la santé publique s’emparent de données pour les traiter par des calculs et des statistiques pour en tirer des conclusions sur lesquelles d’autres bâtiront des politiques de santé publique contraignantes, il serait plus que nécessaire qu’ils soient beaucoup mieux préparés à appréhender de tels calculs.

Complément 1 : Une estimation faussée de l'efficacité vaccinale

Dans une crèche de 30 enfants, 20 ont été vaccinés, 15 ont été contaminés dont les 10 non vaccinés et 5 vaccinés. Sur ces 5 enfants, 2 seront malades alors que les non vaccinés tombent tous malades. Estimons l’efficacité du vaccin selon le calcul habituel où on ignore le nombre et la répartition des contaminés. Le raisonnement est alors le suivant : s’ils n’avaient pas été vaccinés, les 20 enfants vaccinés seraient tous tombés malades (on reproduit chez les vaccinés la proportion de malades observée chez les non vaccinés qui est de 100%) ; le vaccin a donc évité 18 cas sur 20, soit 90% d’efficacité alors qu’elle est de 60% dans cet exemple (3 cas évités sur 5). Cela vient du fait que la répartition des contaminations chez les vaccinés et chez les non vaccinés n’est pas homogène. En pratique une telle situation peut se constituer aisément en vaccinant plutôt les enfants à faible risque que ceux à risque élevé car il existe 2 raisons pour cela :

1- Si les enfants à risque élevé ne sont pas vacciné assez tôt ils ne sont plus vaccinables car contaminés et positifs au test ;

2- les enfants à faible risque vivant dans des milieux plus favorisés et donc mieux organisés sont plus accessibles, contrôlables et donc plus faciles à vacciner.

Cet exemple illustre comment on peut faire de grosses erreurs en cherchant à estimer l'efficacité d'un vaccin : si les plus fortement contaminés sont moins vaccinés que les autres l'efficacité vaccinale estimée sans en tenir compte sera surestimée. Et plus cette efficacité sera choisie élevée et plus le nombre calculé de cas évités par la vaccination sera important.

Complément 2 : Un peu de probabilités

Pour ceux qui ont quelques connaissances de base en calcul de probabilités.

On dit que 2 événements A et B sont indépendants si la probabilité de réalisation de l’événement A et B est le produit des probabilités de réalisation de A et de B, soit la formule : Proba(A et B)= Proba(A)xProba(B).

La formule utilisée pour calculer le nombre de cas évités par le BCG exprime en fait l’indépendance entre les événements "être vacciné" et "être contaminé". On peut le mettre en évidence en écrivant cette formule sous la forme :

Cev /(N x Ev) = Cv x Co/(Nx(1-Ev x Cv)) où N désigne la taille de la population.

En effet la couverture vaccinale Cv représente la probabilité d’être vacciné.

Co/(Nx(1-EvxCv)) est la probabilité d’être contaminé car si on multiplie le nombre de contaminés Nc par le taux de non immunisation 1-EvxCv on obtient le nombre Co de cas observés : Co=Nc(1-EvxCv) donne Co/Nx(1-EvxCv)=Nc/N qui est la probabilité d'être contaminé.

Cev/(NxEv) est la probabilité d’être à la fois vacciné et contaminé car si on multiplie le nombre de vaccinés contaminés par l’efficacité vaccinale Ev on obtient le nombre Cev de cas évités par la vaccination.

Remarque : par contaminés j’entends ici ceux qui n'ont pas de résistance naturelle, ce que certains désignent par les cas attendus en l’absence de vaccination.

L’indépendance entre 2 événements A et B signifie aussi que la réalisation (ou la non réalisation) de A ne modifie pas la probabilité de réalisation de B. Appliquée ici cette formulation signifie que la contamination ne change pas la probabilité de vaccination par le BCG. Or chacun sait que si une personne non vaccinée est contaminée elle aura toute chance de ne pas être vaccinée par le BCG puisque son test aura une forte chance d’être positif.

Sauf en cas de vaccination à la naissance, la condition exprimée par la formule de calcul s’oppose catégoriquement à la propriété la plus fondamentale et la plus gênante du BCG.

1] Tuberculose : Place de la vaccination dans la maîtrise de la maladie Inserm nov. 2004. Ouvrage de 280 pages, en ligne par chapitre :

http://ist.inserm.fr/basisrapports/tuberculose.html

Cas évités par le BCG : un calcul très simpliste !

Partager cet article