Loi de Brandolini par l’exemple
Analyse d’un article de synthèse non systématique.
Loi de Brandolini : « La quantité d’énergie nécessaire pour réfuter du baratin est beaucoup plus importante que celle qui a permis de le créer ».
Contexte
Lors d’une discussion sur un réseau social, l’un des défenseurs de l’homéopathie me balance le lien d’un papier et m’extrait de ce papier un bout de l’abstract, sans autre commentaire : « Although additional studies are needed to confirm these findings, given the low cost, minimal risks, and the potential magnitude of homeopathy’s effects, this use might be considered in certain situations as an additional tool to integrate into cancer care ». Un peu plus tôt dans la discussion, il avait abordé le sujet de l’utilisation des médecines complémentaires en soutien du traitement du cancer chez les patients. C’était pour répondre à l’argument, étude à l’appui, de l’augmentation de la mortalité chez les patients utilisant des médecines alternatives et complémentaires dans le traitement des cancers.
Voyons si ce papier est pertinent : montre-t-il que l’usage des médecines alternatives et complémentaires améliorent la prise en charge des patients ? Cet exercice éclairera aussi la loi de Brandolini.
L’article en question : Lien PubMed
[1] M. Frenkel, “Is There a Role for Homeopathy in Cancer Care ? Questions and Challenges,” Curr. Oncol. Rep., vol. 17, no. 9, Sep. 2015.
Il est trouvable via sci-hub.
I – Analyse externe :
Il a été publié dans un journal a priori sérieux d’une maison d’édition correcte. Son impact factor de 3,122 n’est pas terrible mais pour une publication spécialisée en oncologie, ce n’est pas trop mal (loin de Cancer Cell à 23 ou de Cancer research à 9,5 par exemple mais meilleur que Acta Oncologica à 2,97).
L’auteur n’est pas référencé dans la base Google Scholar. Son facteur ResearchGate est de 34,16. Il aurait écrit plus d’une centaine d’articles en tant qu’auteur et co-auteur. Fondateur de plusieurs services le médecines intégratives (source : son propre site) il est un fervent prosélyte des médecines complémentaires dont plusieurs sont considérées par les académies de médecine comme des pseudo-médecines. Son caractère prosélyte et prolifique en publication sont plutôt des mauvais points.
L’Université de Médecine du Texas dans laquelle il travaille et où il a créé l’unité de soin intégratif, est moyennement classée (ShanghaiRanking : entre 101 et 150 en décroissance constante depuis 10 ans, TopUniversityRanking : 203 tendance à la décroissance depuis 5 ans).
Conclusion de l’analyse externe : du bon et du moins bon, un auteur prosélyte et engagé dans les médecines défendues dans l’article – ce qui est plutôt gênant – mais une université américaine plutôt sérieuse bien que moyennement classée et une revue sérieuse d’un éditeur scientifique sérieux.
II – Analyse interne : Question l’homéopathie a-t-elle un effet sur la guérison des patients atteints de cancer ?
Il s’agit d’un article de synthèse : il ne vaut que par ses sources. Pour connaître la pertinence de l’article et répondre à la question, il nous faut donc analyser chacune de ces sources.
Je vais adopter la méthodologie suivante : je vais déterminer si chaque source répond à la question de l’efficacité, ce qui sera nommé la valeur de preuve « oui » ou « non », et si oui je vais lui attribuer une note en fonction du niveau de preuve de la source :
note de -1 : rapport d’experts, case report, témoignages divers
note de 0 : rapport épidémiologique descriptif, étude comparative avec biais important, série de cas, étude rétrospective
note de 1 : étude contrôlée mais pas en aveugle, ou étude en aveugle mais non contrôlée
note de 2 : étude contrôlée en aveugle, rapport d’expertise
note de 3 : méta-analyse, revue systématique
On va reprendre le chapitrage de l’article.
II-1 Introduction
Les 3 premières références citées dans l’introduction sont toutes issues du même journal, un numéro spécial consacré aux médecines intégratives. Ce sont au mieux de courts articles qui citent très peu de travaux originaux, au pire ce sont des éditoriaux. La référence 1 est même en partie plagiée pour écrire l’introduction. Cela n’inspire pas confiance pour la suite. Il n’y a aucune valeur de preuve dans ces trois références.
II-2 Popular Use of Homeopathy
Les références 4 et de 6 à 13 servent uniquement à montrer la popularité de l’homéopathie. Certaines ont des conclusions qui pourraient introduire un doute sur l’intérêt de l’utilisation de l’homéopathie mais l’auteur ne le relève pas. Biais cognitif ou sophisme? On pourrait se poser la question de savoir si l’auteur ne se livre pas à du « cherry peeking » ? Il faudrait faire une revue systématique pour se donner une idée. On ne voit pas vraiment l’intérêt de de la référence 5 : faire du volume ? Souci d’exhaustivité ? Franchement l’équation de recherche est triviale.
L’interprétation de la référence 13 est carrément une malhonnêteté intellectuelle : l’auteur prétend que parmi les 236 centres qui utilisent des CAM, c’est l’utilisation de l’homéopathie qui domine or seuls 47 centres parmi les 236 interrogés (123 répondant et 99 entrant dans les critères) utilisent des CAM ! Cet ensemble de références ne répondent pas vraiment à la question ou alors à la marge et l’utilisation de certaines est très limite d’un point de vue honnêteté intellectuelle.
Les références de ce chapitre, soit n’ont pas de valeur de preuve soit elles ont un niveau de preuve nul à l’exception de la référence 13 qui est interprétée de manière un peu malhonnête. (Voir détail en fin d’article)
II-3 Effectiveness of Homeopathy in Clinical Care
La référence 15, c’est le rapport Suisse de 2015 entaché de nombreuses erreurs méthodologiques, mauvaises conduites, etc, qui a été analysé ici par exemple.
Valeur de preuve oui niveau de preuve 2 (mais en fait 0 car méthodologie totalement moisie)
Les références 14 et 15 sont utilisées pour le chapitre sur l’efficacité de l’homéopathie : l’auteur démonte au final une méta-analyse reconnue internationalement et encense un rapport moisi. Au temps pour la preuve. (Voir détail en fin d’article)
II-4 Clinical Experience
Les références 16 à 20 sont une série d’anecdotes de régression de tumeurs suite à un traitement exclusivement homéopathique. C’est d’intérêt scientifique limité d’autant plus qu’on peut s’interroger sur la véracité des faits rapportés en Inde. En effet presque 18 000 patients ont été traités et 19% d’entre eux auraient eu une rémission ( soit environ 3500) et seulement 4 sont analysés parce que remarquables (référence 19). Il s’agit en plus d’un pays qui s’est doté d’un ministère chargé de promouvoir certaines médecines alternatives dont l’homéopathie (AYUSH) et de combattre les détracteurs des-dites médecines.
Toutes ces études ont un niveau de preuve de -1 sauf la dernière qui a un niveau de preuve de 1 mais semble moisie. (Voir détail en fin d’article)
II-5 Safety of Homeopathy
Les références 21 et 22 sont deux études utilisées pour déclarer que l’homéopathie est sans danger alors que ce n’est pas du tout l’objectif de ces études. Les conclusions de l’étude 22 va même plutôt à l’encontre de la preuve recherchée par l’auteur puisqu’elle ne montre pas d’effet significatif. (Voir détail en fin d’article)
II-6 Homeopathy Combined With Conventional Cancer Care
Les références 23 à 25 sont utilisées dans le chapitre « homéopathie combinée avec soins conventionnels du cancer » : il interprète les études citées assez largement au-delà de ce qu’en déduisent les auteurs de ces études. C’est surtout vrai pour la référence 25 qui est surinterprétée par l’auteur.
Ces études ont un niveau de preuve de 1 ou de 3. (Voir détail en fin d’article)
II-7 Homeopathy and Survival
Les références 18 et 26 sont utilisées pour ce chapitre. L’auteur reconnaît lui-même que la référence 18 n’est pas scientifiquement valide et la référence 26 possède un niveau de preuve nul. (Voir détail en fin d’article)
II-8 Preclinical Findings: In Vitro and Animal Studies
La référence 27 qui s’intéresse à la perception des patients montre une diminution de la détresse de ceux-ci. Les expériences 28 à 32 sont des expériences in vitro ou ex-vivo souvent mal menées, parfois moisies, sur des cellules cancéreuses. Leur niveau de preuve est faible voire nul. Quand à la référence 33, il s’agit d’une expérience qui n’utilise pas l’homéopathie. (Voir détail en fin d’article)
Conclusion de l’analyse interne
Au bilan, on arrive à une note globale négative de -0,02 (moyenne des niveaux de preuve corrigés). L’article ne vaut guère plus qu’une anecdote ou un dire d’expert comme preuve, c’est à dire rien.
Conclusion
Globalement on a ici un article de qualité moyenne qui propose dans ces références uniquement deux études de qualité : la première, l’auteur la discrédite car elle ne va pas dans son sens ; la seconde, il réinterprète les conclusions des auteurs au-delà de ce qu’ils avaient fait. De plus, il utilise des études de qualité moyenne voire nulle pour en tirer des conclusions qui ne devraient pas être. Voire il utilise des études qui n’ont rien à voir avec son propos. Les études qui apportent le plus de crédit à son propos sont des études in vitro ou ex-vivo qui sont – on le sait – de très mauvaises preuves d’efficacité médicale.
Cet article peut-il être proposé comme preuve de l’efficacité de l’homéopathie : absolument pas !
Ce travail a demandé plus de 8 heures d’analyse et 3 heures de rédaction. Alors quand on propose un article comme argument, il serait bien de se souvenir que la personne qui le reçoit ne va pas le prendre pour argent comptant. Par conséquent, on peut considérer comme grossier la méthode de donner comme argument d’une discussion, un article de synthèse. Cela s’apparente très fortement à la technique du millefeuille argumentatif. Telle est la loi de Brandolini.
_____________________________________________________________________________
Notes de bas de pages
Popular Use of Homeopathy
→ La référence 4 est une étude statistique sur la population américaine qui montre l’évolution de l’utilisation des médecines complémentaires entre 2002, 2007 et 2012.
C’est une étude purement descriptive qui n’a aucune valeur de preuve.
→ La référence 5 est une équation de recherche PubMed, triviale sur les mots homeopathy et cancer, pour chercher le nombre de références bibliographiques sur l’homéopathie en particulier en oncologie.
Aucune valeur de preuve.
→ La référence 6 est une enquête déclarative d’utilisation de médecines complémentaire (CAM) et pourquoi et comment. Dans cette étude des patients ayant utilisé des CAM rapportent des effets bénéfiques des CAM sur leur guérison.
Cette référence a une valeur de preuve d’un niveau de preuve de 0.
→ La référence 7 est une autre enquête déclarative où 16% des répondants déclarent utiliser une médecine complémentaire. « Patients using complementary therapies were less satisfied with conventional treatments, largely because of side effects and lack of hope of cure. Benefits of complementary therapies were mainly psychological ». [Les patients utilisant les thérapies complémentaires sont moins satisfaits des traitements conventionnels, grandement à cause des effets secondaires et du manque d’espoir en la guérison. Les bénéfices des médecines complémentaires sont principalement psychologiques.]
Valeur de preuve oui, avec niveau de preuve 0. Les conclusions de l’enquête iraient plutôt à l’encontre de la démonstration de l’auteur.
→ La référence 8 est une nouvelle enquête déclarative en France qui montre que l’homéopathie est la première médecine complémentaire utilisée par les malades du cancer (1/3 des patients utilisant une CAM au moins). Cette enquête ne cherche qu’à savoir si les patients utilisent les CAM.
Aucune valeur de preuve.
→ La référence 9 est aussi une enquête déclarative comparant 2 groupes : les utilisateurs d’homéopathie et les utilisateurs des autres CAM pour traiter des enfants atteints de cancer. Les utilisateurs d’homéopathie sont plus satisfaits que les utilisateurs des autres CAM. Les conseils d’utilisation de l’homéopathie sont souvent donnés par l’entourage non médical et la famille utilisait déjà l’homéopathie avant le diagnostic de cancer.
On a une valeur de preuve mais un niveau de preuve de 0 avec des biais importants. Par exemple, les deux groupes ne sont pas du tout équivalents (i.e. durée de traitement médian 601j pour groupe homéopathie et 282j pour groupe autre CAM. Satisfaction et prosélytisme du groupe homéopathie).
→ La référence 10 est encore une enquête déclarative où 10% des déclarants utilisent des CAM sans prévenir leur médecin et pour la plupart de ceux-ci il s’agit de l’homéopathie. Dans sa conclusion on peut lire : « Many therapies provided by NMPs are biologically based and therefore may interfere with conventional cancer therapy. Thus, patients are at risk of interactions, especially as most NMPs do not adjust their therapies to those of the oncologist. Moreover, risks may arise from these CAM methods as NMPs partly believe them to be useful anticancer treatments. This may lead to the delay or even omission of effective therapies ». [Beaucoup de traitements apportés par les prescripteurs non médicaux sont biologiquement actifs et par conséquent peuvent interférer avec les traitements conventionnels du cancer. Donc les patients sont à risque d’interactions, d’autant plus que la plupart des prescripteurs non médicaux n’ajustent pas leurs traitements à ceux de l’oncologue. De plus, les risques peuvent survenir suite à ces méthodes alternatives alors que les prescripteurs non médicaux les considèrent en partie efficaces comme traitements anticancéreux.]
Valeur de preuve non. Ne réponds pas à la question.
→ La référence 11 est une enquête déclarative en Italie. Ici l’homéopathie est assez loin derrière les autres CAM. La conclusion en est « Overall prevalence of CTs among Italian cancer patients is high and is in accordance with the European average. In addition to clinical and sociodemographic factors, the resilience trait SOC also was associated with CT use ». [La prévalence globale des traitements complémentaires parmi les patients cancéreux italiens est importante et en accord avec la moyenne européenne. En plus de facteurs cliniques et sociodémographiques, le caractère de résilience SOC est aussi associé à l’utilisation des traitements complémentaires.]
Valeur de preuve oui. Niveau de preuve 0.
→ La référence 12 est encore la même chose en Italie qui aboutit à un résultat similaire.
Valeur de preuve non.
→ La référence 13 est aussi une étude déclarative puis d’examen des sites internet de centres d’oncologie en Europe : 123 centres sur 236 ont répondus, 99 rentraient dans les critères et 47 utilisaient un ou des CAM pour réduire les effets secondaires des traitements ou de la maladie, l’homéopathie arrive en seconde position avec 40,4% des centres. 35 centres possèdent un système d’évaluation des résultats sans préciser comment fonctionnent ces systèmes d’évaluation.
Ici la valeur de preuve est oui avec un niveau de preuve 0,5 (1/2 point pour le système d’évaluation)
Effectiveness of Homeopathy in Clinical Care
→ La référence 14, c’est la méta-analyse australienne mondialement connue. L’auteur essaye de la décrédibiliser par 2 approches :
- méthodologique : seuls les essais avec plus de 150 patients ont été pris en compte.
- 1 auteur est affilié à une association « anti homéopathie »
Il n’empêche que cette étude a été reprise par de très nombreuses académies mais désavouée par aucune (sauf homéopathique pure)
Valeur de preuve oui. Niveau de preuve 3 (mais vaut -3 car démontre l’inverse de la question).
→ La référence 15, c’est le rapport Suisse de 2015 entaché de nombreuses erreurs méthodologiques, mauvaises conduites, etc, qui a été analysé ici :
https://www.drgoulu.com/2012/07/17/le-rapport-suisse-sur-lhomeopathie/
Valeur de preuve oui niveau de preuve 2 (mais en fait 0 car méthodologie totalement moisie)
Clinical Experience
→ La référence 16 est un lien cassé qu’on retrouve en cherchant, donc il s’agit d’un programme qui valorise les thérapies alternatives du cancer (pas complémentaires). Il s’agit d’une collection d’anecdotes.
Valeur de preuve oui. Niveau de preuve -1.
→ Référence 17 pareil mais en Inde (pays qui s’est doté d’un ministère chargé de promouvoir certaines médecines alternatives dont l’homéopathie et de combattre les détracteurs des-dites médecines : AYUSH)
Valeur de preuve oui. Niveau de preuve -1.
→ Référence 18 encore pareil encore en Inde.
Valeur de preuve oui. Niveau de preuve -1.
→ La référence 19, c’est 4 anecdotes de la référence 18 analysées plus dans le détail.
Valeur de preuve oui. Niveau de preuve -1.
→ La référence 20 c’est 6 anecdotes cette fois au Texas et – en même temps- une étude in vitro sur des cellules cancéreuses par un essai contrôlé.
Valeur de preuve oui avec un niveau de preuve de 1 (Étude qui semble moisie : où sont les stats ? => niveau 0 ?)
Safety of Homeopathy
→ La référence 21 est une étude observationnelle de cohorte de 3700 et quelques patients traités à l’homéopathie qui sont en meilleure santé (maux de tête rhinite allergiques… et autre trucs chroniques du genre) 2 et 8 ans après ; et c’est d’autant plus vrai qu’il s’agit d’une femme jeune avec une maladie plus sévère.
Valeur de preuve oui. Niveau de preuve 0 (voire -1 les auteurs ne pouvant pas dire si les effets observés étaient dus à l’homéopathie…)
→ La référence 22 est une revue systématique recherchant l’effet de l’homéopathie dans la prévention des effets secondaires des traitements de cancer.
Valeur de preuve oui. Niveau de preuve -2 (aucun effet observé, deux données préliminaires dermatite et stomatite post-traitement )
Homeopathy Combined With Conventional Cancer Care
→ La références 23 est une étude observationnelle de cohorte comparative : une cohorte avec un traitement anticancéreux associé à de l’homéopathie et une cohorte recevant uniquement un traitement anticancéreux (non randomisée, non aveugle, mais appariée)
Valeur de preuve oui. Niveau de preuve 1.
→ La référence 24 est une étude randomisée simple aveugle comparant un groupe traitement anticancéreux associé à de l’homéopathie avec un groupe avec traitement anticancéreux seul.
Valeur de preuve oui. Niveau de preuve 1.
→ La référence 25 est une étude randomisée triple aveugle (faiblesses de l’étude : faible effectif, outils stat inadaptés, interprétation douteuse)
Valeur de preuve oui. Niveau preuve 3 (on va être généreux et considérer les faiblesses comme non rédhibitoires)
Homeopathy and Survival
→ La référence 26 est une étude observationnelle d’une petite cohorte non randomisée.
Valeur de preuve oui. Niveau de preuve 0.
Preclinical Findings: In Vitro and Animal Studies
→ La référence 27 est une étude observationnelle sur une petite cohorte, non contrôlée, qui montre que les personnes interrogées sont sensibles à l’attention qu’on leur porte (réduction de la détresse pour la moitié de ceux qui avaient une détresse majeure).
Valeur de preuve oui. Niveau de preuve 1.
→ La référence 28 est une étude expérimentale in vitro sur des cellules cancéreuses du sein. Cette étude est moisie, il s’agit en plus d’une autocitation.
Elle a été analysée ici : http://scepticsbook.com/ 2010/02/14/a-giant-leap-in-logic- from-a-piece-of-bad-science/ .
Valeur de preuve oui. Niveau de preuve 1 (étude moisie)
→ La référence 29 est un essai expérimental contrôlé mais pas en aveugle.
Valeur de preuve oui. Niveau de preuve 1.
→ Les références 30 à 32 sont des essais expérimentaux sur des cellules cancéreuses in vitro, contrôlés mais pas en aveugle.
Valeur de preuve oui. Niveau de preuve 1 (X3)
→ La référence 33 est un essai expérimental avec de l’extrait de Thuya, rien à voir avec l’homéopathie.
Valeur de preuve non.
Tableau des valeurs et niveaux de preuve
|
N° de référence |
Commentaire |
Valeur de preuve Oui/Non |
Niveau de preuve |
Note |
Note corrigée |
|
1 |
non |
||||
|
2 |
non |
||||
|
3 |
non |
||||
|
4 |
non |
||||
|
5 |
non |
||||
|
6 |
oui |
0 |
0 |
0 |
|
|
7 |
oui |
0 |
0 |
0 |
|
|
8 |
non |
||||
|
9 |
Méthodologie très faible |
oui |
0 |
0 |
0 |
|
10 |
non |
||||
|
11 |
oui |
0 |
0 |
0 |
|
|
12 |
non |
||||
|
13 |
Faiblesse méthodologique |
oui |
0,5 |
0,5 |
0,5 |
|
14 |
démontre l’inverse de ce que souhaite l’auteur |
oui |
3 |
-3 |
-3 |
|
15 |
moisie |
oui |
2 |
2 |
0 |
|
16 |
oui |
-1 |
-1 |
-1 |
|
|
17 |
oui |
-1 |
-1 |
-1 |
|
|
18 |
oui |
-1 |
-1 |
-1 |
|
|
19 |
oui |
-1 |
-1 |
-1 |
|
|
20 |
Faiblesse méthodologique (stats?) |
oui |
1 |
1 |
0 |
|
21 |
oui |
0 |
0 |
0 |
|
|
22 |
oui |
2 |
-2 |
-2 |
|
|
23 |
oui |
1 |
1 |
1 |
|
|
24 |
oui |
1 |
1 |
1 |
|
|
25 |
Faiblesse méthodologique |
oui |
3 |
3 |
2 |
|
26 |
oui |
0 |
0 |
0 |
|
|
27 |
oui |
1 |
1 |
1 |
|
|
28 |
moisie |
oui |
1 |
1 |
-1 |
|
29 |
oui |
1 |
1 |
1 |
|
|
30 |
oui |
1 |
1 |
1 |
|
|
31 |
oui |
1 |
1 |
1 |
|
|
32 |
oui |
1 |
1 |
1 |
|
|
33 |
rien à voir avec l’homéopathie |
non |
0 |
0 |
0 |
|
note moyenne |
0,22 |
-0,02 |
Crédit photo entête Dr. Marcus Gossler (CC), photo dormeur Simon Law (CC, photo tronquée)