Des jargons douteux polluent les articles scientifiques

Publié le 11/03/2022

Article réservé aux abonnés

PAR LE Dr HERVÉ MAISONNEUVE - Nous connaissons ce pêcheur qui revient avec une godasse sans aucun poisson. Il explique fièrement qu’il était parti à la pêche aux godasses et que sa promenade était fructueuse. Des chercheurs ont un comportement similaire pour analyser des données de recherche que ce soient des essais comparatifs ou des études observationnelles. Leurs conclusions ne doivent pas nous tromper.

Crédit photo : DR

De petits arrangements avec la réalité permettent de soumettre des manuscrits trompeurs à des revues scientifiques. Ces embellissements (« beautification » en anglais !) sont fréquents. L’évaluation par les pairs devrait détecter ces manquements à l’intégrité, mais c’est un travail énorme que les relecteurs bénévoles ne peuvent pas toujours faire.

Effet chrysalide ou HARKing

L’effet « Chrysalide » caractérise les résultats piteux qui se métamorphosent en de beaux articles. D’horribles chrysalides donnent naissance à de beaux papillons. Dans une revue de management, une recherche a comparé les analyses décrites dans des thèses de science avec les analyses décrites dans les articles publiés à partir de ces thèses. Quatre observations ont été faites : des analyses non concluantes dans les thèses étaient omises dans les articles ; des analyses nouvelles, non mentionnées dans les thèses, apparaissaient dans les articles ; des analyses n’avaient pas les mêmes conclusions entre thèses et articles ; et heureusement, beaucoup d’analyses des articles étaient conformes à celles des thèses. Le HARKing décrit la même pratique douteuse. C’est une expression utilisée en psychologie, en sciences de la vie et en biologie qui veut dire «Hypothesing After Results are Known». La bonne pratique est de respecter un protocole écrit avant de faire la recherche, d’avoir une question simple, et de présenter des résultats correspondants aux objectifs planifiés.

Le p hacking : dragage de données

La multiplication des tests statistiques permet de trouver celui qui marche. Hacking se traduit par piratage. Je reprends la définition de l’excellent livre blanc de la Société Française de Pharmacologie et de Thérapeutique (De la nécessité de la méthodologie dans l’évaluation des médicaments) : C’est l’adaptation de l’analyse statistique en cours de réalisation, en fonction des résultats qu’elle produit. Ces adaptations peuvent concerner aussi bien la méthode statistique (choix de la méthode, transformation de variables, choix des covariables d’ajustement, etc.) que le jeu de données (exclusion de patients, gestion des évènements intercurrents, restriction de l’analyse à une sous population, etc.). Ces adaptations sont d’autant plus faciles à effectuer que l’étude nécessite une analyse statistique complexe, comme avec les études observationnelles par exemple. Les Anglo-Saxons ont divers jargons : data dredging, data fishing, data snooping, data butchery !

«Spins» pour tromper

Les spins sont des manipulations du langage dans le but d'induire le lecteur en erreur sur l’interprétation des résultats. Dans l’article, il y a le bon résultat, avec un test statistique non significatif. Dans le résumé, la discussion, voire le titre apparaissent des suggestions de ce type : « nos résultats n’étaient pas significatifs, mais néanmoins indicatifs d’une tendance » ; « notre essai randomisé n’a pas confirmé l’efficacité du médicament, car la dose choisie n’était pas suffisante » ; « avec plus de malades, nous aurions confirmé l’efficacité du médicament ». Des sous-entendus laissent croire que tout marche. La conclusion biaisée n’est pas acceptable.

Torture, triturage, massage des données

Impossible de lister et détecter toutes ces pratiques douteuses. Des exemples : publication d’un sous-groupe de malades en cachant la population totale ; critère de jugement de l’article absent du protocole ; omission d’un bras dans un essai comparatif ; construction d’un groupe contrôle a posteriori ; invention d’un critère composite pour favoriser un résultat convaincant ; photoshopage des images en biologie ; etc.…

Ces jargons décrivent des inconduites pour rendre une recherche publiable. J’ai rencontré une interne qui sortait du 3e rendez-vous avec son directeur de thèse. Fière de ses hypothèses, elle proposait des méthodes adaptées, et réfléchissait à sa question de recherche. Son directeur, une fois de plus l’a démotivée : « Va d’abord choisir des dossiers cliniques, tu les analyses, et ensuite on trouvera bien une question ». Ce comportement n’est pas acceptable. Trop de thèses ne servent à rien et sont un transfert d’os d’une tombe dans une autre. Faut-il encore lire des articles ? Combien d’articles sont de belles histoires pour endormir des enfants ? Je ne sais pas répondre.

Dr Hervé Maisonneuve