un chercheur dénonce l’inutilité de nombreux travaux scientifiques

Passeur de science -blog le Monde-

Le chercheur américain John Ioannidis, professeur à Stanford, montrait dans un article publié en 2005  par  PLoS Medicine et Intitulé « Pourquoi la Plupart des découvertes publiées Sont fausses » que les bases statistiques sur lesquelles s’appuyaient bon nombre d’études n’étaient pas suffisamment rigoureuses.

Dans un  article  publié le 21 octobre 2014 par  Medicine PLoS, surmonté d’un autre titre provocateur « Comment faire en sorte que plus d’études publiées soient vraies« , il met de nouveau les pieds dans le plat de la recherche scientifique.

On le comprend d’entrée de jeu, le but de John Ioannidis n’est pas de démolir la science ni ceux qui la font à grands coups de démonte-pneu. Son objectif consiste à améliorer le fonctionnement de la recherche car la marge de manœuvre, suggère-t-il, est grande. Dans l’énoncé du diagnostic, le chercheur américain, spécialiste de questions de santé, ne fait pas dans le diplomatique mais plutôt dans le direct. Il a recensé, entre 1996 et 2011, plus de 25 millions d’études scientifiques publiées, signées par quelque 15 millions de personnes de par le monde. Une quantité phénoménale d’articles, donc, à comparer avec un nombre de découvertes importantes beaucoup plus modeste.

John Ioannidis est convaincu depuis des années que le problème principal est  dû au fait que le système de recherche ne fonctionne plus correctement et que la plupart des « découvertes » qu’il engendre ou enregistre n’en sont pas : par la faute de protocoles inadaptés, de biais, de mauvais traitements statistiques voire de malhonnêteté intellectuelle, les résultats soi-disant significatifs sont trop souvent des faux positifs que l’on ne peut reproduire. Au bout du compte, en biomédecine, c’est jusqu’à 85 % des investissements faits dans les recherches qui sont perdus, soit un total annuel astronomique de 200 milliards de dollars ! Une autre estimation, moins précise, évoque un gâchis portant sur « des dizaines de milliards de dollars ».

John Ioannidis fait une description, en termes choisis mais qui contiennent souvent leur dose de vitriol, d’un monde académique parfois sclérosé où les personnes qui attribuent les budgets publics de recherche sont rarement de grands chercheurs, où le conservatisme le dispute au népotisme et au sexisme.

L’article n’aurait pas grand intérêt si John Ioannidis se contentait de critiquer. Mais le chercheur, qui co-dirige aussi depuis le printemps le Metrics (Meta-Research Innovation Center at Stanford), une institution travaillant justement sur l’amélioration des processus de recherche, est venu avec deux batteries de propositions. La première concerne la manière de mener des études et met l’accent sur le cheval de bataille de John Ioannidis : une plus grande collaboration entre les équipes pour obtenir des échantillons plus importants et des résultats sans équivoque ; inciter à la reproduction des travaux pour s’assurer que les effets mesurés sont réels, ce qui passe par une standardisation et un partage totalement transparent des protocoles, du matériel de recherche et des résultats. John Ioannidis insiste aussi sur un point sensible : la mise en place de critères plus stricts avant de crier à la victoire, à la découverte. Le but, écrit-il, est de réduire les faux positifs « dans les domaines qui ont jusqu’ici été trop accomodants (comme l’épidémiologie, la psychologie ou l’économie). Cela pourrait leur conférer une crédibilité plus importante, comparable à celle des secteurs qui ont traditionnellement été plus rigoureux de ce point de vue, comme les sciences physiques. »

La seconde batterie de propositions est bien plus iconoclaste puisqu’elle touche non plus à la manière de faire des études mais à celle dont le petit monde de la recherche les « valorise ». Sans jamais citer la fameuse formule « Publie ou péris », John Ioannidis explique que, dans le système scientifique, les articles publiés sont comme une monnaie : ils servent à obtenir des « biens » (un poste, un échelon hiérarchique). Cela n’est pas sans conséquence puisqu’on voit parfois certains chercheurs avoir une production prolifique de travaux médiocres voire non-reproductibles, en profiter pour monter dans les hiérarchies, entrer dans les revues, bénéficier de renvois d’ascenseur et obtenir leur signature dans une étude pour laquelle ils n’ont donné qu’un avis, etc. J’ai moi-même pu constater que certains adoptaient ce que John Ioannidis appelle (joliment) la technique du « salami », qui consiste à découper une recherche en tranches, en sous-sections, et à « vendre », sur la base d’une seule expérience, plusieurs études à des revues différentes…

A l’opposé, le système actuel ne récompense que mal ou pas du tout ceux qui veulent reproduire les expériences des autres pour vérifier leurs résultats ou ceux qui s’investissent à fond dans la relecture des articles des confrères. Seule l’étude publiée importe. John Ioannidis propose donc de modifier la manière dont la bibliométrie est prise en compte dans l’évaluation des chercheurs, de ne pas donner de valeur aux publications per se mais d’en accorder à celles qui ont été confirmées.

Le chercheur américain a conscience que son scénario est « délibérément provocateur » et qu’il risquerait par exemple de décourager les ambitions de ceux qui veulent diriger un laboratoire. Néanmoins, l’article a le mérite de pointer les détails qui font mal, notamment le gâchis en temps et en argent que représentent toutes ces études dont les résultats ne se retrouvent jamais. A fréquenter chercheuses et chercheurs depuis presque dix-huit ans, j’ai entendu ici ou là, souvent sur le ton de la confidence, la plupart de ces critiques. Il y a quelque chose de sain et de salutaire à les voir, sans tabou, rassemblées sur la place publique.

Pierre Barthélémy

0 0 votes
Évaluation de l'article
S’abonner
Notification pour
guest

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

0 Commentaires
Le plus récent
Le plus ancien Le plus populaire
Commentaires en ligne
Afficher tous les commentaires
Translate »
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x