Évaluation critique des résultats de la recherche dans la littérature

[temps de lecture : 5 minutes]

Être capable de comprendre la fiabilité, la précision et la qualité d’une étude scientifique est un problème extrêmement important de nos jours. Il n’existe malheureusement pas de solutions toutes faites pour le résoudre, mais il est nécessaire de recourir à de multiples indications et stratégies devant être appliquées au cas par cas avec bon sens.

Les nombreuses personnes pouvant avoir besoin d’effectuer une recherche dans la littérature : le médecin qui souhaite trouver des informations plus approfondies sur les thérapies appliquées dans les cas souffrant d’une pathologie donnée, les chercheurs impliqués dans la rédaction d’une revue systématique, un patient qui veut s’informer, etc.

Il existe des critères extrêmement nombreux afin de faciliter l’évaluation critique des études scientifiques. Les plus communs sont dictés par le bon sens. Il est par exemple conseillé de s’assurer que l’étude soit indexée sur les moteurs de recherche et rédigée par des auteurs éminents cités dans la littérature.

D’autres critères permettent d’effectuer une hiérarchie des études en les séparant dans la littérature primaire et secondaire  et en les rangeant selon la rigueur méthodologique. Un des schémas conceptuels les plus répandus est celui de la pyramide des preuves.

Parmi les autres éléments à considérer aux fins d’une évaluation critique des preuves trouvées dans la littérature, nous trouvons les critères de la validité interne, à savoir en quelques mots ceux relatifs à la rigueur méthodologique. Il convient de tenir également compte d’autres aspects dont la pertinence clinique estimant l’ampleur et la précision du bénéfice obtenu (non décrite plus en détail ici), l’applicabilité ou généralisation c’est-à-dire la mesure où les résultats peuvent être transférés seulement au patient, et la validité externe qui concerne la cohérence ou reproductibilité de la recherche, ou si ses résultats peuvent être confirmés par d’autres études.

Validité interne

Pour faciliter un processus systématique d’évaluation critique des études et relever la présence desdits biais, autrement dit des facteurs de confusion ou éléments de distorsion, plusieurs instruments sont mis au point, souvent basés sur des checklists ou questions ouvertes. Chaque instrument contribue à la solution d’aspects spécifiques et aucun d’eux ne peut fournir de clé universelle. Nous en rappelons ici quelques-uns :

• AGREE II, dont une traduction italienne existe, développé pour évaluer la rigueur méthodologique et la transparence des  recommandations.
• CASP checklist, checklists rédigées à partir de 1993 à Oxford, différenciées par type d’étude (ECR, revues systématiques, études qualitatives, études de cohorte, études diagnostiques, études de cas-contrôle et autres). Par exemple, les checklists CASP pour les ECR se composent de 11 questions auxquelles on peut répondre « oui », « non » ou « je ne sais pas ». La section A porte sur la validité de la conception de l’étude, la section B la méthodologie, la section C les résultats, la section D l’applicabilité au niveau local.
• Évaluer les risques de biais dans un essai randomisé, un instrument mis à disposition par la Cochrane Collaboration, l’organisation internationale bien connue fondée en 1993 dans le but de recueillir et synthétiser les preuves scientifiques précises et mises à jour sur les effets des interventions médicales. Cet instrument se destine aux rédacteurs des revues scientifiques systématiques et recommande d’effectuer l’évaluation du risque de biais pour chacune des études inclues dans la révision qu’il est prévu de réaliser. En appliquant ces critères on peut attribuer un « score » différencié en trois niveaux, un « bas risque de biais », « quelques préoccupations » et un « risque élevé ». Parmi les différents domaines à prendre en considération, il y a des biais relatifs au processus de randomisation, aux déviations des interventions prévues, aux données de outcomes manquants, à la mesure des outcomes, à la sélection des résultats à considérer dans le reporting.
• GRADE, un groupe de travail créé en 2000 ayant pour objectif de réduire la confusion découlant des multiples systèmes existants pour donner un score transparent à la qualité des preuves et des recommandations. Grâce au mode d’emploi détaillé, on peut attribuer quatre niveaux de qualité (élevée, modérée, faible, très faible) sur la base de divers facteurs.

La qualité des preuves est calculée pour chaque issue et permet de définir « jusqu’à quel point on peut se fier au fait que l’estimation d’un bénéfice/an peut être utilisée en faveur/contre la recommandation de recourir à une intervention ».

Le jugement de qualité selon les quatre catégories citées ci-dessus peut être augmenté (upgrading) ou diminué (downgrading) d’un ou plusieurs niveaux en fonction de la présence de limites, incertitudes ou imprécisions dans les diverses catégories.

Avec la méthode GRADE on peut aboutir à une évaluation de la qualité globale des preuves en fonction des outcomes qualifiés d’essentiels en équilibrant les risques et les bénéfices issus d’une intervention.

Le test de qualité peut aboutir à une estimation de la force d’une recommandation, qui peut prendre quatre valeurs : recommandation positive ou négative, respectivement forte ou faible. La recommandation faible exprime la présence d’incertitude dans le rapport risque/bénéfice. Il faut donc considérer attentivement la condition du patient.

Applicabilité 

En dernier lieu, il est utile de considérer les concepts d’efficacité et efficience (efficacy and effectiveness) ou la question de reproductibilité des résultats théoriques dans le domaine clinique pratique soit la validité théorique opposée à la validité pratique. Souvent les études doivent respecter les critères méthodologiques rigoureux qui sont difficilement reproductibles dans la pratique, provoquant ainsi des répercussions négatives sur l’applicabilité des résultats au contexte clinique générale.

Par exemple, si la population est sélectionnée au regard de critères d’éligibilité très stricts, cela diminuera la reproductibilité aux patients avec comorbidités, qui prennent d’autres médicaments, qui sont âgés ou appartiennent à des minorités.

Entre les nombreux instruments consentant à évaluer ces aspects, nous avons notamment :

• RE-IAM, destiné à encourager une plus grande attention envers certains aspects essentiels des programmes dont la validité externe, et utilisé aussi pour transférer les résultats de la recherche à la pratique et promouvoir l’application des programmes dans le contexte du « monde réel ».
• PRECIS-2, qui évalue (avec un score de un à cinq) neuf aspects individuels d’une étude (éligibilité, recrutement, setting, organisation, flexibilité dans la distribution, flexibilité dans la diligence, follow-up, outcome principal et analyse primaire) et visualise graphiquement sur une roue le pragmatisme de l’étude.

Pour un traitement plus exhaustif des sujets qui viennent d’être mentionnés, veuillez vous référer au volume de Cerritelli et Lanaro¹.

Bibliographie

1. Cerritelli F, Lanaro D. Elementi di ricerca in osteopatia e terapie manuali. Napoli: Edises, 2018.