INVESTIGATING INNOVATIVE EVIDENCE SYNTHESIS METHODS: THE TRIAL SEQUENTIAL ANALYSIS, THE GRADE SYSTEM AND THE NETWORK META-ANALYSIS
Le revisioni sistematiche e meta-analisi sono i migliori disegni di studio per assistere il processo decisionale in ambito clinico. Pazienti, clinici, ricercatori e decisori politici dovrebbero privilegiare la revisione sistematica rispetto a altri tipi di disegno sperimentale in quanto permette di aggregare diversi studi primari contemporaneamente, incrementando la validità interna ed esterna dei risultati. Inoltre, la meta-analisi aumenta la validità statistica raggiungendo più alti livelli di potenza statistica e precisione rispetto ai singoli studi. Ciò significa comprendere meglio la grandezza dell'effetto del trattamento e identificare il miglior intervento tra due, nel caso di meta-analisi standard, o tra molteplici, nel caso di network meta-analisi. Nonostante i numerosi vantaggi sopra riportati, la meta-analisi ha delle limitazioni importanti. La potenza e la precisione, infatti, dipendono da diversi elementi quali la dimensione campionaria degli studi, il numero di eventi, la variabilità del campione e la relativa eterogeneità. Questi elementi sono condizioni imprescindibili e non modificabili dai revisori. Se uno o più di questi elementi sono problematici, la meta-analisi replicherà lo stesso problema, sebbene l'entità del problema stesso può diminuire grazie alla presenza di altri studi. Per esempio, le meta-analisi che includono studi con una numerosità campionaria molto bassa saranno più propensi a diversi bias, quali lo small study effect e il publication bias. Inoltre molti studi clinici si propongo di ricercare modesti effetti di un intervento, che, generalmente, sono difficili da identificare: infatti, anche limitate variazioni nei dati di uno studio, o tra uno studio e un altro, possono risultare in bias che nascondono o alterano gli effetti di un intervento. Alla luce di questo background, la prima domanda di ricerca si è focalizzata sull'adeguatezza del reporting degli studi randomizzati e controllati inclusi in revisioni sistematiche e meta-analisi, in particolare in termini di potenza statistica, rilevanza clinica e conclusività dei risultati. In secondo luogo, sono stati analizzati metodi innovativi per identificare e valutare meta-analisi sotto-potenziate, inconclusive e imprecise: tali metodi includono la Trial Sequential Analysis e il metodo GRADE (Grading of Recommendations Assessment, Development and Evaluation). Infine, è stata studiata e applicata una nuova tecnica meta-analitica per confrontare allo stesso tempo interventi multipli tra loro considerando sia l'evidenza diretta sia l'evidenza indiretta. Al fine di rispondere alle domande di ricerca proposte, si è passati dall'unità di analisi delle revisioni sistematiche, lo studio randomizzato e controllato, ai metodi di sintesi cumulativa delle evidenze. Il reporting inadeguato, le meta-analisi sotto-potenziate e le possibili discordanze tra evidenze dirette e indirette a partire dall'analisi dei confronti testa-a-testa, possono alterare le decisioni cliniche portando a errori se viene meno un'attenta disamina e ci si basa su un'analisi statistica grossolana. La presente tesi è organizzata in tre sezioni principali: - Sezione 1: è stata valutato come il calcolo della dimensione campionaria sia stato riportato negli studi randomizzati e controllati che valutano l'efficacia di interventi riabilitativi nella lombalgia e, tra gli studi adeguatamente riportati, come i risultati siano interpretati in termini di significatività statistica e rilevanza clinica. - Sezione 2: sono state descritte, analizzate e applicate in diverse aree cliniche la Trial Sequential Analysis (TSA) e il metodo GRADE. Inoltre, è stata comparata la loro concordanza nel valutare e giudicare la qualità dell'evidenza. - Sezione 3: infine, considerato un campione di studi randomizzati e controllati che valutano l'efficacia di interventi riabilitativi e farmacologici per la lombalgia, sono state combinate le evidenze dirette e indirette esistenti tramite la tecnica di network meta-analisi. Il focus di questa tesi è orientato ai metodi avanzati ed innovativi di sintesi delle evidenze. L'introduzione e applicazione di questi metodi rappresentano la necessità di rispondere al recente bisogno di risultati precisi e affidabili, a metodi trasparenti e di riferimento per valutare la qualità e affidabilità dell'evidenza, e alla necessità di confrontare numerosi interventi senza limitarsi a confronti binari. ; Systematic reviews and meta-analysis are the most appropriate and preferred study designs to inform clinical decision-making. Patients, clinicians, researchers and policymakers rely on this type of design since it aggregates several studies at the same time, increasing internal and external validity. Furthermore meta-analyses can increase statistical validity, reaching higher levels of power and precision as compared to single studies. This often means better understanding the magnitude of the treatment effect and its uncertainty therefore identifying the best intervention in pairwise or network (multiple) comparisons. Despite these advantages, meta-analyses also have limitations and shortcomings. Power and precision depend on several elements, such as size of studies, number of events, sample variability and underlying heterogeneity. These elements are precondition and cannot be modified by reviewers. If one or more of these elements are problematic, the meta-analysis will replicate the same problem, despite the severity of the problem might be diminished by the co-presence of multiple studies. For instance meta-analyses including several small studies will be prone to several biases, eg, small study effect and publication biases. Moreover actual studies often explore modest intervention effects, which are difficult to be identified: even limited perturbations of study data can result in biases that can hide or inflate intervention effects, sabotaging the decision-making process of health professionals. Against this background, we first wondered if RCTs included in systematic reviews and meta-analysis are adequately reported in terms of power and relevance/conclusiveness of findings. Secondly we explored how detect and assess underpowered, inconclusive and imprecise meta-analyses, using and comparing two modern approaches - Trial Sequential Analysis and the GRADE (Grading of Recommendations Assessment, Development and Evaluation). Third, we explored new meta-analytic techniques to contrast multiple interventions through direct and indirect evidence, in an extreme attempt to solve major limitations of a priori literature and lack of head to head trials. In order to answer these research questions, we moved from the unit of analysis of systematic reviews, the randomized controlled trial, to the methods to accumulate evidence. Inadequate reporting, underpowered meta-analyses and conflicting direct and indirect evidence beyond head-to-head comparisons can alter the clinical decision-making process unless proper assessment, analysis and critical interpretation are put in place. My dissertation is organized in three main Sections: - Section 1: We focused on how sample size calculations were reported in RCTs exploring the efficacy of low back pain rehabilitation interventions and, among those adequately reported, how findings were interpreted in terms of statistical significance and clinical relevance. - Section 2: We explored Trial Sequential Analysis and the GRADE approach in several medical areas. We compared the agreement of the approaches in evaluating the overall quality of evidence. - Section 3. We finally combined direct and indirect evidence on a sample of RCTs assessing rehabilitation interventions for low back pain through a network meta-analysis. This dissertation focuses on innovative advanced methods used in evidence synthesis science. These methods are partial answers to the need for precise and reliable results, standard and transparent methods to assess the body of evidence, and comparisons of multiple interventions in addition to pairwise comparisons.
