Neste post, explicaremos o que é metanálise. Nós também diferenciaremos revisão sistemática de metanálise. Além disso, apresentaremos brevemente um forest plot, um gráfico tipicamente apresentado em revisões metanalíticas. Em seguida, nós apresentaremos alguns tipos de questões que a metanálise ajuda a responder. Por fim, descreveremos dois principais modelos de metanálise e algumas sugestões de recursos para aprender mais sobre o tema.
O que é metanálise?
A metanálise consiste em um conjunto de técnicas estatísticas, cuja finalidade é integrar os resultados de estudos primários. Seu principal insumo de interesse são medidas de tamanho de efeito, índices que expressam a magnitude do efeito ou da relação entre variáveis.
Por exemplo, o g de Hedges representa a diferença padronizada entre médias. Análogo ao d de Cohen, o g de Hedges é útil para sumarizar a diferença entre duas condições experimentais sobre uma variável dependente contínua. Por outro lado, a razão de chances pode sumarizar o impacto de um tratamento (vs. controle) sobre as chances de morte, uma variável dependente binária.
Veja também: 05 passos para conduzir uma metanálise
Qual é a diferença entre revisão narrativa, revisão sistemática e metanálise?
Em uma revisão narrativa, uma grande quantidade de estudos é sumarizada por meio de um texto narrativo. Podemos usá-la para abordar questões de natureza mais ampla e mais abstrata, bem como para descrever um campo de conhecimento com grande diversidade metodológica.
Por outro lado, podemos definir a revisão sistemática como uma revisão de literatura que segue uma abordagem metódica, replicável e transparente. Nela, os pesquisadores descrevem de forma estruturada e transparente as questões de pesquisa, o escopo da revisão e os critérios de elegibilidade de estudos.
Além disso, pesquisadores explicitam as decisões tomadas durante a revisão sistemática, tais como quais bases de dados inspecionaram e quais descritores usaram em suas buscas. Essa descrição do método e das decisões tomadas faz com que a revisão sistemática seja potencialmente replicável.
A metanálise, por sua vez, pode ser entendida como uma caixa de ferramentas estatísticas. Desse modo, pesquisadores podem fazer uso das técnicas contidas nessa caixa de ferramentas para sumarizar quantitativamente a literatura, avaliar potenciais moderadores metodológicos e investigar vieses de publicação.
É relevante fazer essa diferenciação entre revisão sistemática e metanálise porque elas são independentes uma da outra. Por exemplo, existem inúmeras revisões sistemáticas qualitativas, que fazem uma apreciação sistemática da qualidade da evidência disponível, mas sem apresentar uma síntese metanalítica dos achados.
Em contrapartida, também podemos usar a metanálise fora do contexto de revisão sistemática. Por exemplo, pesquisadores podem usar a metanálise para sumarizar um conjunto de experimentos de um mesmo artigo (o que algumas vezes é denominado de metanálise interna).
Como é o banco de dados em uma síntese metanalítica?
O uso da metanálise requer uma determinada estrutura de banco de dados. Resumidamente, o banco de dados deve conter algumas informações fundamentais, conforme ilustra a Figura 1.
No banco de dados da Figura 1, cada linha representa um estudo individual. No entanto, em alguns casos, um mesmo estudo pode produzir mais de uma estimativa de tamanho de efeito, o que requer tratamentos estatísticos mais complexos.
Além disso, as colunas g e EP(g) representam uma medida de tamanho de efeito e uma estimativa da variância dessa medida de tamanho de efeito, respectivamente. Esses valores são análogos à média e ao erro-padrão, em estudos individuais.
O erro padrão expressa o quanto esperaríamos que a estimativa de tamanho de efeito flutuasse em repetições hipotéticas de cada estudo original. Estudos mais precisos são aqueles com menores estimativas de erro-padrão.
Por fim, as demais colunas do banco de dados (X1, X2, …, Xn) podem conter a codificação de características metodológicas dos estudos originais. Tais características são aquelas que possuem importância teórica ou prática em uma revisão sistemática.
Em geral, pesquisadores codificam as características metodológicas de cada estudo (e.g., duração da intervenção, dose administrada), de modo a investigar se tais características, ao nível do estudo, predizem ou moderam os tamanhos de efeito em uma síntese metanalítica.
Qual é o principal resultado de uma síntese metanalítica?
O principal resultado de uma síntese metanalítica é um tamanho de efeito geral (i.e., médio) que sumariza todos os tamanhos de efeito incluídos no banco de dados.
Em geral, esse tamanho de efeito reflete uma média aritmética ponderada, que atribui a precisão do estudo como peso no cálculo do modelo estatístico: estudos mais precisos (i.e., com variância menor) recebem maior peso, enquanto estudos menos precisos (i.e., com variância maior) recebem menor peso no cálculo.
Por exemplo, A Figura 2 ilustra os cálculos dos pesos dos estudos da Figura 1, caso tivéssemos apenas três efeitos na síntese metanalítica.
Na Figura 2, calculamos as variâncias dos tamanhos de efeito, s²(gi), elevando os erros-padrões, EP(gi), ao quadrado. Os pesos, por sua vez, são calculados como as inversas das variâncias, isto é, Pesoi = 1 / s²(gi). Por fim, os pesos relativos são expressos como percentuais relativos ao somatório de todos os pesos.
Desse modo, notamos que Cardoso et al. (2024), que possui o tamanho de efeito mais preciso (menor erro-padrão e menor variância) receberá maior peso na média ponderada da síntese metanalítica (59%), enquanto Barbosa et al. (2023), que possui o tamanho de efeito menos preciso (maior erro-padrão e maior variância) receberá menor peso nessa média ponderada.
O que é um forest plot?
Uma maneira de apresentar os resultados de uma síntese metanálitica é por meio de um forest plot, também conhecido como diagrama de floresta.
Neste post, fornecemos apenas um resumo desse gráfico, que será pormenorizado em um texto futuro do blog. O forest plot reprsenta graficamente os tamanhos de efeito (e seus respectivos intervalos de confiança) de todos os estudos incluídos em uma síntese metanalítica, bem como uma medida do tamanho de efeito geral representando os tamanhos de efeitos combinados.
A Figura 3 ilustra uma síntese metanalítica por meio de um forest plot.
A Figura 3 representa um forest plot baseado em um modelo de efeito fixo de metanálise, que será apresentado mais adiante no post. Descrevemos a seguir como interpretar o forest plot.
Como interpretar o forest plot?
Resumidamente, em um forest plot, cada quadrado representa o tamanho de efeito de um estudo. Seu valor é dado por sua posição em relação à escala no eixo x (em g de Hedges, na Figura 3). As barras de erro de cada tamanho de efeito representam os intervalos de confiança de 95% ao redor da estimativa de tamanho de efeito.
Além disso, note que os quadrados diferem em tamanho: estudos com maior peso são representados com maior tamanho que estudos com menor peso. Note que os pesos da Figura 3 são idênticos aos calculados na Figura 2.
De maneira similar, estudos mais precisos têm intervalos de confiança menores, denotando menor variabilidade amostral esperada nas estimativas de tamanho de efeito em replicações hipotéticas daquele estudo; estudos menos precisos têm intervalos de confiança maiores.
A linha Tamanho de Efeito Geral representa a média aritmética ponderada dos tamanhos de efeito. A síntese metanalítica é significativamente diferente de zero, g = 0,60, IC 95% [0,45, 0,75], denotando que os intervalos de confiança não capturam g = 0 (denotado pela linha vertical preta). Em outras palavras, rejeitamos a hipótese nula de não efeito da intervenção A sobre o desfecho B.
Note como os pesos dos estudos impactam a síntese metanalítica: a média aritmética simples dos tamanhos de efeito é dada por (0,20 + 0,50 + 0,80) / 3 = 0,50. No entanto, a média ponderada, indicada no forest plot pelo losango preto, é “atraída” na direção do tamanho de efeito com maior peso (Cardoso et al., 2024).
Em síntese, um forest plot apresenta concomitantemente as diferentes “árvores” que compõem uma dada área de pesquisa, de modo a contribuir para que pesquisadores consigam visualizar a “floresta”, isto é, a síntese da literatura de pesquisa.
Quais tipos de questões podem ser investigadas usando a metanálise?
Por meio da metanálise, pesquisadores podem investigar a seguinte pergunta de pesquisa (ou alguma adaptação dela): “o efeito da intervenção A sobre o desfecho B é confiavelmente diferente de zero?”. Além disso, quando usada em uma revisão sistemática, a metanálise permite contrastar as predições de diferentes teorias, bem como apontar relações pouco ou não investigadas que precisarão receber maior atenção em estudos futuros.
Outra possível pergunta de pesquisa que podemos fazer é a seguinte: “as variáveis metodológicas X1, X2, …, Xn moderam o efeito da intervenção A sobre o desfecho B?”. Isso geralmente é feito por meio de análise de subgrupos (quando as variáveis metodológicas são categóricas, análogo aos testes t e às ANOVAs) ou de metarregressão (quando as variáveis metodológicas são contínuas, análogo às regressões simples e múltiplas).
Adicionalmente, podemos usar a metanálise para diagnosticar e corrigir o viés de publicação. Nesse contexto, uma possível pergunta de pesquisa é a seguinte: “existem evidências de que os efeitos de A sobre B em uma determinada direção são mais prováveis de serem publicados que efeitos nulos ou na direção oposta?”.
Podemos responder a esse tipo de questão por meio de diferentes técnicas analíticas, incluindo o teste de regressão de Egger, o teste de correlação de postos de Begg e Mazumbar, o diagrama de funil e o procedimento aparar-e-preencher (trim-and-fill procedure), para citar alguns.
Por fim, a metanálise, quando usada fora do contexto de uma revisão sistemática, pode sintetizar um conjunto de experimentos. Desse modo, pesquisadores conseguem obter estimativas mais precisas de tamanho de efeito que os estudos individuais separadamente, permitindo assim um teste de uma hipótese de pesquisa com maior poder estatístico.
Quais são os principais modelos de metanálise?
Os dois principais modelos de metanálise são os modelo de efeito fixo (singular) e o modelo de efeitos aleatórios (plural). Em seguida, introduzimos cada um deles.
Modelo de efeito fixo de metanálise
No modelo de efeito fixo, pesquisadores assumem que existe um parâmetro verdadeiro compartilhado por diferentes estudos incluídos na revisão. Cada estudo incluído na revisão metanalítica, portanto, busca estimar esse mesmo tamanho de efeito. Representamos o modelo de efeito fixo por meio da seguinte equação:
onde Yi representa o tamanho de efeito observado no estudo i, θ (letra grega theta) representa o tamanho de efeito populacional que queremos estimar, e εi representa erro aleatório. Se você está familiarizado com a teoria clássica dos testes, reconhecerá que a equação anterior é conceitualmente análoga à equação que relaciona escore observado, escore verdadeiro e erro.
Os cálculos dos pesos e da síntese metanalítica da Figura 2 partiram do pressuposto de que todos os estudos compartilham uma única fonte de erro aleatório. A consequência prática desse pressuposto é que o modelo de efeito fixo dá peso desproporcionalmente maior a estudos com maior precisão, conforme vimos anteriormente.
Modelo de efeitos aleatórios de metanálise
No modelo de efeitos aleatórios, pesquisadores assumem que existe uma distribuição de parâmetros verdadeiros. Cada estudo incluído na revisão metanalítica, portanto, busca estimar um parâmetro específico dessa distribuição. O objetivo do modelo de efeitos aleatórios é estimar o hiperparâmetro desta distribuição, isto é, o parâmetro que representa a média da distribuição de parâmetros.
Representamos o modelo de efeitos aleatórios por meio da seguinte equação:
onde Yi representa o tamanho de efeito observado no estudo i; μθ (letras gregas mu e theta) representa a média da distribuição de tamanhos de efeito populacionais; ξi (letra grega xi) representa a distância do tamanho de efeito amostrado no estudo i e a média da distribuição de tamanhos de efeito populacionais; e εi representa erro aleatório.
Nesse modelo, portanto, existem duas fontes distintas de erro. O erro aleatório, εi, assim como no modelo de efeito fixo, é específico de cada estudo. Por outro lado, a variância na distribuição de tamanhos de efeito populacionais, Var(ξi) = τ² (letra grega tau), é comum a todos os estudos.
Como os pesos dos estudos diferem no modelo de efeitos aleatórios de metanálise
Ao considerarmos uma segunda fonte de variabilidade no modelo de efeitos aleatórios, a discrepância nos pesos dos diferentes estudos será menor. Em outras palavras, comparado ao que ocorreria no modelo de efeito fixo, damos um peso um pouco maior a estudos com menor precisão no modelo de efeitos aleatórios.
Por exemplo, o modelo de efeitos aleatórios estimou que a variância da distribuição de tamanhos de efeito populacionais é τ² = 0,098. Agora os pesos não usam mais apenas s²(gi), mas sim s²(gi) + τ². Os pesos, por sua vez, são calculados como as inversas das variâncias, isto é, Pesoi = 1 / [s²(gi) + τ²]. Por fim, os pesos relativos são expressos como percentuais do somatório de todos os pesos. Caso queira, você pode checar os cálculos da Figura 4.
A Figura 5 apresenta um forest plot baseado em um modelo de efeitos aleatórios.
Notamos dois pontos fundamentais na Figura 5. Primeiro, os quadrados agora têm tamanhos aproximadamente similares, indicando pesos não muito distintos atribuídos aos diferentes estudos. Essa é uma consequência de considerarmos τ² como uma fonte adicional de incerteza nos tamanhos de efeito estimados em cada estudo.
Segundo, isso tem uma consequência no tamanho de efeito geral e em seu respectivo intervalo de confiança, g = 0,51, IC 95% [0,12, 0,91], que agora tende a ficar mais próximo da média aritmética simples, além de indicar maior incerteza (i.e., intervalo mais largo) acerca do valor verdadeiro do hiperparâmetro da da distribuição populacional de tamanhos de efeito.
Outros modelos de metanálise
Os modelos anteriores fornecem uma introdução a dois modelos matemáticos de metanálise. Em geral, em ciências humanas e sociais, dá-se a preferência ao modelo de efeitos aleatórios, uma vez que é mais plausível assumirmos que diferentes estudos de uma revisão metanalítica estimam parâmetros conceitualmente similares, mas numericamente distintos.
No entanto, ressaltamos que a literatura metodológica de metanálise vem produzindo inovações enalíticas, quer em termos de modelos de metanálise, quer em termos de técnicas de investigação e de correção de viés de publicação.
Outros modelos de metanálise incluem o estimador de variância robusta e o modelo hierárquico de metanálise (ambos adequados para quando há dependência nos tamanhos de efeito), modelos de metanálise baseados em modelagem por equações estruturais e modelos bayesianos, para citar algumas possibilidades.
Onde aprender sobre metanálise?
Neste post, explicamos o que é metanálise, suas aplicações e seus dois principais modelos matemáticos. Nesse momento, você pode se perguntar onde aprender mais sobre metanálise. No final deste post, apresentamos uma lista de referências úteis para essa finalidade. Uma fonte relevante que destacamos aqui é o livro Doing meta-analysis in R, disponível gratuitamente na internet.
Além disso, a formação da Psicometria Online Academy conta com módulos de Revisões da Literatura e de Metanálise, que ensinam a realizar revisões da literatura com alto rigor metodológico e a unificar os achados da sua revisão por meio da metanálise, respectivamente.
Se você quer aprender sobre esses conteúdos, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Baumeister, R. F., & Leary, M. R. (1997). Writing narrative literature reviews. Review of General Psychology, 1(3), 311–320. https://doi.org/10.1037/1089-2680.1.3.311
Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to meta-analysis. Wiley.
Cheung, M. W.-L. (2019). A guide to conducting a meta-analysis with non-independent effect sizes. Neuropsychology Review, 29(4), 387–396. https://doi.org/10.1007/s11065-019-09415-6
Cumming, G., & Calin-Jageman, R. (2017). Introduction to the new statistics: Estimation, open science, and beyond. Routledge.
Hedges, L. V., & Vevea, J. L. (1998). Fixed- and random-effects models in meta-analysis. Psychological Methods, 3(4), 486–504. https://doi.org/10.1037/1082-989x.3.4.486
Higgins, J. P. T., & Thomas, J. (Eds.). (2019). Cochrane handbook for systematic reviews of interventions (2nd ed.). The Cochrane Collaboration.
Lakens, D., Hilgard, J., & Staaks, J. (2016). On the reproducibility of meta-analyses: Six practical recommendations. BMC Psychology, 4(24), 1–10. https://doi.org/10.1186/s40359-016-0126-3
Lima, M. F. R., & Buratto, L. G. (2023). Metanálises em psicologia: Uma introdução conceitual e prática. Psico-USF, 28(2), 267–279. https://doi.org/10.1590/1413-82712023280205
Siddaway, A. P., Wood, A. M., & Hedges, L. V. (2019). How to do a systematic review: A best practice guide for conducting and reporting narrative reviews, meta-analyses, and meta-syntheses. Annual Review of Psychology, 70(9), 747–770 . https://doi.org/10.1146/annurev-psych-010418-102803
Como citar este post
Lima, M. (2024, 31 de julho). O que é metanálise? Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/o-que-e-metanalise
