Você já ouviu falar do termo HARKing? Ele se refere a uma prática questionável de pesquisa que pode ter implicações importantes para a integridade dos achados científicos. Neste post, vamos explorar o que significa HARKing, fornecer um exemplo prático desse comportamento, discutir suas possíveis causas, consequências e, por fim, oferecer dicas valiosas sobre como combatê-lo.
O que é HARKing?
O termo HARKing foi cunhado em 1998 pelo psicólogo social norte-americano Norbert Kerr (Figura 1). Desde então, o termo se tornou importante em discussões sobre metaciência e sobre as práticas modais em pesquisa.
HARKing quer dizer hypothesizing after the results are known ou, em livre-tradução, formulando hipóteses após conhecer os resultados. Em outras palavras, o HARKing pode ser definido como apresentar hipóteses post hoc na seção de Introdução de artigos científicos como se elas fossem, de fato, hipóteses a priori.
Por exemplo, imagine que um pesquisador conduza um experimento para testar se um novo medicamento reduz a pressão arterial. No entanto, ao analisar os dados, o pesquisador percebe que o medicamento também parece melhorar a qualidade do sono.
Contudo, ao invés de relatar essa descoberta como um resultado inesperado, o pesquisador reformula a seção de Introdução de seu artigo para incluir a melhoria do sono como um dos objetivos principais do estudo. Ele faz o levantamento de teorias e de achados prévios que poderiam apoiar a ideia de que o medicamento deveria melhorar a qualidade do sono, usando assim tal literatura para sustentar sua hipótese post hoc. Isso é HARKing.
A falácia do atirador de elite do Texas
Considere a seguinte falácia informal. Joe é um texano que adora se gabar de sua invejável pontaria. Certo dia, Joe mostra uma cerca de madeira a seus amigos. Na cerca, há uma série de buracos de tiros centrados em alvos pintados na madeira. Joe se gaba de sua mira perfeita perante seus amigos enquanto aponta para os tiros nos alvos da cerca.
No entanto, Joe deixa de fornecer a seus amigos uma informação crítica que modificaria completamente a apreciação de suas façanhas: os alvos foram pintados na cerca de madeira após os disparos (Figura 2).
A descrição captura a ideia central do HARKing. O empreendimento científico é pensado como tendo uma sequência lógica. Primeiramente, pesquisadores revisam a literatura, formulam uma questão de pesquisa e delineiam um estudo para respondê-la. As hipóteses consistem em expectativas de resultados, sendo formuladas antes da coleta e da análise de dados. Desse modo, as análises de dados avaliam em que medida corroboramos ou não nossas hipóteses.
O engajamento em HARKing inverte essa sequência. Tal como o atirador de elite pintou seus alvos ao redor dos tiros depois de atirar na cerca de madeira, pesquisadores praticam HARKing quando redigem hipóteses post hoc (como se fossem a priori) na seção de Introdução após analisar os dados da pesquisa.
Por que pesquisadores praticam o HARKing?
Kerr (1998) sugere possíveis razões para o HARKing. Destacamos algumas delas aqui.
- Comunicação eficiente: periódicos científicos têm limites de páginas, enquanto os leitores têm limites atencionais e de tempo para consumir literatura científica. Desse modo, pesquisadores podem remover as hipóteses originais, não apoiadas pelos dados, para usar melhor os recursos dos periódicos e da audiência;
- Engajamento da audência: pesquisadores podem sucumbir à tentação de contar uma boa história, isto é, de construir uma narrativa que possa “vender” melhor aos editores e ao público;
- Viés de confirmação: livros-textos de metodologia científica comumente fornecem instruções sobre como conduzir pesquisas confirmatórias, em um contexto de justificação, mas sem instruir como proceder em pesquisas exploratórias, em um contexto de descoberta;
- Viés de retrospectiva: vieses de memória podem influenciar os pesquisadores. Em outras palavras, ao tentarem compreender seus resultados, os pesquisadores podem reformular suas hipóteses à luz dos dados e, posteriormente, acreditar que essas hipóteses reformuladas são as mesmas que tinham antes da análise de dados;
- Custo elevado de não publicar resultados: pesquisadores podem explorar os dados até encontrar resultados estatisticamente significativos, dado que existe um viés de publicação contra resultados não significativos. Por outro lado, o arquivamento de um estudo implica o custo de meses, ou até mesmo anos, de pesquisa que não produziram resultados publicáveis.
Quais são as consequências do HARKing?
Kerr (1998) originalmente propôs 12 custos do HARKing para o empreendimento científico. No entanto, a extensão na qual esses potenciais custos realmente afeta a ciência tem sido alvo de debate (para exemplos, veja Rubin, 2022; Schimmack, 2012).
Ao invés de listarmos os potenciais custos propostos por Kerr (1998), faremos uma consideração mais ampla sobre o tema. Dado que pesquisadores querem conduzir investigações cujos achados sejam posteriormente publicáveis, eles podem se inclinar a delinear estudos complexos, a coletar várias medidas e a testar múltiplas hipóteses.
Mesmo que nenhuma dessas hipóteses seja apoiada, ainda restará uma grande quantidade de relações entre variáveis para explorar. Por exemplo, pode-se conduzir testes de moderação e mediação inicialmente não previstos. No entanto, o teste de um grande número de hipóteses tende a inflacionar a taxa de erro do Tipo I.
Desse modo, o HARKing associado ao teste de múltiplas hipóteses pode levar a conclusões enganosas. Infelizmente, a tentativa de dar sentido aos resultados significativos do estudo pode transformar erros do Tipo I em teorias explicativas.
Como combater o HARKing?
É possível evitar ou mesmo minimizar os riscos de se cometer HARKing. Primeiramente, pesquisadores devem anotar suas hipóteses de pesquisa, bem como a fundamentação teórica ou empírica para cada uma delas. Isso evita o viés de retrospectiva.
No entanto, isso pode não ser suficiente para dar credibilidade às hipóteses junto à comunidade científica. Para aumentar essa credibilidade, pesquisadores podem registrar suas hipóteses publicamente antes de iniciar a coleta de dados, utilizando plataformas como o AsPredicted ou o Open Science Framework (Figura 3).
Além disso, é importante relatar todos os resultados, inclusive os inesperados, sem tentar encaixá-los em hipóteses post hoc. Se eventualmente outras ideias surgirem durante as análises de dados, pesquisadores podem explicitamente reconhecer que determinadas análises se desviam do protocolo previamente registrado, de modo a ajudar o leitor a distinguir análises confirmatórias de exploratórias.
As dicas anteriores visam ajudá-lo a evitar o HARKing. Mas como combater o HARKing praticado por outros pesquisadores? A principal estratégia segue sendo a pedra fundamental da ciência: a replicação. Em última instância, são as tentativas de replicação subsequentes que permitirão avaliar em que medida os achados originais representam fenômenos teoricamente relevantes ou erros do Tipo I.
Conclusão
Neste post, você aprendeu o que é HARKing, uma prática questionável de pesquisa. Se você quer evitá-la em suas pesquisas, veja a sugestão que preparamos a seguir.
A formação da Psicometria Online Academy possui o curso de Escrita Científica de Alto Impacto, que dá dicas fundamentais para uma excelente escrita científica de artigos de alto impacto, com ênfase em pesquisa quantitativa. O curso é dividido em 7 módulos.
- Módulo 1 – Estruturando uma pesquisa relevante: sua pesquisa não deve ser mais do mesmo. Estruture um estudo de alto nível, que tem o potencial de avançar o estado da arte na sua área;
- Módulo 2 – A estrutura da fundamentação teórica: aprenda a estrutura de organização da fundamentação teórica que tornará evidente a relevância da sua pesquisa;
- Módulo 3 – A estrutura da escrita científica: entenda as principais características da escrita científica enquanto gênero textual, que tem suas próprias regras a serem seguidas;
- Módulo 4 – Os principais erros da escrita: evite os principais erros gramaticais e estilísticos da escrita científica, tornando assim seu texto muito mais profissional;
- Módulo 5 – A estrutura do método: aprenda a estruturar o método de um jeito impecável, sem deixar lacunas para questionamentos e críticas de revisores e bancas;
- Módulo 6 – Resultados, discussão e conclusão: aprenda a problematizar os resultados e a discussão dos seus achados, elaborando com enorme profundidade e qualidade técnica cada uma dessas seções;
- Módulo 7 – O processo da publicação científica: aprenda com quem já foi editor de revistas nacionais e internacionais (Qualis A) tudo que se passa internamente nas revisas científicas, para que você tenha muito mais chance de publicação.
Se você quer aprender sobre esse e outros conteúdos, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Kerr, N. L. (1998). HARKing: Hypothezising after the results are known. Personality and Social Psychology Review, 2, 196–217. https://doi.org/10.1207/s15327957pspr0203_4
Rosenthal, R. (1979). The “file drawer problem” and tolerance for null results. Psychological Bulletin, 86(3), 638–641. https://doi.org/10.1037/0033-2909.86.3.638
Rubin, M. (2022). The costs of HARKing. British Journal for the Philosophy of Science, 73(2), 535–560. https://doi.org/10.1093/bjps/axz050
Schimmack, U. (2012). The ironic effect of significant results on the credibility of multiple-study articles. Psychological Methods, 17(4), 551–566. https://doi.org/10.1037/a0029487
Como citar este post
Lima, M. (2024, 14 de agosto). HARKing: Formulando hipóteses após conhecer os resultados. Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/o-que-e-harking
