Estudos científicos ocorrem em momentos, contextos e com populações específicas. No entanto, pesquisadores costumam se interessar por fenômenos que vão além do ambiente imediato da pesquisa. Essa ambição está diretamente relacionada ao conceito de validade externa.
Neste post, você aprenderá sobre validade externa. Primeiramente, definiremos o conceito de validade externa. Em seguida, abordaremos as principais ameaças metodológicas que podem comprometê-la. Por fim, explicaremos a diferença entre validade externa, validade interna e validade baseada em medidas externas.
O que é validade externa?
A validade externa se refere ao grau em que os resultados de um estudo se aplicam a diferentes populações, contextos e condições. Em outras palavras, esse conceito se relaciona à generalização dos achados. Quanto mais específica ou restrita for a amostra, menos seremos capazes de generalizar esses resultados para outros indivíduos, contextos ou situações.
É importante salientar que nem sempre buscamos a generalização dos achados. Muitas vezes, a relevância de uma pesquisa está justamente em demonstrar quais são as condições limite de um fenômeno. Identificar essas condições faz parte das análises de moderação, o que é valioso, pois explora as razões para os limites de uma regra geral.
Por exemplo, imagine que um pesquisador demonstra que uma dieta rica em peixe reduz significativamente o risco de ataque cardíaco (Figura 1). No entanto, outra equipe de pesquisa descobre que isso nem sempre ocorre: se o peixe é grelhado ou assado, o risco de ataque cardíaco diminui; se o peixe é frito, o risco aumenta (Belin et al., 2011). Ou seja, o modo de preparo é uma variável moderadora que define sob quais condições o consumo de peixe protege ou aumenta o risco de ataque cardíaco.
Quais fatores ameaçam a validade externa de um estudo?
As ameaças à validade externa dizem respeito às características de um delineamento de pesquisa que restringem as generalizações que pesquisadores podem fazer. A seguir, discutimos os principais fatores que podem comprometer a validade externa de um estudo.
Características da amostra
Um dos principais desafios para a validade externa está na representatividade da amostra. Se a amostra do estudo for muito específica ou homogênea (e.g., estudantes universitários), os resultados podem não ser aplicáveis a outras populações. Por exemplo, se demonstrarmos os benefícios do mindfulness sobre a redução do estresse em uma amostra de mulheres, não podemos garantir que o efeito se generalize para homens.
O acrônimo WEIRD se refere a sociedades ocidentais, educadas, industrializadas, ricas e democráticas (Western, Educated, Industrialized, Rich, and Democratic). Em estudos de psicologia, Henrich et al. (2010) estimaram que 96% das amostras são oriundas de países que representam apenas 12% da população mundial. Desse modo, amostras tão enviesadas podem gerar evidências com baixa validade externa para descrever indivíduos de outras sociedades.
Especificidade dos estímulos
O uso de estímulos muito restritos pode limitar sua validade externa. Quando o estímulo não reflete a variedade de situações reais, a generalização dos resultados fica comprometida.
Por exemplo, imagine que um experimento demonstre que uma técnica mnemônica melhora a aprendizagem de lista de palavras. Esse resultado seria suficiente para recomendarmos o uso da técnica em outros domínios, como Álgebra Linear, Revolução Francesa ou Filosofia Existencialista? Possivelmente, seriam necessárias replicações para demonstrar a generalidade do benefício, antes de confiarmos que a técnica mnemônica possui ampla aplicação.
Reatividade dos arranjos experimentais
Os arranjos experimentais podem causar uma reação nos participantes, levando-os a comportamentos artificiais. Isso ocorre quando as condições do experimento não refletem as situações naturais, comprometendo a generalização dos resultados.
Por exemplo, uma intervenção na luminosidade no ambiente de trabalho visou aumentar a produtividade de mulheres no ambiente de trabalho. No entanto, a simples presença dos pesquisadores pode ter levado as trabalhadoras a trabalhar de maneira mais diligente do que em uma situação “real”, isto é, sem a presença da equipe de pesquisa (Figura 2). Nesse caso, não sabemos se os efeitos da intervenção se aplicariam fora do experimento.
Um tipo especial de reatividade é o efeito de novidade, que surge quando os efeitos de uma intervenção decorrem de seu caráter inédito. Se a novidade for responsável pelos efeitos, é provável que esses resultados não sejam duradouros.
Reatividade da avaliação
A forma como os dados são coletados também pode alterar o comportamento dos participantes, distorcendo os resultados e prejudicando a validade externa. Por exemplo, em um estudo de satisfação no trabalho, os funcionários podem responder de maneira mais positiva a um questionário se estiverem na presença de seus supervisores.
Para mitigar esse efeito, o uso de questionários anônimos ou de medidas não reativas pode ser uma solução. Medidas não reativas incluem avaliações implícitas, indicadores biológicos e índices de rastreamento ocular, entre outros exemplos. Em tais casos, os participantes são menos propensos a reagir à avaliação, pois essas medidas são menos suscetíveis à influência da consciência de estar sendo observado.
Sensibilização ao teste
Quando os participantes passam por um pré-teste, isso pode influenciar suas respostas no experimento principal, comprometendo assim a validade externa dos resultados. Em outras palavras, os resultados de um estudo que inclui pré-teste podem não se replicar em situações em que o pré-teste está ausente.
Por exemplo, em um estudo sobre mudança de atitudes em relação a imigrantes, o pré-teste pode fazer os participantes refletirem sobre suas opiniões, afetando os resultados após a intervenção. Nesse caso, o pré-teste, e não a intervenção, pode ter causado a mudança de atitude.
Uma maneira de avaliar o efeito do pré-teste é o delineamento de quatro grupos de Solomon, ilustrado na Figura 3.
Na Figura 3, X se refere às intervenções e os As se referem às diferentes avaliações durante o experimento. Para os presentes propósitos deste post, a comparação entre A4 e A6 permite avaliar, nos grupos controle, o efeito de realizar o pré-teste sobre os escores do pós-teste. Se não há diferenças significativas entre essas medidas, então concluímos que não temos evidências de sensibilização ao pré-teste no estudo.
Interferência de tratamentos múltiplos
A interferência de múltiplos tratamentos também ameaça a validade externa. Quando os participantes recebem mais de um tratamento, isolar o efeito de cada um deles se torna difícil, comprometendo a generalização.
Por exemplo, suponha que pesquisadores contrastem os efeitos de duas estratégias de ensino (A vs. B) sobre a aprendizagem de língua estrangeira. Um grupo de participantes é exposto à estratégia A, realiza uma avaliação, e depois é exposto à estratégia B, seguida de uma nova avaliação. Em contrapartida, um segundo grupo é exposto às estratégias na ordem inversa. A Figura 4 ilustra os resultados desse experimento.
O problema desses resultados é que parece haver um efeito de transferência entre condições: o efeito da estratégia B sobre o desempenho é diferente a depender dela ter ocorrido antes (sem efeito) ou após (com efeito) a estratégia A. Em outras palavras, a interação Técnica × Ordem afeta a generalidade das conclusões: a vantagem da estratégia B sobre a estratégia A só acontece para quem passou pela estratégia A antes da B.
Qual é a diferença entre validade externa e validade interna?
Enquanto a validade externa questiona quão generalizáveis são os resultados de um estudo para outras situações, contextos ou populações, a validade interna se concentra em garantir que os resultados do experimento sejam decorrentes das manipulações feitas.
Apesar de ambos os tipos de validade serem importantes na pesquisa científica, a validade externa tem importância secundária em estudos experimentais. O motivo é simples: primeiro precisamos garantir que os resultados são internamente válidos, para, só então, questionarmos o quão generalizáveis eles são.
Além disso, é importante considerar que experimentos nem sempre objetivam ter validade externa. Por exemplo, alguns experimentos visam criar situações genuinamente artificiais, sem uma contraparte no mundo real, a fim de testar hipóteses teóricas ou demonstrar que um fenômeno pode emergir (veja Mook, 1983). Nesses casos, a artificialidade do contexto e a restrição dos estímulos, ao invés de ameaças à validade externa, tornam-se vantagens que visam assegurar a validade interna dos achados.
Validade externa e validade baseada em medidas externas são sinônimos?
Apesar de terem nomes parecidos, validade externa e validade baseada em medidas externas não são sinônimos. Como já abordamos ao longo deste post, a validade externa se refere à capacidade de generalizarmos os resultados de um estudo para outras populações, ambientes ou momentos. Ela trata, portanto, da aplicação ampla dos achados para além do contexto específico em que a pesquisa foi realizada.
Por outro lado, a validade baseada em medidas externas está relacionada ao grau com que os escores de um teste se associam aos escores de outros instrumentos nas direções teórica ou empiricamente esperadas. Esse é um dos tipos de validade que interessam aos psicometristas, subdividindo-se em validade convergente, validade discriminante e validade de critério (concorrente e preditiva).
Concluindo, enquanto a validade externa se relaciona aos delineamentos de pesquisa de maneira mais ampla, a validade baseada em medidas externas consiste em um conjunto de evidências desejáveis para instrumentos de coleta de dados (i.e., inventários de autorrelato). Embora ambos os conceitos envolvam a ideia de validade, eles tratam de aspectos distintos em diferentes contextos.
Conclusão
Entender a validade externa é essencial para conduzir e interpretar adequadamente estudos científicos. Ao conhecer os fatores que podem ameaçar essa validade, pesquisadores podem tomar decisões que aumentem o grau de generalidade dos achados. Além disso, pesquisadores podem se interessar não pela busca da generalidade, mas sim pelas condições limítrofes de um fenômeno.
A formação da Psicometria Online Academy possui um curso de Introdução à Metodologia Científica, cujo conteúdo é fundamental para quem está dando seus passos iniciais no mestrado e no doutorado.
Se você quer aprender sobre esse e outros conteúdos, então faça parte da Psicometria Online Academy, a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Belin, R. J., Greenland, P., Martin, L., Oberman, A., Tinker, L., Robinson, J., Larson, J., Van Horn, L., & Lloyd-Jones, D. (2011). Fish intake and the risk of incident heart failure: Clinical perspective The Women’s Health Initiative. Circulation: Heart Failure, 4(4), 404–413. https://doi.org/10.1161/CIRCHEARTFAILURE.110.960450
Henrich, J., Heine, S. J., & Norenzayan, A. (2010). The weirdest people in the world? Behavioral and Brain Sciences, 33, 61–83. https://doi.org/10.1017/S0140525X0999152X
Kazdin, A. E. (2016). Research design in clinical psychology (5th ed.). Pearson.
Mook, D. G. (1983). In defense of external invalidity. American Psychologist, 38(4), 379–387. https://doi.org/10.1037/0003-066X.38.4.379
Shaughnessy, J. J., Zechmeister, E. B., & Zechmeister, J. S. (2012). Research methods in psychology (9th ed.). McGraw-Hill.
Como citar este post
Lima, M. (2024, 16 de outubro). O que é validade externa? Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/o-que-e-validade-externa
