A validade baseada no processo de resposta é uma das cinco fontes de validade dos testes (AERA, APA & NCME, 2014). Refere-se à evidência relativa ao ajuste entre o construto e a natureza detalhada do desempenho ou resposta dos examinados.
O que são os processos de resposta?
Os processos de resposta referem-se a abordagens e comportamentos dos examinados quando se submetem a situações de avaliação. Em geral, as pesquisas em Psicologia trabalham com escalas de autorrelato do Likert, onde as pessoas são solicitadas a concordar ou não com diferentes frases. Entretanto, vários outros tipos de respostas existem, para pesquisas feitas com diferentes métodos, como por exemplo, testes de desempenho, verbalizações, movimentos oculares (eye-tracking), tempo de resposta em estudos experimentais, etc. Esses dados do processo de resposta podem fornecer informações sobre até que ponto itens e tarefas envolvem os examinandos nas formas pretendidas.
Como obter evidencias de validade baseadas no processo de resposta?
Como dito anteriormente, a validade baseada no processo de resposta é uma das formas de validade proposta pelos Standards da AERA, APA, e NCME. Porém, este guideline fornece poucas indicações sobre como se obtém esse tipo de validade. De todo modo, os métodos usados pelos pesquisadores podem ser agrupados em duas categorias: 1) aqueles que acessam diretamente os processos psicológicos ou operações cognitivas, 2) aqueles que fornecem indicadores indiretos que requerem inferência adicional.
Aqueles que acessam diretamente os processos psicológicos ou operações cognitivas
Entrevistas
A entrevista é o método preferido dos pesquisadores em estudos de validade baseada no processo de resposta. A preferência é compreensível, pois este método responde diretamente às diretrizes da AERA et al. (2014) perguntando aos respondentes dos itens sobre seus processos psicológicos e operações cognitivas. É também um método fácil de aplicar e requer relativamente poucos recursos.
Pedir aos respondentes “pensar em voz alta” e o uso de vinhetas, são duas estratégias comumente usadas como componentes-chave do método de entrevista.
Ao usar vinhetas, os pesquisadores apresentam histórias curtas aos participantes, que devem fazer um julgamento sobre a situação ilustrada. Os participantes também devem indicar como e por que reagiriam na situação descrita. As vinhetas são especialmente úteis para avaliar se, ao responder os itens, os participantes respondem ao item completo ou se concentram apenas em elementos específicos.
Grupos focais
O grupo focal é considerado um método útil para explorar tópicos desconhecidos através de discussão em grupo sobre os itens do teste. Os participantes do grupo podem discutir sentimentos, pensamentos e opiniões, devido ao efeito facilitador da interação que pode revelar seus processos psicológicos ao responder aos itens.
Entrevista cognitiva
A entrevista cognitiva é uma ampla classe de métodos que visam extrair informações verbais dos entrevistados enquanto eles respondem a itens de autorrelato ou pesquisa, com o objetivo de alcançar uma melhor compreensão dos processos mentais empregados pelos entrevistados ao responder aos itens. Na categoria mais ampla de entrevista cognitiva, dois paradigmas principais surgiram e se diferenciaram: protocolos de pensar em voz alta (think aloud protocols – TAP) e sondagem verbal (verbal probing – VP), embora uma mistura de ambos os métodos, tenha sido usada em pesquisas.
Os protocolos TAP representam uma classe de métodos que pede aos participantes que pensem em voz alta enquanto respondem a itens de um questionário ou quando estão envolvidos em uma tarefa. Os entrevistados são solicitados a verbalizar tudo o que estão olhando, pensando, fazendo e sentindo enquanto completam ou registram suas respostas (ou seja, verbalização simultânea). Este método permite estudar os processos dos respondentes, em vez de apenas suas respostas finais em uma medida de autorrelato.
A VP consiste em fazer perguntas ou sondagens sobre os processos cognitivos, motivacionais e emocionais dos entrevistados à medida que eles completam as medidas de autorrelato.
Aqueles que fornecem indicadores indiretos
Rastreamento ocular (eye-tracking)
O rastreamento ocular ou movimento ocular tem sido usado como pistas indiretas para a atenção e o processo cognitivo. Os métodos de rastreamento ocular são implementados durante a tarefa de responder o item do teste, visando acessar aos processos psicológicos ou operações cognitivas envolvidos. Por exemplo, Ivie e Embretson (2010) aplicaram o método de rastreamento ocular para obter evidências sobre processos cognitivos envolvidos na montagem de itens de objetos. Em geral, essa técnica pouco se aplica a instrumentos de autorrelato, mas podem ser muito utilizadas em baterias mais complexas, como por exemplo, testes de atenção concentrada em pilotos ou controladores de vôo.
Tempos de resposta
Finalmente, os estudos de validação que medem os tempos de resposta estão habitualmente focados em conectar o tempo de resposta com a complexidade dos processos envolvidos no desenvolvimento da tarefa.
Buscam obter evidências dos processos de resposta ou algum aspecto deles (por exemplo, adivinhação, compromisso de responder aos itens), registrando os tempos de resposta enquanto os participantes do teste estão respondendo aos itens.
Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association
Ivie, J.L., & Embretson, S.E. (2010). Cognitive process modeling of spatial ability: The assembling objects task. Intelligence, 38, 324-335
Padilla, J. L., & Benítez, I. (2014). Validity evidence based on response processes. Psicothema, 26(1), 136-144.
Como citar este post
Damásio, B. (2021, 11 de maio). Validade baseada no processo de resposta. Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/validade-processo-resposta/
