A validade baseada na estrutura interna é uma das cinco fontes de validade dos testes (AERA, APA & NCME, 2014). Representa o grau em que a estrutura de correlações entre os itens correspondem à estrutura do construto que o teste propõe mensurar.
Como posso obter evidências de validade baseada na estrutura interna?
As evidências baseadas na estrutura interna podem ser obtidas considerando três aspectos básicos: estrutura fatorial do instrumento, invariância da medida e confiabilidade (também denominada de fidedignidade ou consistência interna).
Ao avaliar a estrutura fatorial (ou dimensionalidade), o pesquisador avalia se as interrelações entre os itens suportam a estrutura teoricamente proposta do construto. Por exemplo, um teste que pretende gerar uma pontuação total deve ser predominantemente unidimensional. Já um construto que seja teoricamente composto por múltiplos fatores, deverá ter essa estrutura teórica corroborada pelos dados (ex: burnout, que é composto por exaustão emocional, despersonalização e baixa realização profissional).
Uma outra forma de avaliar a estrutura interna de uma medida é investigar até que ponto ela se mostra invariante (ou seja, equivalente) para diferentes grupos. Ao testar a invariância da medida, os pesquisadores avaliam se as características do instrumento (estrutura fatorial, bem como os parâmetros dos itens) são equivalentes entre diferentes grupos.
Por fim, dentro da validade baseada na estrutura interna, comumente se avalia a fidedignidade da medida, por meio de técnicas de consistência interna. A fidedignidade investiga se o padrão de resposta ao itens são precisos, com poucos erros de medida. testes relatados são consistentes em aplicações realizadas em tempos diferentes.
Quais análises estatísticas são usadas para avaliar a dimensionalidade?
Procedimentos de Análise Fatorial Exploratória (AFE) e Análise Fatorial Confirmatória (AFC) são os métodos estatísticos mais comumente usados para avaliar a dimensionalidade de um conjunto de dados. Isto porque, os procedimentos de análise fatorial examinam as relações entre indicadores (por exemplo, respostas aos itens) e as variáveis latentes (construtos teóricos) que os indicadores se destinam a medir.
Na AFE, a estrutura dos dados deriva da própria análise. Ou seja, o número de fatores a ser retido e os itens que compõem cada um desses fatores emerge dos próprios dados.
Já na AFC, a estrutura do instrumento é especificada a priori pelo pesquisador usando a teoria ou pesquisas empíricas anteriores. Portanto, o pesquisador especifica explicitamente o número de variáveis latentes subjacentes (também chamadas de fatores) e quais itens carregam nas variáveis latentes específicas.
Quais análises são usados para avaliar a invariância da medida?
Avaliar a invariância da medida significa testar a existência de viés. O viés é o termo técnico que descreve deficiências sistemáticas no teste que levam a uma interpretação diferencial das pontuações por subgrupos.
A principal preocupação na avaliação do viés é determinar se o padrão de respostas ao instrumento varia sistematicamente devido a alguma variável externa ao traço que está sendo medido. Por exemplo, o pesquisador poderá buscar compreender se algumas características sociodemográficas impactam na resposta ao teste (e.g., sexo, estado civil, país, faixa-etária, etc).
Por exemplo, imagine uma escala de depressão, que contenha o item: “Tenho chorado mais do que o de costume”. É sabido que o comportamento de chorar não é equivalente entre homens e mulheres depressivas; mulheres tendem a chorar mais do que homens, mesmo quando avaliamos pessoas com o mesmo nível de depressão.
Isto significa que, em uma escala de depressão, esse item possivelmente seria enviesado, e caso não fosse corrigido, poderia dar a entender que homens seriam menos depressivos do que mulheres, apenas porque a pontuação nesse item tenderia a ser menor para homens do que para mulheres com o mesmo nível de depressão (e.g., Gelin & Zumbo, 2003).
Portanto, para que um teste seja justo (a partir de uma perspectiva psicométrica), deve-se demonstrar invariância de medida em todos os subgrupos distintos que serão comparados.
Para avaliar a invariância da medida, bem como o funcionamento diferencial de itens, diferentes procedimentos podem ser utilizados, tais como análises de funcionamento diferencial do item (DIF), Análise Fatorial Confirmatória Multigrupo (AFCMG), Multiple Imputation Multiple Causes (MIMIC), entre outros.
Em geral, as técnicas de DIF e MIMIC avaliam o efeito de uma variável externa no padrão de respostas aos itens. Já a AFCMG é mais ampla, e avalia a invariância da medida em diversos níveis, começando pela própria estrutura fatorial da escala e seguindo para o parâmetros dos itens.
Quais análises são usados para avaliar a confiabilidade?
A confiabilidade (ou fidedignidade) diz respeito ao grau em que as pontuações obtidas num teste são livres de erro de medida. É definida operacionalmente como a proporção da variância da pontuação verdadeira em relação à variação da pontuação total observada.
Possivelmente, a medida mais amplamente utilizada para avaliar a fidedignidade de instrumentos é o Alfa de Cronbach. Porém, apesar do seu amplo uso, o Alfa de Cronbach apresenta limitações importantes.
O Alfa pressupõe que todos os itens têm a mesma importância para o fator (pressuposto denominado tau-equivalence‘), negligenciando as cargas fatoriais dos itens.
Além disso, por ser um estimador ‘lower-bound to reliability’, os valores obtidos pela técnica do Alfa de Cronbach tende a ser menor do que os obtidos por técnicas mais adequadas, como a fidedignidade composta e ômega de McDonald (Sijtsma, 2009).
Conclusão
Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. Washington, DC: American Educational Research Association.
Gelin, M. N., & Zumbo, B. D. (2003). Differential Item Functioning Results May Change Depending On How An Item Is Scored: An Illustration With The Center For Epidemiologic Studies Depression Scale. Educational and Psychological Measurement, 63(1), 65–74. doi:10.1177/0013164402239317
Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0
Como citar este post
Damásio, B. (2021, 9 de maio). Validade baseada na estrutura interna. Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/validade-baseada-na-estrutura-interna/
