O Kappa de Fleiss é derivado do Kappa de Cohen. A principal diferença da estatística Kappa de Fleiss é que podemos avaliar o o grau de concordância entre três ou mais observadores/avaliadores, enquanto o Kappa de Cohen permite apenas dois observadores/avaliadores. Portanto, Agora estendemos o kappa de Cohen para o caso em que o número de avaliadores pode ser maior que dois.
Como calcular o Kappa Generalizado de Fleiss no SPSS?
Antes de começarmos, é importante saber que o Kappa de Fleiss só está disponível a partir da versão 26 do SPSS. Caso você tenha versões anteriores (a partir da 24), você precisará adicionar uma extensão, que pode ser baixada diretamente de um repositório do Github, basta clicar aqui, e ao acessar o repositório, clicar em download.
Para instalar a extensão, você deve abrir o SPSS, no menu Extensões -> Instalar Pacote de Extensão Local…
Ao clicar em Instalar Pacote de Extensão Local uma nova janela irá aparecer e você deve localizar o arquivo que baixou do Github e clicar em abrir.
Após clicar em Abrir, o SPSS instala automáticamente a extensão do Kappa de Fleiss. Agora que você tem Kappa de Fleiss instalado (seja pela versão do SPSS 26+ ou pela extensão adicionada), você pode executar a análise.
Como calcular o Kappa de Fleiss no SPSS
Antes de demonstrar como calcular o Kappa de Fleiss no SPSS, vale a pena contextualizar o exemplo.
Para esse exemplo vamos utilizar dados coletados de laudos de transtornos psiquiátricos de 30 participantes, avaliados por 3 psiquiatras diferentes. Cada um dos psiquiatras deu seu laudo para cada participante. E os laudos poderiam ser: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro. Os dados estão dispostos como na imagem abaixo.
Vamos então executar a análise. Portanto, clique em Analisar –> Escala –> Análise de Confiabilidade. Se você tiver adicionado a extensão manualmente, clique em Fleiss Kappa e adicione as variáveis referentes aos juízes.
Se tiver a versão do SPSS 26+, clique em Análise de Confiabilidade.
Posteriormente, passe as variáveis correspondentes as valiações de cada observador para a direita. Como na imagem abaixo, o Observador 1 já está na direita, na sequência é necessário inserir os outros Observadores 2 e 3.
Com todos os observadores no campo da direita, basta clicar em OK.
Na saída do SPSS podemos identificar o valor da concordância global (Kappa), a significância estatística atribuída ao Kappa e o intervalo de confiança de 95%.
Vemos que o Kappa global foi de 0.534, sendo é significativo (p = 0.000) com intervalo de confiança entre 0.428 e 0.640.
Além dessa tabela, o SPSS exibi uma tabela com os valores de Kapaa, a significância estatística e os intervalos de confiança para cada uma das categorias, que em nosso exemplo foram: 1: Depressão, 2: Transtorno de personalidade, 3: Esquizofrenia, 4: Neurose e 5: Outro.
Como interpretar o Kappa de Fleiss?
A estatística pode variar de -1 a +1, onde o valor negativo indica que a concordância entre os avaliadores foi menor que a concordância esperada ao acaso. Com -1 estamos indicando que não houve concordância, 0 indica que a concordância não é melhor que o acaso, e valores maiores que 0 representam uma concordância crescente para os avaliadores, até um valor máximo de + 1, indicando uma concordância perfeita.
Fleiss (1981) oferece uma classificação Kappa que pode nos ajudar a interpretar os coeficientes obtidos:
- Entre 0,40 e 0,60: concordância regular
- Entre 0,61 e 0,75: concordância boa
- Acima de 0,75: concordância excelente
Por sua vez, Altman (1991) propõe uma classificação um tanto mais ampla:
- De 0 a 0,20: concordância muito fraca
- De 0,21 a 0,40: concordância fraca
- De 0,41 a 0,60: concordância moderada
- De 0.61 a 0,80: concordância boa
- De 0.81 a 1,00: concordância muito boa
Voltando ao nosso exemplo, de acordo com Fleiss (1981), o Kappa global foi de 0.534, o qual pode ser considerada uma concordância regular. Por outro lado, se considerarmos o proposto por Altman (1991), encontramos uma concordância moderada entre os observadores (psiquiatras).
Pronto! Muito simples, não é?
Gostou desse conteúdo? Precisa aprender Análise de dados? Faça parte da Psicometria Online Academy: a maior formação de pesquisadores quantitativos da América Latina. Conheça toda nossa estrutura aqui e nunca mais passe trabalho sozinho(a).
Referências
Altman, D. G. (1991). Practical statistics for medical research. Chapman and Hall.
Fleiss, J. L. (1981). Statistical methods for rates and proportions. John Wiley and Sons.
Como citar este post
Damásio, B. (2021, 8 de maio). O que é kappa de Fleiss? Blog Psicometria Online. https://www.blog.psicometriaonline.com.br/kappa-de-fleiss/
