A Confiabilidade de
Instrumentos.
A confiabilidade
de instrumentos diagnósticos no campo da psiquiatria tem sido muito estudada,
entretanto as peculiaridades do desempenho destes, aplicados em estudos
epidemiológicos com amostragem populacional, deixaram de ser alvo de pesquisas
nos últimos anos. Poucos têm se preocupado em incluir um estudo de
confiabilidade durante o desenvolvimento da coleta de campo, o que, a nosso
ver, pode representar erros de interpretação, sobretudo quando se trata de
diagnóstico psiquiátrico. Objetivou-se, portanto, discutir essas peculiaridades
apresentando as principais dificuldades e as possíveis soluções para os
problemas freqüentemente encontrados. Para tanto, utilizou-se o estudo de
confiabilidade do inventário de sintomas do Diagnostic and desenhado para
o- DSM-III -Statistical Manual of Mental Disorders Estudo Multicêntrico
de Morbidade Psiquiátrica do Adulto (Almeida Filho et al., 1997) realizado em
três áreas urbanas brasileiras.
O Estudo
Multicêntrico de Morbidade Psiquiátrica é o primeiro estudo epidemiológico de
transtornos psiquiátricos realizado no Brasil que utiliza metodologia de
identificação de caso em duas etapas, com instrumentos padronizados. O objetivo
deste estudo foi estimar a prevalência de morbidade psiquiátrica em amostras
representativas da população acima de 15 anos residentes em três áreas
metropolitanas brasileiras (Brasília, São Paulo e Porto Alegre). Para a
identificação de casos psiquiátricos, foram utilizadas duas escalas
psiquiátricas aplicadas em duas etapas. Na primeira etapa, o Questionário de
Morbidade Psiquiátrica do Adulto (QMPA) foi aplicado para rastreamento de casos
psiquiátricos em 6.740 indivíduos; na segunda fase, 30% de prováveis casos e
10% de prováveis não-casos (775 indivíduos), identificados pelo QMPA, foram
selecionados e submetidos ao inventário de sintomas do DSM-III
Estudo
de confiabilidade
O estudo de
confiabilidade do inventário de sintomas do DSM-III foi abordado por dois
métodos: o método de entrevistador-observador, conduzido em São Paulo e o
método de consistência interna, que possibilitou o estudo do inventário,
aplicado nas cidades de Brasília, São Paulo e Porto Alegre.
Inventário de
sintomas do DSM-III
O inventário de
sintomas do DSM-III foi desenvolvido no Departamento de Psiquiatria da
Universidade de Washington, Saint Louis, Estados Unidos, para verificar os
diagnósticos gerados pelo Diagnostic Interview Schedule (DIS) (Robins et al.,
1981). Esse inventário investiga 39 diagnósticos do DSM-III.
O inventário pode
funcionar como um padrão válido para a avaliação de sintomas psiquiátricos e,
conseqüentemente, identificação de caso psiquiátrico, desde que aplicado por
clínicos treinados e familiarizados com os critérios do DSM-III (Helzer et al.,
1985). Todos os diagnósticos que aparecem no instrumento são definidos e têm
seus critérios estabelecidos no DSM-III. O instrumento apresenta, para alguns
dos diagnósticos, uma lista de sintomas e, para ser classificado como positivo
em um ou mais de um diagnóstico, o indivíduo deve apresentar um número mínimo
de sintomas e preencher critérios definidos no DSM-III, tais como: pertencer a
uma dada faixa de idade determinada, ter apresentado tais sintomas durante um
período de tempo determinado, não apresentar outro diagnóstico que exclua a sua
presença ou qualquer outra condição de exclusão.
Para a
codificação dos sintomas são utilizados três níveis: (1) o sintoma está
ausente, ou não há evidência clínica relevante; (5) o sintoma está presente e é
relevante do ponto de vista clínico psiquiátrico; (9) incerteza na distinção
entre presença e ausência do sintoma. Para a codificação diagnóstica são
utilizados quatro níveis: (1) ausente; (3) preenche os critérios do DSM-III e
não é excluído por outro diagnóstico do DSM-III; (5) preenche os critérios do
DSM-III somente se as regras de exclusão forem ignoradas; (9) incerto. Todos os
diagnósticos são feitos tomando como base o tempo de vida do entrevistado;
assim, para os indivíduos que preenchem os critérios para um diagnóstico, o
período de aparecimento deste é codificado em: (1) nas últimas duas semanas;
(2) de duas a menos de um mês; (3) de 1 mês a 6 meses; (4) de 6 meses a 1 ano;
(5) menos de 1 ano (não sabe quando); (6) mais de 1 ano atrás.
O inventário de
sintomas do DSM-III está organizado para cada diagnóstico de formas diferentes.
Existem diagnósticos sem lista e com lista de sintomas e critérios, e estes
últimos podem apresentar a lista de sintomas hierarquizada ou não. A
hierarquização, nesse caso, significa que um ou mais sintomas devem ser
preenchidos de modo afirmativo para que um grupo subseqüente de sintomas seja
investigado. Quando não hierarquizado, o entrevistador deve investigar todos os
sintomas do diagnóstico. No caso dos diagnósticos sem lista de sintomas e
critérios, o entrevistador deve indicar o código diagnóstico de acordo com os
critérios da classificação diagnóstica do DSM-III.
Método de entrevistador-observador
O método no qual
dois entrevistadores, um entrevistador e outro observador, utilizando o
inventário de sintomas do DSM-III, avaliaram um mesmo indivíduo simultaneamente
e de forma independente foi utilizado em sujeitos (n = 21) selecionados de
forma aleatória dentro da uma subamostra da Cidade de São Paulo. Nessa fase da
análise, foi avaliada a concordância alcançada pelos entrevistadores com
relação à formulação diagnóstica final. Como se trata de variáveis com níveis
de medidas categorizados (três níveis no caso dos sintomas e quatro no caso da
codificação diagnóstica), o coeficiente Kappa (Almeida Filho, 1989) foi
escolhido para a medida da confiabilidade.
O coeficiente
Kappa pode variar de 1 a
-1, indicando concordância ou discordância completa, e o valor 0 indica o
acaso. Para uma interpretação dos valores de Kappa, utilizou-se a
caracterização em faixas de valores para os graus de concordância feita por
Landis & Koch (1977). Esses autores sugerem que os valores acima de 0,75
representam concordância excelente, valores abaixo de 0,40 uma concordância
pobre e os valores entre 0,40 e 0,75 representariam concordâncias de suficiente
a boa. O cálculo do coeficiente Kappa e os respectivos intervalos de confiança
a 95% foram calculados segundo às fórmulas apresentadas por Bartko &
Carpenter (1976).
Método da consistência interna
Um estudo como
esse, que envolve grupos de entrevistadores diferentes em cada cidade, que
reúne informações de universos sócio-culturais diversos, poderia suscitar a
seguinte pergunta: é possível que um estudo de confiabilidade realizado em uma
das cidades (São Paulo) garanta a confiabilidade das entrevistas das outras
cidades? A propósito dessa questão, Mitchell (1979) afirma que a qualidade dos
dados coletados durante um estudo pode não ser a mesma qualidade dos dados
coletados durante o estudo de confiabilidade ou treinamento; então o
pesquisador está obrigado a mostrar que seu instrumento de medida é confiável,
ou seja, que existe pouco erro de medida e que as medidas individuais mostram
estabilidade, consistência e dependência do aspecto, característica ou
comportamento estudado.
Assim, para
responder à pergunta sobre a confiabilidade, não só em São Paulo, mas também em
Brasília e Porto Alegre, calculou-se o ) do conjunto de critérios de
cadaacoeficiente alfa de Cronbach ( diagnóstico do inventário de sintomas do
DSM-III em cada uma das três cidades estudadas. Os a foram calculados apenas
para os diagnósticos que puderam ser analisados com o coeficiente Kappa e que
tinham uma lista de sintomas ou critérios.
O coeficiente
alfa de Cronbach (1951) foi desenvolvido para calcular a confiabilidade de um
teste naquelas situações em que o pesquisador não tem a oportunidade de fazer
outra entrevista com o indivíduo; contudo, precisa obter uma estimativa
apropriada da magnitude do erro da medida. Nessas situações de pesquisa, também
pode ser usado o método de partir ao meio (Split-half method), no qual os
escores de duas subdivisões do instrumento são comparados para determinar sua
confiabilidade. Esse método, entretanto, tem sido criticado por confundir erro
randômico dos sujeitos com diferenças entre as subdivisões do instrumento
(Mitchell, 1979).
A interpretação
do alfa de Cronbach, todavia, está relacionada à interpretação que é dada para
as estimativas de confiabilidade baseadas no método split-half. Isso porque o
alfa é uma média de todos os coeficientes split-half para um dado instrumento
(Carmines & Zeller, 1979; Cronbach, 1951). Em geral, escalas com valor do
alfa menor do que 0,70 são evitadas, por outro lado, aumenta com o número
de questões da escala;ao valor de assim, escalas com vinte questões
freqüentemente apresentam valores altos,a próximo de 0,90 (Streiner,
1993). Valores de ade no entanto, são necessários, mas não suficientes,
uma vez que é uma estimativa "otimista" da confiabilidade (Streiner,
1993).
Nenhum comentário:
Postar um comentário