Вы находитесь на странице: 1из 11

ARTIGO ARTICLE

1083

Adaptao transcultural da verso em portugus da Conflict Tactics Scales Form R (CTS-1), usada para aferir violncia no casal: equivalncias semntica e de mensurao Cross-cultural adaptation of the Portuguese version of the Conflict Tactics Scales Form R (CTS-1) used to assess marital violence: semantic and measurement equivalence

Maria Helena Hasselmann Michael E. Reichenheim 2

1 Departamento de Nutrio Social, Instituto de Nutrio, Universidade do Estado do Rio de Janeiro. Rua So Francisco Xavier 524, 12 o andar, Rio de Janeiro, RJ 20559-900, Brasil. hasselm@ims.uerj.br 2 Instituto de Medicina Social, Universidade do Estado do Rio de Janeiro. Rua So Francisco Xavier 524, Pavilho Joo Lyra Filho, 7 o andar, Blocos D e E, Rio de Janeiro, RJ 20559-900, Brasil. michael@ims.uerj.br

Abstract This paper focuses on the cross-cultural adaptation of the Portuguese version of the Conflict Tactics Scales (CTS-1). Semantic equivalence was evaluated with regard to the referential meaning of words and the general connotative meaning of each item. Measurement equivalence between the Portuguese version and the original instrument was assessed by means of the versions psychometric properties, namely, intra-observer reliability, construct validity, internal consistency, and factor structure. For the different relationships, measurement agreement for physical aggression was moderate to substantial. Cronbachs as were high for the physical and verbal aggression scales and low for the negotiation scale. As in the original instrument, factor analysis identified three dimensions, representing the negotiation, verbal aggression, and physical aggression scales, plus a severe physical aggression sub-scale. Although some problems still remain, the overall results suggest an adequate process of cross-cultural adaptation of the CTS-1, thus endorsing its use in the Brazilian setting. Key words Domestic Violence; Validity; Questionnaires Resumo Este artigo focaliza a adaptao transcultural da verso em portugus do instrumento
Conflict Tactics Scales (CTS-1). A equivalncia semntica foi avaliada no que diz respeito ao significado referencial dos termos/palavras e a acepo geral de cada item. A equivalncia de mensurao entre a verso em portugus e o instrumento original foi apreciada por meio das propriedades psicomtricas, tais como, sua confiabilidade teste-reteste, sua validade de constructo, sua consistncia interna e sua estrutura de fatores. Para os diferentes relacionamentos, as concordncias das mensuraes sobre agresso fsica oscilaram entre moderada e substancial. Os ! de Cronbach apresentaram-se elevados para as escalas de agresso fsica e verbal, e baixos para escala de argumentao. Da mesma forma que no instrumento original, a anlise de fatores da verso da CTS-1 identificou trs dimenses que representam as escalas de argumentao, de agresso verbal, de agresso fsica e mais uma subescala de agresso fsica grave. Ainda que algumas discrepncias tenham sido notadas, como um todo os resultados sugerem uma adequao do processo de adaptao transcultural da verso da CTS-1 para a lngua portuguesa, endossando seu uso na populao brasileira. Palavras-chave Violncia Domstica; Validade; Questionrios

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

1084

HASSELMANN, M. H. & REICHENHEIM, M. E.

Introduo
A violncia familiar tem sido identificada como um problema social e de sade pblica em vrias partes do mundo (Reiss Jr. & Roth, 1993; Rossmann et al., 1999; Straus & Gelles, 1995; Watts & Zimmerman, 2002). No Brasil, o conhecimento sobre o tema, ainda que incipiente, vem crescendo nos ltimos anos e estudos recentes sugerem que a violncia familiar tem tambm grande expressividade em nossa sociedade (ABRAPIA, 1992; Deslandes, 1997, 1999; Deslandes et al., 2000; Ferreira et al., 1999; Ferreira & Schramm, 2000; IBGE, 1999; Marques, 1986; Moura, 2002; MS, 1997; Reichenheim et al., 1999). No obstante, o nmero de aes, quer preventivas ou de acompanhamento de suas vtimas, no tem sido dos mais abundantes. Isso pode ser explicado pela complexidade do fenmeno em si e pela dificuldade de seu reconhecimento. Na tentativa de contribuir para melhoria desta situao, torna-se necessrio aprimorar as formas de aferio da violncia familiar, tanto no sentido de sua suspeio, quanto no de sua identificao. Assim, fundamental investir no desenvolvimento de instrumentos que possam ser utilizados nos servios de sade e em pesquisas. A literatura nacional sobre concepo e desenvolvimento de instrumentos que visam a aferir violncia familiar ainda bastante escassa. Para o uso em estudos epidemiolgicos, muito do que tem sido produzido apia-se em instrumentos concebidos em outros idiomas, culturas e populaes (Assis, 1992; Guedes, 1996; IBGE, 1999; Reichenheim & Moraes, 2002). Ainda que tais instrumentos no tenham sido desenvolvidos com uma perspectiva internacional desde sua concepo, estes tm sido traduzidos para o portugus e utilizados sem uma adaptao formal nossa cultura. A obteno de xito nessas situaes limitada, uma vez que as diferenas culturais e lingsticas existentes entre populaes e subgrupos populacionais no so levadas em considerao (Guillemin et al., 1993). Vrios autores apontam que essa prtica, alm de gerar problemas de validade do instrumento, dificulta a comparao de resultados e perfis epidemiolgicos entre diferentes localidades e populaes (Alonso et al., 1990; Bravo et al., 1991; Herdman et al., 1998; Reichenheim & Moraes, 2002). Nessa perspectiva, so imprescindveis estudos sobre a adaptao transcultural de instrumentos. O presente trabalho aborda o instrumento Conflict Tactics Scales Form R (CTS-1), desenvolvido no final da dcada de 70 (Straus, 1979). A CTS-1 objetiva mensurar as estratgias utili-

zadas pelos membros da famlia para resolver possveis desavenas e, indiretamente, captar uma situao de violncia familiar. composta por questes abarcando trs tticas para lidar com conflitos: argumentao, que consiste no uso de discusso com uso de linguagem moderada e sensata; agresso verbal, valendo-se do uso de insultos e ameaas com inteno de, simbolicamente, machucar e agredir o outro; e agresso fsica, em que a fora fsica explcita usada. A CTS-1 original em ingls tem sido investigada desde sua concepo, e vrios estudos apontam para uma baixa taxa de recusa; boa confiabilidade, principalmente para as escalas de violncia fsica; e validade concorrente, de constructo e de contedo ( Jouriles & OLeary, 1985; Straus, 1979; Straus & Gelles, 1995). O instrumento j vem sendo utilizado no nosso meio h alguns anos, quer na ntegra ou parcialmente (Assis, 1992; Guedes, 1996; IBGE, 1999). No entanto, algumas importantes etapas do processo de avaliao da adaptao transcultural no foram ainda contempladas. luz do modelo proposto por Herdman et al. (1998), explicitado na seo seguinte, o presente estudo pretende focalizar dois aspectos centrais no estabelecimento da adequao do processo de adaptao transcultural da CTS-1, investigando especificamente as equivalncias semntica e de mensurao entre o instrumento original e uma verso em portugus.

Material & mtodos


Equivalncia semntica Segundo Herdman et al. (1998), a equivalncia semntica trata da transferncia dos significados das palavras entre diferentes idiomas, e objetiva o alcance de efeitos similares em respondentes de culturas distintas. O significado, em si, pode estar articulado s idias ou objetos do mundo aos quais uma ou vrias palavras se referem (conotativo), ou ainda, se referir acepo geral de cada item, captada por meio do instrumento original em comparao com a traduo (referencial). Visando a apreciar estas duas vertentes de significados, o presente trabalho se desenvolveu em quatro etapas: (1) traduo da escala de argumentao e uma reviso das escalas de agresso verbal e agresso fsica, as quais j vinham sendo utilizadas no Brasil; (2) teste da verso em um grupo de mes com filhos hospitalizados; (3) retraduo ao idioma original e (4) apreciao da equivalncia semntica propriamente dita.

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

EQUIVALNCIAS SEMNTICA E DE MENSURAO DA CTS-1: ADAPTAO TRANSCULTURAL

1085

A primeira etapa consistiu na traduo da escala de argumentao por um especialista em lngua inglesa e em uma apreciao realizada por dois pesquisadores da rea de violncia familiar quanto ao potencial entendimento pela populao alvo dos itens j traduzidos. Na segunda etapa, a verso foi pr-testada em um grupo de mes com filhos hospitalizados. Procurou-se observar se havia correspondncia literal entre a verso e o original, o nvel de compreenso e a naturalidade de percepo das questes pela populao alvo. Essa etapa foi realizada por entrevistadoras previamente treinadas e supervisionadas por um dos autores (M. H. H.). Subseqentemente, a verso proposta foi retraduzida para o ingls por uma tradutora juramentada (terceira etapa). Na ltima etapa, dois profissionais de nvel superior, formados em Letras com especializao em ingls, realizaram uma apreciao formal da equivalncia semntica. Adicionalmente, os autores do presente artigo apreciaram as avaliaes feitas pelos especialistas, no intuito de clarificar certas incongruncias encontradas e propor uma verso-sntese a ser subseqentemente posta a teste (equivalncia de mensurao). Para avaliao de cada aspecto de equivalncia realizada na quarta etapa foi usado um formulrio especfico. No formulrio para apreciao do significado referencial optou-se por escalas visuais ( Visual Analogue Scale VAS), como opo de resposta (Streiner & Norman, 1995). Para avaliao da acepo geral de cada pergunta utilizou-se uma escala diferencial com respostas discretas, a saber: inalterada, pouco alterada, muito alterada e completamente alterada. Equivalncia de mensurao A equivalncia de mensurao consiste em avaliar as medidas de confiabilidade e validade da verso do instrumento, comparando-as com as encontradas no instrumento original (Herdman et al., 1998). No caso da verso da CTS-1, foram apreciadas a confiabilidade intra-observador, a consistncia interna de suas escalas, a estrutura de fatores e aspectos de validade de constructo. Os dados analisados neste artigo so oriundos de um estudo caso-controle sobre a relao entre violncia familiar e o aparecimento de desnutrio aguda grave (DAG) na infncia (Hasselmann, 1996). Na anlise da validade de constructo, apenas os controles foram utilizados, na medida em que a incluso de casos (criana com DAG) poderia superestimar as asso-

ciaes investigadas. Essa deciso decorreu do conhecimento terico e subseqente evidncia emprica de associaes seletivamente maiores entre violncia familiar e as variveis eleitas para avaliar validade de constructo condies ambientais e de moradia; educao materna; e uso de drogas. Nas anlises de confiabilidade, de consistncia interna, e de fatores utilizaram-se casos e controles. Considerou-se que, por focalizarem o comportamento do instrumento em si, os resultados no seriam influenciados pela condio de outras variveis, no sendo, portanto, necessrio excluir nenhum subgrupo. Confiabilidade intra-observador

Foram entrevistados 54 sujeitos em duas ocasies, em um intervalo variando de trs dias a duas semanas. Foram avaliados os relacionamentos marido-esposa e esposa-marido. Quanto classificao da violncia no casal, considerou-se violentos todos os relacionamentos que apresentavam pelo menos uma resposta positiva aos itens relativos escala de agresso fsica, tanto as menores (k-m) quanto as graves ( n-s ) (Straus & Gelles, 1995). Esta escala, bem como as outras, pode ser observadas na Tabela 1, apresentada na seo de resultados. A confiabilidade foi estimada pelo ndice kappa ( " ) (Fleiss, 1981a), cuja interpretao seguiu a proposta de Shrout (1998). A concordncia foi classificada como virtualmente ausente ( " < 0,1); fraca (" = 0,10-0,40); discreta (" = 0,41-0,60); moderada (" = 0,61-0,80) e substancial (" = 0,81-1,0). Consistncia interna

A avaliao da consistncia interna baseou-se no estimador ! de Cronbach (Cronbach, 1951; Streiner & Norman, 1995). O mtodo de Feldt (1965) foi usado para o clculo do limite inferior do intervalo de confiana. Analisaram-se os relacionamentos marido-esposa e esposa-marido, bem como o casal. As escalas da CTS-1 apreciadas foram as de argumentao (itens ac), agresso verbal (itens d-f e h-j) e agresso fsica (itens k-s) (Straus & Gelles, 1995). Nas trs escalas foram contempladas trs opes de respostas, a saber: no aconteceu, aconteceu algumas vezes nestes ltimos doze meses e aconteceu vrias vezes nestes ltimos doze meses. Nesta anlise foram utilizadas 517 observaes. Anlise de fatores

Nessa anlise tambm se usou 517 casais. Os relacionamentos apreciados foram marido-es-

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

1086

HASSELMANN, M. H. & REICHENHEIM, M. E.

Tabela 1 Equivalncia semntica entre a verso em portugus das CTS-1 e o original em ingls. Original Traduzido Retraduzido Aferidor 1 Concordncia Avaliao (%) 80,0 40,0 IN MA Aferidor 2 Concordncia Avaliao (%) 100,0 95,0 IN PA Sntese Concordncia (%) 90,0 67,5

a) Discussed an issue calmly b) Got information to back up your/ his/her side of things

a) Discutiu o problema calmamente b) Procurou conseguir informaes para conhecer melhor o modo de pensar dele(a), ou o seu c) Trouxe, ou tentou trazer algum para ajudar a acalmar as coisas d) Xingou ou insultou e) Ficou emburrado. No falou mais do assunto f) Retirou-se do quarto, da casa ou da rea g) Chorou h) Fez ou disse coisas s para irritar i) Ameaou bater ou jogar coisas nele(a) ou em voc j) Destruiu, bateu, jogou ou chutou objetos k) Jogou coisas sobre ele/ela/(voc) l) Empurrou ou agarrou ele(a) ou voc m) Deu tapa ou bofetada nele(a) ou em voc n) Chutou, mordeu ou deu murro nele(a) ou em voc o) Bateu ou tentou bater nele(a) ou em voc com objetos p) Espancou-o(a) ou voc q) Queimou-o(a); estrangulou ou sufocou-o ou voc r) Ameaou-o(a) ou voc com faca ou arma s) Usou faca ou arma contra ele(a) ou voc

a) Calmly discussed the problem b) Tried to obtain information about his/her way of thinking, or yours c) Brought, or tried to get someone to help calm things down d) Swore or insulted e) Sulked. Did not touch the subject again f) Left the room, the house or the area g) Cried h) Did or said things just to irritate i) Threatened to hit or throw things at him/her or at you j) Destroyed, hit, threw or kicked objects k) Threw things at him/her/you l) Pushed or grabbed him/her/you m) Slapped or cuffed him/her or you n) Kicked, bit or socked him/her or you o) Hit or tried to hit him/her or you with objects p) Beat him/her or you q) Burned him/her; estrangled or suffocated him or you r) Threatened him/her or you with a knife or gun

c) Brought in, or tried to bring in someone to help settle things d) Insulted or swore at him/her/ you e) Sulked or refused to talk about an issue f) Stomped out of the room, house, or yard g) Cried** h) Did or said something to spite him/her/you i) Threatened to hit or throw something at him/her/you j) Threw, smashed, hit, or kicked something k) Threw something at him/her/you l) Pushed, grabbed, or shoved him/her/you m) Slapped or spanked him/her/you n) Kicked, bit, or hit him/her/you with a fist o) Hit or tried to hit him/her/you with something p) Beat him/her/you up q) Burned or scalded him/her; chocked him or you/you r) Threatened him/her/ you with a knife or gun s) Used a knife or fired a gun Concordncia total (%)

100,0

IN

100,0

IN

100,0

100,0 100,0

IN IN

100,0 100,0

IN IN

100,0 100,0

90,0 100,0 100,0

IN IN IN

95,0 100,0 90,0

PA IN PA

92,5 100,0 95,0

100,0

IN

100,0

IN

100,0

100,0 100,0 100,0 30,0

IN PA IN IN

100,0 100,0 100,0 80,0

IN IN IN PA

100,0 100,0 100,0 55,0

100,0

IN

100,0

IN

100,0

100,0

IN

100,0

IN

100,0

100,0 100,0

IN PA

100,0 90,0

IN PA

100,0 95,0

100,0

IN IN

100,0 100,0 97,3

IN IN

100,0 100,0 94,4

s) Used knife or gun against 100,0 him/her or you 91,5

IN = Inalterado; PA = Pouco alterado; MA = Muito alterado; CA = Completamente alterado.

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

EQUIVALNCIAS SEMNTICA E DE MENSURAO DA CTS-1: ADAPTAO TRANSCULTURAL

1087

posa e esposa-marido. Buscando conhecer a performance da verso da CTS-1 quando utilizada para aferir o conflito no casal, tambm se implementou uma anlise de fatores agregando as respostas das esposas sobre as suas reaes em conflito e as dos respectivos companheiros. Para classificao da CTS-1 no casal utilizou-se o seguinte critrio: no aconteceu em nenhum dos relacionamentos, aconteceu algumas vezes em pelo menos um relacionamento e aconteceu vrias vezes em pelo menos um relacionamento. Na anlise de fatores utilizou-se o mtodo de fatores principais iterados e rotao vari max (Rummel, 1988). Visando a comparao entre as caractersticas psicomtricas da verso em portugus e as do instrumento original, decidiu-se especificar, a priori, quatro fatores para anlise, a despeito da violao de alguns critrios sugeridos para escolha de fatores, tais como os critrios de Kaiser (autovalores >1), diagrama de scree ou o mtodo de Lbart (Fleck & Bourdel, 1998). Todos os itens foram analisados em trs categorias, conforme explicitado na seo anterior. Validade de constructo

Resultados
Equivalncia semntica Pode se notar na Tabela 1, que o instrumento original e sua retraduo apresentam cerca de 68% dos itens com concordncia completa; 21% entre 90% e 100% e apenas 10,5% com uma concordncia menor do que 70%. O percentual mdio de concordncia entre aferidores de 94,4%. A avaliao qualitativa do significado geral segue o mesmo padro da apreciao quantitativa. De uma maneira geral, os significados se mostraram inalterados entre o original e a retraduo. Os itens b e m foram os que apresentaram menor percentual de concordncia. Equivalncia de mensurao A Tabela 2 apresenta os resultados da confiabilidade das escalas de agresso fsica. Como um todo, observa-se que as estimaes de ponto do coeficiente kappa esto acima de 0,70. Excetua-se o kappa referente ao relacionamento marido-esposa. Conforme pode ser observado na Tabela 3, os ! de Cronbach esto em torno de 0,70 para as escalas de agresso fsica e verbal, e entre 0,30 a 0,40 para escala de argumentao. O menor a encontrado concerne escala de argumentao referente ao relacionamento esposamarido. Na Tabela 3 tambm se encontram as estimaes de consistncia interna obtidas em um estudo usando o instrumento na lngua inglesa (Straus & Gelles, 1995). Observa-se que h semelhana entre este e a verso nas escalas de agresses verbal e fsica. Para a escala de argumentao, no entanto, os coeficientes encontrados no presente estudo so sistematicamente mais baixos do que os do original. A Tabela 4 apresenta os resultados da anlise de fatores por tipo de relacionamento e tam-

A validade de constructo foi examinada por meio das associaes entre agresso fsica no casal e outras variveis selecionadas pertinentes ao quadro terico subjacente. A escolha dessas variveis procurou refletir o conhecimento j consolidado na literatura sobre a validade de constructo da CTS-1 (Assis, 1992; Gelles, 1997; Straus, 1994; Straus & Gelles, 1995). Como medida de associao entre as variveis foi utilizada a razo de chances ( odds ratio ) (Fleiss, 1981b; Rosner, 1995). Para estas anlises contou-se com 346 casais. As variveis estudadas foram: (a) anos de estudo formal da me (escala ordinal); (b) presena de geladeira e/ou fogo no lar, considerada um correlato de status scio-econmico; (c) presena de argumentao entre o casal; (d) presena de agresso verbal marital e (e) uso de drogas ilcitas, incluindo suspeio de alcoolismo. O critrio utilizado como indicador de uso de drogas foi baseado no consumo de drogas ilcitas pelo marido e/ou esposa nos ltimos doze meses, mediante questionrio NSDUQ Non-Student Drug Use Questionnaire (Smart et al., 1981), combinando-se a resposta positiva do marido e/ou da esposa, a dois ou mais itens do questionrio CAGE (Cut-down; Annoyed; Guilty & Eye-opened ) tradicionalmente usado para aferio de suspeio de alcoolismo (Mayfield et al., 1974).

Tabela 2 Confiabilidade intra-observador da verso em portugus das CTS-1 para as escalas de agresso fsica. Relacionamentos n Menor Kappa (IC95%) 0,83 (0,56-1,00) 0,71 (0,46-0,96) Grave Kappa (IC95%) 0,31 (0,08-0,54) 0,79 (0,56-1,00)

Marido-esposa Esposa-marido

54 54

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

1088

HASSELMANN, M. H. & REICHENHEIM, M. E.

Tabela 3 Consistncia interna (!-Cronbach) da verso em portugus das CTS-1 e do instrumento original (Straus & Gelles, 1995). Tipo de relaoa CTS-1 Argumentao (3 itens) 0,38 (0,30)b 0,42 0,34 (0,26) 0,43 0,36 (0,28) 0,48 Escalas Agresso verbal (6 itens) 0,73 (0,70) 0,77 0,74 (0,71) 0,76 0,82 (0,79) 0,83

Agresso fsica (9 itens) 0,82 (0,80) 0,86 0,76 (0,73) 0,79 0,83 (0,81) 0,82

Marido-esposa

Verso em portugus Original em inglsc

Esposa-marido

Verso em portugus Original em ingls

Casal

Verso em portugus Original em ingls

a b c

Para todas as relaes as estimativas de consistncia interna basearam-se em 517 observaes. Estimativas retiradas de Straus & Gelles (1995). Intervalo de confiana inferior a 95%.

bm para o casal. As caselas hachuradas correspondem aos itens segundo as dimenses propostas no instrumento original em ingls, definindo as escalas de argumentao, agresso verbal, agresso fsica e uma subescala desta ltima. As caselas pontilhadas e os nmeros em negrito se referem, respectivamente, aos itens que contribuem de maneira semelhante a dois fatores e aqueles que fazem parte do mesmo fator mas so originalmente colocados em outra(s) escala(s). Quatro fatores so discriminados segundo o padro na distribuio das cargas (loadings). Ainda que a Tabela 4 apresente muitos detalhes, os seguintes chamam a ateno. No relacionamento esposa-marido, o primeiro fator capta a escala de agresso fsica, incorporando tambm os itens i ( ameaou bater ou jogar coisas nele) e j (destruiu, bateu, jogou ou chutou objetos ) da escala de agresso verbal do instrumento original. O segundo abarca os itens da escala de argumentao, agregando o item f ( retirou-se do quarto, da casa ou da rea ), que tambm contribui, em menor grau, para o quarto fator. O terceiro fator compreende uma das subescalas de violncia, englobando os atos de agresso fsica potencialmente mais letais, como por exemplo, o item r ( ameaou/ usou faca ou arma contra a esposa). O ltimo fator se refere maioria dos itens includos na escala de agresso verbal. No relacionamento marido-esposa, o padro semelhante ao encontrado no recproco, ainda que se perceba algumas inverses dos fatores especificados e certas diferenas quanto aos itens. Passam a pertencer ao primeiro fator os itens a (discutiu o problema calmamente)

e l (empurrou ou agarrou) que teoricamente deveriam se agregar, respectivamente, aos fatores referentes s escalas de argumentao e agresso fsica. No obstante, o item a tem sinal negativo, apontando a existncia de uma correlao negativa entre a prtica de dilogo e agresso verbal. Os itens f (retirou-se do quarto, da casa ou da rea) e m (deu tapa ou bofetada) do fator 1 participam de maneira semelhante nos fatores 4 e 2, respectivamente. Para a relao agregada (casal) h um padro de distribuio de cargas e de reteno de fatores diferente do encontrado na anlise por relacionamentos em separado. As discordncias descritas no so mais detectadas. Os itens i e j, por exemplo, agora se apresentam mais ligados escala de agresso verbal. Por sua vez, as cargas do item a se apresentam diliudas entre os fatores 1, 2 e 3. O padro de distribuio de cargas encontrado para o casal (agregado) semelhante quele descrito por Straus (1979). importante frisar que a anlise de fatores da CTS original utiliza o formulrio N, a qual difere do R por excluir o item q. A troco de explorao, uma anlise de fatores omitindo este item no mostrou grandes alteraes na distribuio interna das cargas e estrutura de fatores. Por conseguinte, os demais resultados apresentados neste artigo atm-se CTS-1, formulrio R. Focalizando a validade de constructo, a Tabela 5 apresenta as associaes entre algumas variveis de interesse e agresso fsica no casal. Encontra-se uma associao positiva entre agresso fsica marital e uso de drogas e/ou lcool, dobrando naqueles casais que fazem uso dessas substncias. A violncia entre o casal

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

EQUIVALNCIAS SEMNTICA E DE MENSURAO DA CTS-1: ADAPTAO TRANSCULTURAL

1089

Tabela 4 Anlise de fatores da verso em portugus da CTS-1. Escalas/Item Relacionamento Esposa-Marido f1 f2 f3 f4 Relacionamento Marido-Esposa f1 f2 f3 f4 Relacionamento Casal f2 f3

f1

f4

Argumentao a b c Agresso verbal d e f h i j Agresso fsica menor k l m Agresso fsica grave n o p q r s Varincia explicada pelo fator (%) 0,639 0,693 0,126 0,069 0,402 0,155 68 -0,044 -0,013 0,192 0,076 -0,153 0,039 14 0,029 0,125 -0,034 0,299 0,487 0,712 10 0,009 -0,035 0,052 0,032 -0,091 0,014 7 0,232 0,277 0,151 0,141 0,209 0,153 64 -0,817 -0,444 -0,815 -0,474 -0,213 0,089 16 0,037 -0,267 -0,029 -0,092 -0,481 -0,707 11 -0,027 0,027 0,023 -0,064 -0,026 0,024 8 0,290 0,355 0,090 0,080 0,228 0,102 69 0,049 0,103 -0,023 -0,069 -0,016 -0,031 15 -0,111 -0,333 0,065 -0,126 -0,654 -0,580 9 0,676 0,452 0,674 0,432 0,189 -0,040 6 0,763 0,603 0,717 0,045 0,119 0,149 0,126 0,150 0,085 -0,075 -0,119 -0,004 0,327 0,676 0,547 -0,427 -0,318 -0,508 -0,489 -0,214 -0,209 -0,023 -0,089 -0,132 0,463 0,524 0,472 0,091 -0,012 -0,043 -0,442 -0,326 -0,261 0,418 0,418 0,564 0,569 0,245 0,146 0,362 0,750 0,679 0,074 0,195 0,434 0,042 0,123 -0,143 0,044 -0,041 0,052 0,020 0,108 -0,012 -0,491 -0,495 -0,257 -0,470 -0,214 -0,256 0,723 0,457 0,379 0,526 0,649 0,546 -0,254 -0,001 0,087 -0,041 -0,398 -0,256 -0,099 0,042 0,037 0,023 -0,201 -0,180 -0,004 0,315 0,360 0,260 -0,088 0,099 0,723 0,616 0,505 0,636 0,672 0,547 0,019 0,255 0,250 0,152 -0,010 0,090 -0,149 0,088 -0,094 -0,071 -0,275 -0,221 0,272 0,020 -0,023 0,056 0,404 0,353 -0,166 0,031 0,189 0,235 0,483 0,459 -0,081 -0,093 0,075 0,247 -0,051 -0,123 -0,359 -0,139 0,131 0,135 0,006 0,010 0,077 -0,047 -0,061 0,351 0,581 0,226 -0,045 0,126 0,344 0,353 0,765 0,190 0,154 -0,009 -0,240 -0,167 0,027 0,150

em domiclios sem geladeira e/ou fogo quatro vezes maior do que naqueles em que esses bens essenciais so encontrados, porquanto uma melhor condio scio-econmica da famlia e mais elevados nveis de educao materna so fatores protetores. Em relao s associaes entre as prprias escalas da CTS-1, observa-se uma freqncia maior de agresso fsica nos casais que utilizam a agresso verbal como maneira de lidar com conflitos. A ocorrncia de agresso fsica nos que no fazem uso de uma discusso moderada e sensata em momentos de desavenas duas vezes e meia maior do que naqueles que praticam essa ao. Destaca-se que em todas as associaes exploradas, os intervalos de confiana de 95% da estimativa de interesse excluam o valor nulo.

Discusso
Segundo Herdman et al. (1998), antes que um instrumento possa ser traduzido para diferentes idiomas, necessrio avaliar se o constructo a ser mensurado pertinente nova cultura. A primeira etapa do processo de adaptao transcultural de instrumentos deve ser a apreciao das equivalncias conceitual e de itens, no intuito de entender como diferentes populaes expressam os conceitos e domnios a serem investigados e o modo com que as perguntas (itens) do instrumento os captam. Somente ento recomendado que se passe avaliao das equivalncias semntica, operacional, de mensurao e funcional. Como visto, no momento em que se optou por utilizar a CTS-1, o instrumento j havia sido traduzido e utilizado por outros autores em investigaes epidemiolgicas no Brasil (Assis, 1992; Guedes, 1996; IBGE, 1999). Ainda que a

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

1090

HASSELMANN, M. H. & REICHENHEIM, M. E.

Tabela 5 Associaes envolvendo selecionadas variveis e as escalas das CTS-1. Hipteses Casais que usam drogas, incluindo lcool, utilizam mais violncia fsica Relao testada Uso de drogas, incluindo lcool vs. violncia fsica Ausncia de geladeira e/ou fogo no lar vs. violncia fsica Educao materna vs. violncia fsica RC (IC95%) 2,02 (1,23-3,32)

Casais que vivem em condies scio-econmicas desfavorveis tendem apresentar mais violncia fsica Casais com nveis de escolaridade maior tendem a apresentar menos violncia fsica Em casais onde ocorre agresso verbal tambm existe mais violncia fsica Em casais que no recorrem ttica de argumentao quando h conflitos, tende a ocorrer mais violncia fsica

4,18 (1,44-12,11)

0,90 (0,83-0,98)

Agresso verbal vs. violncia fsica

19,96 (3,28-814,52)

No discutiu o problema calmamente vs. violncia fsica

2,52 (1,20-5,29)

metodologia proposta por Herdman et al. (1998) no tenha sido seguida risca, alguns aspectos concernentes s equivalncias conceitual e de itens acabaram sendo apreciadas neste trabalho. Empregando a edio j em uso corrente, avaliou-se a existncia do conceito violncia familiar em nossa sociedade mediante uma ampla reviso da literatura. Foram identificados vrios estudos que corroboram a presena da violncia familiar em nosso meio, inclusive quanto semelhana das dimenses cobertas pela CTS-1 original (ABRAPIA, 1992; Deslandes, 1997; Ferreira et al., 1999; IBGE, 1999; Marques, 1986; MS, 1997; Soares, 1997). Mesmo assim, importante considerar que, em funo de no terem sido contempladas todas as etapas recomendadas por Herdman et al. (1998), maiores informaes sobre as nuanas do vocabulrio cotidiano no puderam ser apreendidas. A realizao de grupos focais com a populao alvo, por exemplo, poderia contribuir para um maior refinamento da verso do instrumento. Como um todo, chama a ateno a adequada equivalncia semntica, tanto do ponto de vista do significado referencial, quanto do geral (conotativo). No entanto, ocorreram algumas discrepncias entre as avaliaes dos aferidores, especificamente em relao aos itens b e m. Neste, por exemplo, o termo spanked utilizado no instrumento original e retraduzido como cuffed, apesar de terem significados semelhantes (Vallandro, 1991), foram erroneamente avaliados como dspares na quarta etapa, possivelmente devido ao fato do ltimo ser pouco usual. No obstante, a traduo foi considerada adequada na apreciao subseqente, apon-

tando para a importncia fundamental de uma avaliao crtica final do processo de traduoretraduo. Para as diversas relaes estudadas, as concordncias das mensuraes sobre agresso fsica oscilaram entre moderada e substancial, exceto a referente ao relacionamento maridoesposa que, segundo os critrios de Shrout (1998), pode ser considerada fraca. Uma explicao para estes resultados, possivelmente recai sobre o receio dessas mulheres quanto s conseqncias negativas que a admisso e reafirmao de problemas de violncia com seus companheiros pode acarretar. Em relao consistncia interna, os coeficientes ! so muito semelhantes aos achados por Straus & Gelles (1995). A exceo est na escala de argumentao, na qual o ! ainda mais baixo do que no original. Straus & Gelles (1995) concedem que a baixa consistncia interna devido ao pequeno nmero de itens (trs) escolhidos para compor a referida escala, que, segundo os prprios autores, claramente inadequado. Outros estudos focalizando sua ampliao merecem ser contemplados. Mesmo que as demarcaes para comparar os resultados de duas anlises de fatores exploratrias no estejam bem estabelecidas, alguns autores sugerem critrios para guiar as avaliaes de similaridade de estruturas fatoriais (Irvine & Carroll, apud Behling & Law, 2000). Entre estes, que o nmero de fatores extrados do instrumento original e da verso seja idntico e que a mesma proporo do total de varincia seja observada para cada fator retido. A opo por reproduzir o estudo com a CTS-1 original, especificando a priori os quatro fatores a se-

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

EQUIVALNCIAS SEMNTICA E DE MENSURAO DA CTS-1: ADAPTAO TRANSCULTURAL

1091

rem retidos na anlise com a verso, impossibilitou que o primeiro critrio fosse apreciado. No entanto, da mesma forma que no original, a anlise de fatores da verso da CTS-1 tambm identificou trs dimenses que representam as escalas de argumentao, de agresso verbal, de agresso fsica, alm de mais uma subescala de agresso fsica grave. O segundo critrio, aparentemente, no foi inteiramente satisfeito a julgar pela diferente ordem de reteno dos fatores nas duas relaes. Apesar de Straus (1979) no ter explicitado o quanto cada fator retido no instrumento original explicava da varincia total, possvel inferir que uma relativa alterao das fraes tenha ocorrido no presente estudo. Este achado, sem maiores qualificaes, poderia estar indicando algum problema no processo de adaptao da CTS-1. Todavia, seria importante reconhecer a existncia de uma certa labilidade dos dados acarretando em problemas intrnsecos anlise de fatores, em particular, no que tange estrutura de covarincias dos itens. A troco de ilustrao, uma singela simulao alterando, em uma nica observao do banco de dados na relao esposa-marido, as opes de respostas dos itens q, r e s de nunca aconteceu para aconteceu vrias vezes, leva a uma inverso da ordem de reteno dos fatores 2 e 3. Diante disso, talvez fosse mais prudente balizar a adequao do processo de adaptao apreciando este achado em conjunto com as outras evidncias do estudo. Levando em considerao o padro de distribuio das cargas como critrio de reteno de itens, visualiza-se uma estrutura de agregao semelhante quela identificada com base na CTS-1 original (Straus, 1979). Contudo, algumas discrepncias esto vista. Para a relao esposa-marido, os itens i e j originalmente pertencentes escala de agresso verbal, se agregam mais fortemente de agresso fsica. Pode-se supor que algo esteja acontecendo em relao interpretao da mulher sobre esses atos. Aparentemente, o fato de enfrentar o marido com ameaas de agresso fsica e, concretamente, destruir e jogar objetos, adquire em termos de intimidao, um significado semelhante ao de uma agresso fsica real. Investigaes realizadas com diferentes populaes e culturas, tambm verificaram uma maior contribuio desses itens para a escala de agresso fsica (Barling et al., 1987; Kumagai & Straus, 1983; Moraes & Reichenheim, 2002). Nota-se ainda que o item l (empurrou ou agarrou) se apresenta mais ligado escala de agresso verbal quando a mulher passa a ser vtima, o que algo um pouco inesperado, j que na CTS-1

original pertence escala de agresso fsica. Estes achados talvez apontem para o carter peculiar que alguns atos adquirem em nossa cultura, suspeita que certamente merece ser aprofundada. Convm destacar que na presente investigao, por motivos logstico-operacionais, somente as esposas foram entrevistadas, respondendo por suas prprias reaes em conflito e como proxis de seus companheiros. Isto difere de outros estudos. Em Barling et al. (1987), a CTS foi aplicada separadamente aos maridos e esposas. Mesmo que as anlises se baseassem nas mdias dos registros, ambos respondiam tanto sobre seus atos, quanto sobre os do outro. Archer (1999), em uma reviso meta-analtica sobre a confiabilidade da CTS, conclui que existe uma tendncia do respondente em subregistrar comportamentos agressivos cometidos por si prprio. Straus (1979), comparando os resultados das anlises de fatores de duas CTSs (formulrios A e N), mostra que existem situaes onde a interpretao da mulher sobre certos atos difere da do homem, fazendo com que os itens se agreguem em fatores diferentes na dependncia da mulher ser a vtima ou perpetradora. No presente estudo, o resultado da anlise de fatores agregado por casal talvez sirva para corroborar esses pontos, pois os achados so comparveis ao padro de distribuio de cargas encontrado em Barling et al. (1987) e outros estudos realizados com a CTS em ingls para os relacionamentos em separado (Kumagai & Straus, 1983; Straus, 1979). Classificar os itens das escalas agregando as respostas em no aconteceu em nenhum dos relacionamentos ; aconteceu algumas vezes, pelo menos em um relacionamento ; e aconteceu vrias vezes, pelo menos em um relacionamento leva a um aumento de sensibilidade dos itens, o que parece indicar que a agregao esteja atuando como um elemento mitigador do problema de sub-registros e interpretao do respondente. Os resultados obtidos na avaliao da validade de constructo tambm fornecem evidncias da adequao da verso da CTS-1. Todas as associaes apreciadas foram consistentes com o que prescreve o quadro terico, bem como outras investigaes empricas. Estas mostram que a violncia ocorre preferencialmente em casais de baixa escolaridade, vivendo em condies scio-econmicas e ambientais precrias, dentre os quais o uso de lcool e drogas ilcitas so prticas comuns (Gelles, 1997; Straus et al., 1980; Straus & Gelles, 1995). Serve de reforo corroborao das hipteses de que casais que tentam resolver desavenas valendo-

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

1092

HASSELMANN, M. H. & REICHENHEIM, M. E.

se de ofensas verbais tambm so aqueles que praticam agresso fsica, ao contrrio daqueles que optam pela argumentao. No entanto, no deve passar em branco que, devido ao fato dessas anlises serem aninhadas a um estudo caso-controle com objetivos e quadro terico bem definido, no foi possvel investigar outros fatores relacionados ocorrncia de agresso fsica marital. A identificao de associaes entre as diversas matizes da violncia e outros corolrios, tais como o nvel de suporte social e desigualdade de estruturas de poder entre o casal, certamente teriam trazido mais robustez apreciao da validade de constructo. De toda sorte, o que pde ser estudado j permite uma avaliao satisfatria, sabido que as conjunes encontradas cobrem algumas das mais importantes descritas na literatura.

Os resultados satisfatrios do presente estudo, tanto no que diz respeito equivalncia semntica, quanto de mensurao, sugerem a adequao do processo de adaptao transcultural da verso da CTS-1 para a lngua portuguesa. No entanto, cumpre ressaltar que os dados analisados neste estudo so baseados em respostas de mes de baixo nvel scio-econmico que vivem no Municpio do Rio de Janeiro. No deve ser descartada a possibilidade de que a estrutura fatorial e os resultados da confiabilidade venham a ser diferentes ao se aplicar a verso em outros grupos populacionais no Brasil. Esta expanso poder gerar valiosas informaes que contribuiro para ratificar a validade e confiabilidade do instrumento em geral, bem como consolidar sua adaptao transcultural, em particular.

Referncias
ABRAPIA (Associao Multiprofissional de Proteo Infncia e Adolescncia), 1992. Maus Tratos Contra Crianas e Adolescentes. Proteo e Preveno. Guia de Orientao para Profissionais de Sade. Rio de Janeiro: ABRAPIA. ALONSO, J.; ANTO, J. M. & MORENO, C., 1990. Spanish version of Nottingham health profile: Translation and preliminary validity. American Journal of Public Health, 6:704-708. ARCHER, J., 1999. Assessment of reliability of the Conflict Tactics Scales: A meta-analytic review. Journal of Interpersonal Violence, 14:1263-1289. ASSIS, S. G., 1992. Violncias, Crianas e Comportamentos: Um Estudo em Grupos Sociais Distintos. Relatrio Final de Pesquisa. Rio de Janeiro: Centro Latino-Americano de Estudos sobre Violncia e Sade, Fundao Oswaldo Cruz. BARLING, J.; OLEARY, K. D.; JOURILES, E. M.; VIVIAN, D. & MACEWEN, K. E., 1987. Factor similarity of the Conflict Tactics Scales across samples, spouses, and sites: Issues and implications. Journal of Family Violence, 2:37-54. BEHLING, O. & LAW, K. S., 2000. Translating Questionnaires and Other Research Instrument: Problems and Solutions . v. 7, n. 133. Thousand Oaks: Sage Publications. BRAVO, M.; CANINI, G. J.; RUBIO-STIPEC, M. & WOODBURY-FARIN, M., 1991. Cross-cultural adaptation of a psychiatric epidemiologic instrument: The Diagnostic Interview Schedules adaptation in Puerto Rico. Culture, Medicine and Psychiatry, 15:1-18. CRONBACH, L. J., 1951. Coefficient alpha and the internal structure of test. Psychometrika, 16:297-334. DESLANDES, S. F., 1997. Prevenir a Violncia: Um Desafio para Profissionais de Sade. Rio de Janeiro: Centro Latino-Americano de Estudos sobre Violncia e Sade Jorge Careli, Fundao Oswaldo Cruz. DESLANDES, S. F., 1999. O atendimento s vtimas de violncia na emergncia: Preveno numa hora dessas?. Cincia & Sade Coletiva, 4:123-130. DESLANDES, S. F.; GOMES, R. & SILVA, C. M. F. P., 2000. Caracterizao dos casos de violncia domstica contra a mulher atendidos em dois hospitais pblicos do Rio de Janeiro. Cadernos de Sade Pblica, 16:129-137. FELDT, L. J., 1965. The approximate sampling distribution of Kuder-Richardson reliability coefficient twenty. Psychometrika, 30:357-371. FERREIRA, A. L. & SCHRAMM, F. R., 2000. Implicaes ticas da violncia domstica contra a criana para profissionais de sade. Revista de Sade Pblica, 34:659-665. FERREIRA, N. A.; GONALVES, H. S.; MARQUES, M. J. V. & MORAES, S. R. S., 1999. A preveno da violncia contra criana na experincia do ambulatrio de atendimento famlia: Entraves e possibilidades de atuao. Cincia & Sade Coletiva, 4:123-130. FLECK, M. P. A. & BOURDEL, M. C., 1998. Mtodo de simulao e escolha de fatores na anlise dos componentes principais. Revista de Sade Pblica, 32:267-272.

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

EQUIVALNCIAS SEMNTICA E DE MENSURAO DA CTS-1: ADAPTAO TRANSCULTURAL

1093

FLEISS, J. L., 1981a. Measuring nominal scales agreement among many raters. Psychology Bulletin , 76:378-382. FLEISS, J. L., 1981b. Statistical Methods for Rates and Proportions. New York: John Wiley & Sons. GELLES, R. J., 1997. Intimate Violence in Families . London: Sage Publications. GUEDES, L. G., 1996. Violncia Domstica: Prevalncia e Fatores Associados em Famlias Atendidas num Servio de Emergncia Peditrica. Dissertao de Mestrado, Rio de Janeiro: Universidade Federal do Rio de Janeiro. GUILLEMIN, F.; BOMBARDIER, C. & BEATON, D., 1993. Cross-cultural adaptation of health-related quality of life measures: Literature review and proposed guidelines. Clinical Epidemiology , 46: 1417-1432. HASSELMANN, M. H., 1996. Violncia Familiar e Desnutrio Severa na Infncia: Modelo Terico e Estudo de Confiabilidade dos Instrumentos. Dissertao de Mestrado, Rio de Janeiro: Instituto de Medicina Social, Universidade do Estado do Rio de Janeiro. HERDMAN, M.; FOX-RUSHBY, J. & BADIA, X., 1998. A model of equivalence in the cultural adaptation of HRQOL instruments: The universalist approach. Quality of Life Research, 7:323-335. IBGE (Fundao Instituto Brasileiro de Geografia e Estatstica), 1999. Resoluo de Conflitos Domsticos e Violncia Intrafamiliar nos Bairros da Tijuca e Maracan. Rio de Janeiro: IBGE. JOURILES, E. N. & OLEARY, K. D., 1985. Interspousal reliability of reports of marital violence. Journal of Consulting and Clinical Psychology , 53:419421. KUMAGAI, F. & STRAUS, M. A., 1983. Conflict resolution tactics in Japan, India, and USA. Journal of Comparative Family Studies, 3:376-392. MARQUES, M. A. B., 1986. An Exploratory Study on Violence Against Children in a Favela in Rio de Janeiro. Ph.D. Thesis, New York: Columbia University. MAYFIELD, D.; McLEOD, G. & HALL, P., 1974. The CAGE questionnaires: Validation of new alcoholism screening instrument. American Journal of Psychiatry, 131:1121-1123. MORAES, C. L. & REICHENHEIM, M. E., 2002. Crosscultural measurement equivalence of the Revised Conflict Tactics Scales (CTS2) Portuguese version used to identify violence within couples. Cadernos de Sade Pblica, 18:783-796. MOURA, A. T. M. S., 2002. Violncia Familiar Contra Criana em um Servio de Sade: Gerando Informaes para Ao. Dissertao de Mestrado, Rio de Janeiro: Universidade do Estado do Rio de Janeiro. MS (Ministrio da Sade), 1997. Violncia Contra Crianas e Adolescentes. Proposta Preliminar de Preveno Assistncia Violncia Domstica. Braslia: MS.

REICHENHEIM, M. E.; HASSELMANN, M. H. & MORAES, C. L., 1999. Conseqncias da violncia familiar na sade da criana e do adolescente: Contribuies para a elaborao de propostas de ao. Cincia & Sade Coletiva, 4:109-121. REICHENHEIM, M. E. & MORAES, C. L., 2002. Buscando a qualidade das informaes em pesquisas epidemiolgicas. In: Caminhos do Pensamento: Epistemologia e Mtodo (M. C. S. Minayo & S. F. Deslandes, org.), pp. 227-254, Rio de Janeiro: Editora Fiocruz. REISS Jr., A. J. & ROTH, J. A., 1993. Understanding and Preventing Violence . Washington, DC: National Academy Press. ROSNER, B., 1995. Fundamentals of Biostatistics. Belmont: Duxbury Press. ROSSMANN, B. B. R.; HUGHES, H. M. & ROSENBERG, M. S., 1999. Children and Interparental Violence: The Impact of Exposure. Philadelphia: Brunner/Mazel. RUMMEL, R. J., 1988. Applied Factor Analysis. 4th Ed. Evanston: Northwest University Press. SHROUT, P. E., 1998. Measurement reliability and agreement in psychiatry. Statistical Methods in Medical Research, 7:301-317. SMART, R. G.; ARIF, A.; HUGHES, P.; MEDINA-MORA, M. E.; NAVARATNAM, V.; VARMA, V. K. & WADUD, K. A., 1981. Drugs Use Among Non-Student Youth. Geneva: World Health Organization. SOARES, B. M., 1997. Mulheres Invisveis: Violncia Familiar e Formaes Subjetivas. Tese de Doutorado, Rio de Janeiro: Instituto Universitrio de Pesquisas do Rio de Janeiro. STRAUS, A. M. S.; GELLES, J. R. & STEINMETZ, K. S., 1980. Behind Closed Doors. Violence in the American Family. New York: Anchor Press. STRAUS, M. A., 1979. Measuring intrafamiliar conflict and violence: The Conflict Tactics (CT) Scales. Journal of Marriage and the Family, 41:75-88. STRAUS, M. A., 1994. Beating the Devil Out of Them. Corporal Punishment in American Families. New York: Cambridge University Press. STRAUS, M. A. & GELLES, J. R., 1995. Physical Violence in American Families: Risk Factors and Adaptations to Violence in 8,145 Families . New Brunswick: Transaction Publishers. STREINER, D. L. & NORMAN, G. R., 1995. Health Measurement Scales. A Practical Guide to their Development and Use. Oxford: Oxford University Press. VALLANDRO, L., 1991. Dicionrio de Ingls: InglsPortugus/Portugus-Ingls . 16 a Ed. So Paulo: Editora Globo. WATTS, C. & ZIMMERMAN, C., 2002. Violence against women: Global scope and magnitude. Lancet , 359:1232-1237. Recebido em 1 de outubro de 2002 Aprovado em 28 de maro de 2003

Cad. Sade Pblica, Rio de Janeiro, 19(4):1083-1093, jul-ago, 2003

Вам также может понравиться