Avaliao de peridicos cientficos brasileiros da rea da psicologia

Oswaldo H. Yamamoto
Editor da revista Estudos de Psicologia (Natal), da Universidade Federal do Rio Grande do Norte. Professor da Universidade Federal do Rio Grande do Norte. E-mail: ohy@uol.com.br

Resumo
Este trabalho apresenta a segunda verso do processo de avaliao dos peridicos brasileiros da rea da psicologia, conduzida pela Comisso Editorial Capes-Anpepp. As demandas para a realizao deste empreendimento, que teve a sua verso inicial realizada em 1999, so as seguintes: (a) qualificar os veculos cientficos nos quais publicam pesquisadores brasileiros vinculados aos programas de ps-graduao em psicologia; (b) criar mecanismos para viabilizar a manuteno dos peridicos com melhor avaliao; (c) estabelecer parmetros para o incremento da qualidade dos peridicos da rea. Foram avaliados 51 peridicos da rea citados nos relatrios dos programas de ps-graduao do perodo 1999-2000, usando uma ficha de avaliao contendo cinco conjuntos de itens (Normalizao, Publicao, Circulao, Autoria e Contedo e Gesto editorial), acompanhada de instrues enviadas para os editores dos peridicos. Posteriormente, as fichas foram conferidas pela Comisso, gerando uma classificao de duas entradas, de mbito (Nacional/Local) e Qualidade (A/B/C). Os principais resultados indicam que houve uma perceptvel melhora na classificao das revistas brasileiras da rea, nos seus diversos aspectos. Questes vinculadas avaliao e desafios para as novas etapas so discutidas. Palavras-chave Avaliao; Peridicos; Psicologia.

Paulo Rogrio Meira Menandro

Representante da rea de psicologia na Capes. Professor da Universidade Federal do Esprito Santo. E-mail: menandro@escelsa.com.br

Slvia Helena Koller

Editora da revista Psicologia: Reflexo e Crtica, da Universidade Federal do Rio Grande do Sul. Professora da Universidade Federal do Rio Grande do Sul. E-mail: kollersh@ufrgs.br

Anna Carolina LoBianco

Editora da revista gora, da Universidade Federal do Rio de Janeiro. Professora da Universidade Federal do Rio de Janeiro. E-mail: aclobianco@marlin.com.br.

Cludio Simon Hutz

Professor da Universidade Federal do Rio Grande do Sul. E-mail: claudio_hutz@terra.com.br

Jos Lino de Oliveira Bueno

Professor da Universidade de So Paulo/Ribeiro Preto. E-mail: jldobuen@ffclrp.usp.br

Maria do Carmo Guedes

Professora da Pontifcia Universidade Catlica de So Paulo. E-mail: mcguedes@pucsp.br.

Evaluation of brazilian scientifc journals in psychology Abstract

The present paper reports the second evaluation of Brazilian psychology journals carried out by the Editorial Committee CAPES-ANPEPP. The objectives of this evaluation, which started in 1999, were (a) to assess the journals Brazilian in which researchers affiliated to graduate courses in psychology usually publish, (b) to develop ways to support the best journals and (c) to establish parameters for the improvement of these journals. In the present assessment, 51 journals cited by the graduate programs reports in the period of 1999-2000 were evaluated. We used an Evaluation Form that consists of five sets of items (Normalization, Publication, Circulation, Authorship and Contents, and Editorial Management). The forms were completed by the editors and checked by the Committee. This instrument allowed to establish a ranking by circulation (National/Local) and quality (A/B/C) criteria. The main results showed that there was a remarkable improvement in the Brazilian journals compared to the first evaluation. Some questions related to the evaluation process itself and the challenges for the next steps are discussed. Keywords Evaluation; Journals; Psychology.

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

163

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

INTRODUO Produo cientfica e peridicos: questes iniciais Desde a publicao do Journal des Savans, editado na Frana por Denis de Sallo, e das Philosophical Transactions: giving some Accompot of the present Undertakings, Studies and Labours of the Ingenious in many considerale parts of the World, pela Royal Society britnica, empreendimentos que datam do sculo XVII e que aparecem nos registros como os precursores dos peridicos cientficos, ou dos pioneiros brasileiros Gazeta Mdica do Rio de Janeiro, de 1862, e a Gazeta Mdica da Bahia, de 1866, at os dias atuais, o quadro da produo cientfica experimentou dramticas mudanas (Meadows, 1999; Biojone, 2001). Atualmente, so publicados mais de 600 mil peridicos cientficos em todo o mundo (Biojone, 2001), estimandose que sejam escritos, diariamente, entre seis e sete mil artigos cientficos para aliment-los (Trzesniak, 2001). Tal profuso de ttulos traz, subjacente, um conjunto de problemas. Para ilustrar, avaliaes sobre a qualidade dos artigos mostram que 50% deles contm erros estatsticos; dados sobre o impacto indicam que aproximadamente 50% dos artigos publicados nunca chegam a ser citados ou sequer consultados (Trzesniak, 2001). Alm da qualidade dos artigos propriamente ditos, a irregularidade na publicao e distribuio, a ausncia ou deficincia na normalizao dos artigos e do peridico, a dificuldade de indexao em bases internacionais reconhecidas e questes vinculadas lngua so aspectos que merecem a ateno da comunidade cientfica (Ferreira, 2001). Quando se trata da situao da produo cientfica nas naes perifricas, o quadro dramtico. De acordo com De Meis & Leta (1996), a participao brasileira, consideradas todas as reas de conhecimento em peridicos indexados pelo Institute for Scientific Information (ISI), conquanto crescente (evolui de 0,29% em 1981 para 0,47% em 1989), ainda muito pouco expressiva. Alm disso, no que tange visibilidade, estudos mostram que aproximadamente 70% dos peridicos latino-americanos no esto includos em nenhum indexador reconhecido internacionalmente (Gibbs, 1995). No caso da psicologia, os poucos estudos realizados em anos passados sobre a produo do conta de um quadro que no poderia ser muito diverso do delineado at aqui (Aguiar Netto, 1988; Matos, 1988; Souza & Dessen, 1992; Yamamoto, Souza & Yamamoto, 1999), com a produo mdia anual referente ao perodo 1992-1996
164

entre os pesquisadores apoiados pelo Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq) na modalidade Produtividade em Pesquisa de 1,3 artigo publicado no Brasil e 0,3 no exterior (Oliveira, 1998). Se compararmos a produo expressa em peridicos indexados em bases de dados internacionais no perodo 1976-1980, a da psicologia a menor entre nove reas (medicina clnica, pesquisa biomdica, biologia, qumica, fsica, cincias da terra e do espao, engenharias e matemtica), com participao relativa de 0,47% do total brasileiro (Braun, Glnzel & Schubert, 1985)* . A monitorao da produo cientfica: a avaliao de peridicos Essa crescente massa de informao com os problemas dela decorrentes impem, para a comunidade cientfica, a responsabilidade de monitorao e controle da produo visando ao estabelecimento de um padro de qualidade compatvel com o papel de disseminao desse conhecimento e uma das iniciativas mais importantes a avaliao dos seus suportes, nomeadamente, o mais importante, o peridico cientfico. Existem duas grandes possibilidades de aferio do padro de qualidade, a anlise bibliomtrica (que tem seu fundamento no fator de impacto) e o exame de indicadores de qualidade (Valerio, 1994). Conquanto a primeira seja a modalidade consagrada em mbito internacional, as questes relativas cartografia da produo cientfica j assinaladas, com a distribuio desigual da cincia mundial em produtores e consumidores, comprometem a utilizao desse procedimento no terceiro mundo. O exame dos indicadores de qualidade, por seu turno, pode contemplar dois aspectos, complementares, os de natureza intrnseca e extrnseca. Os primeiros dizem respeito aos aspectos formais (normalizao, periodicidade, tiragem etc.), enquanto os segundos se referem ao contedo (corpo editorial, consultores, nvel de qualidade das contribuies etc.). De acordo com Ferreira (2001), as primeiras tentativas de avaliao de peridicos alinhadas segunda vertente datam do incio da dcada 1960, a partir de um modelo desenvolvido pela Unesco. No Brasil, partindo de um
*

sempre importante considerar, em estudos comparativos de reas distintas, as especificidades presentes nas cincias humanas e sociais (como a predominncia de formas de apresentao textual mais extensas, muitas vezes na forma de livros), conforme assinala Velho (1988).

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

trabalho originalmente proposto por Braga & Oberhofer (1982), algumas tentativas para desenvolver um sistema eficiente de avaliao de peridicos tm sido realizadas (Castro & Ferreira, 1996; Castro, Negro & Zaher, 1996; Castro, Ferreira & Vidili, 1996; Krzyzanowski & Ferreira, 1998). Tal sistema, com adaptaes relacionadas s finalidades especficas para as quais foram propostas, tem como caracterstica o estabelecimento de um conjunto de parmetros que contemplam aspectos intrnsecos e extrnsecos, formais e de mrito, traduzidos por indicadores que possibilitam a pontuao e conseqente hierarquizao dos peridicos. Na rea da psicologia, a preocupao com a qualidade dos peridicos nos quais a produo cientfica veiculada tem sido objeto de ateno nos ltimos anos, sobretudo, associada avaliao do sistema de ps-graduao* . De fato, conforme Macedo & Menandro (1998), a produo cientfica dos docentes o item com maior peso nas decises sobre a avaliao dos programas. No segundo semestre de 1998, a partir de uma solicitao da Capes e realizada por iniciativa da Associao Nacional de Pesquisa e Ps-Graduao em Psicologia (Anpepp), foi constituda uma comisso conjunta** com a responsabilidade de avaliar os peridicos cientficos da rea da psicologia. Os objetivos definidos pela comisso foram, principalmente, de duas ordens: avaliar os peridicos, pela qualificao dos veculos cientficos nos quais publicam pesquisadores brasileiros vinculados aos programas de ps-graduao em psicologia, e estimular o incremento da qualidade dos peridicos da rea, pelo estabelecimento de parmetros editoriais compatveis com as exigncias reconhecidas nacional e internacionalmente*** (Yamamoto et alii, 1999).
A preocupao com a avaliao da qualidade da produo na psicologia tem sido alvo de ateno, tanto nacional, quanto internacionalmente, embora tal literatura no seja nem to vasta nem to difundida na rea. Para exemplificar, em mbito internacional, a revista The Behavioral and Brain Sciences dedicou um fascculo ao exame das questes referentes avaliao por pares (Peters e Ceci, 1982), enquanto no Brasil, o grupo coordenado por Geraldina Porto Witter tem dedicado sua ateno questo (por exemplo, Freitas, 1998)
*

Partindo do modelo proposto por Krzyzanowski & Ferreira (1998), foi elaborada uma ficha de avaliao com uma escala total (avaliao de qualidade ou A, B e C) e uma subescala para classificao de mbito (nacional ou local). A primeira escala era subdividida em cinco grupos de itens: Normalizao, Publicao, Circulao, Autoria e Contedo, Gesto Editorial (com pontuao de 0-20 para cada tpico, para um total mximo de 100). A subescala de mbito foi construda a partir da extrao de cinco subitens da escala geral (indexao, distribuio, disponibilidade em bibliotecas do sistema nacional, abrangncia geogrfica dos autores e dos conselhos editoriais). Nesta primeira etapa, o procedimento adotado foi: (a) depurar uma lista de peridicos gerada pela Capes a partir da citao por parte dos docentes nos relatrios dos programas de ps-graduao da rea no binio 19961997; (b) realizar uma avaliao preliminar dos peridicos; enviar as avaliaes preliminares para os editores; (c) reexaminar as avaliaes que foram objeto de solicitaes de reconsiderao; (d) elaborar duas relaes dos peridicos, organizadas por mbito e classificadas com relao qualidade. Nessa primeira verso da avaliao, foram objeto de exame 47 peridicos brasileiros da rea da psicologia. A partir dessa avaliao, 14 deles foram considerados de mbito nacional e 33 de mbito local. Dentre os peridicos nacionais, quatro foram classificados como de qualidade A, seis como B e quatro como C. Nos peridicos locais, a distribuio foi sete de qualidade A, 14 B e 12 C. Essa avaliao foi divulgada de forma ampla, em eventos destinados aos psiclogos, diretamente aos editores cientficos e atravs de textos (Yamamoto et alii, 1999) e pginas na Internet (http://www.anpepp.org.br). O processo de avaliao tambm foi, por seu turno, objeto de avaliao por parte de especialistas do campo das cincias da informao (Hutz, 2000). De uma forma geral, tanto a exigncia da Capes de qualificao dos veculos nos quais os docentes publicam, quanto a proposta de avaliao da comisso foram bem recebidas pela comunidade cientfica, entendendo que, a despeito de eventuais deficincias, tratava-se de uma providncia til e necessria, exatamente por promover o aprimoramento dos peridicos da rea. Dois anos depois do incio dos trabalhos da Comisso Capes-Anpepp, no segundo semestre de 2000, foi conduzida uma atualizao da avaliao* .
*

A Comisso Editorial, na sua primeira verso, foi composta por trs editores indicados pela Anpepp (Maria do Carmo Guedes, Slvia Helena Koller e Oswaldo H. Yamamoto), que se associou a parte do Comit de Avaliao dos Programas de Ps-Graduao da rea designada para atuar na Capes (Anna Carolina LoBianco, Celso Pereira de S, Cludio Simon Hutz e Jos Lino O. Bueno), alm do coordenador e do coordenador adjunto da rea de psicologia da Capes (Lino de Macedo e Paulo R. M. Menandro).
*

Alm de, em uma perspectiva mais distante, criar mecanismos para viabilizar a manuteno dos peridicos com melhor avaliao.
*

A composio da Comisso Editorial foi basicamente a mesma, composta por Maria do Carmo Guedes, Slvia Helena Koller, Oswaldo H. Yamamoto, Anna Carolina LoBianco, Jos Lino O. Bueno e Paulo R. M. Menandro, sob a coordenao de Cludio Simon Hutz, na qualidade de presidente da ANPEPP.

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

165

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

O objetivo do presente estudo apresentar esta nova etapa do processo de avaliao as mudanas no procedimento, os resultados observados e os desafios que se colocam na seqncia dos trabalhos. MATERIAIS E PROCEDIMENTOS Definio do mbito De forma anloga primeira verso, definiu-se que seriam considerados os peridicos de psicologia publicados no Brasil referidos pelos docentes e pesquisadores nos relatrios dos programas de ps-graduao do perodo 1998-1999. A lista gerada pela Capes foi confrontada com a relao que serviu de base para a primeira avaliao, chegando-se ao total de 51 peridicos da rea. Uma alterao, nesta verso, foi a incluso de 13 peridicos de reas conexas. Os resultados desta avaliao, de carter experimental, contudo, no esto sendo apresentados neste trabalho* . Ainda nesta verso, no foram avaliados os peridicos publicados no exterior. O procedimento sugerido para a Comisso de Avaliao foi considerar, provisoriamente, a presena do peridico citado em base de dados de indiscutvel reconhecimento internacional, nomeadamente, o ISI (Institute for Scientific Information) como parmetro da qualidade da publicao. Instrumento O instrumento utilizado foi o mesmo desenvolvido para a primeira avaliao: uma Ficha de Avaliao com uma Escala Total (avaliao de qualidade ou A, B e C) e uma Subescala para Classificao de mbito (Nacional ou Local) (Apndice A). A Escala Total foi composta de cinco tpicos gerais Normalizao, Publicao, Circulao, Autoria e Contedo, e Gesto Editorial (com pontuao de 0-20 para cada tpico, para um total mximo de 100). A Subescala de mbito constava de cinco subitens da Escala Geral (indexao, distribuio, disponibilidade em bibliotecas do sistema nacional, abrangncia geogrfica dos autores e dos conselhos editoriais).
* Trata-se, aqui, de uma questo polmica. A tendncia da comisso foi sugerir a utilizao das classificaes geradas pelas comisses de avaliao das demais reas para os peridicos que no fossem especificamente de psicologia. A expectativa era que houvesse uma reciprocidade no tratamento dos artigos de pesquisadores dessas reas que publicassem nos peridicos da psicologia. Embora as perspectivas para tal reciprocidade estejam mais bem desenhadas hoje, do que no momento em que foi feita a primeira avaliao, so levantadas questes como os impactos relativos (diferente) de um trabalho publicado em um determinado veculo para duas reas diferentes.

Um aspecto da construo do instrumento que merece destaque foi a lgica que presidiu a primeira verso da avaliao, que conciliava os interesses de avaliao dos programas de ps-graduao pela Capes e o propsito de promover a qualificao dos peridicos pela Anpepp. Tendo em vista esses objetivos, na elaborao inicial da ficha no se privilegiou nenhum aspecto especfico, com os itens relativos normalizao recebendo, por exemplo, peso equivalente aos referentes autoria e ao contedo. A deciso de manter o mesmo instrumento, com os quesitos e respectivas pontuaes inalteradas (a despeito da reconhecida necessidade de reviso dos mesmos, conforme Hutz, 2000, e Menandro, 2001), foi tomada pela comisso para evitar que os peridicos/ editores que estivessem fazendo um esforo para se adequarem aos padres definidos para a primeira avaliao fossem prejudicados. Alm disso, a manuteno dos mesmos critrios e pontos de corte permitiria uma avaliao clara da melhoria ocorrida nas revistas. Foi desenvolvido, como novidade com relao verso anterior, um conjunto de instrues para o preenchimento da ficha (Apndice B), para ser utilizado pelos editores, conforme detalhado a seguir. Alm de auxiliar os editores na avaliao proposta, as instrues visavam a um padro, reduzindo a probabilidade de solicitaes de reconsiderao equivocadas, como havia ocorrido na primeira etapa. Avaliao preliminar pelos editores A mais importante mudana introduzida nesta segunda avaliao foi a solicitao aos editores para que realizassem uma auto-avaliao, por meio do preenchimento da ficha, orientados pelas instrues que a acompanhavam. Esta medida procurou tirar proveito do conhecimento que os editores tm do peridico pelos quais so responsveis. Alm de minimizar os efeitos de uma subavaliao dos peridicos por parte da comisso, de forma a reduzir eventuais solicitaes de reconsiderao, esta medida teve um carter educativo, fazendo com que o editor examinasse cuidadosamente o veculo sob sua responsabilidade.

166

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

Avaliao dos peridicos pela comisso A avaliao propriamente dita foi realizada pela Comisso na Biblioteca do Instituto de Psicologia da Universidade de So Paulo, confrontando as fichas preenchidas e remetidas pelos editores com os exemplares dos peridicos publicados entre o segundo semestre de 1999 e o ano 2000. No caso de editores que no enviaram suas avaliaes, o procedimento adotado foi o mesmo da primeira etapa, isto , a avaliao por parte da prpria comisso. Relatrios finais foram, ento, elaborados para cada peridico. Um problema que persistiu da primeira avaliao no foi equacionado nesta: a aferio da presena de peridicos em bibliotecas nacionais (sete pontos). Na primeira verso, a Comisso descartou esse item pela ausncia de atualizao das informaes relevantes no Catlogo Coletivo Nacional (CCN) do Instituto Brasileiro de Informao em Cincia e Tecnologia (IBICT). Para contornar essa dificuldade, foi solicitado, nesta verso, que os editores informassem acerca da distribuio dos peridicos para as bibliotecas. Novamente, decidiu-se pela excluso desse item para fins de anlise, pela impreciso das informaes enviadas pelos prprios editores sobre esse aspecto. Foram calculados as mdias e desviospadro para cada subescala e estabelecidos pontos de corte. RESULTADOS Os quadros 1 e 2 apresentam as relaes dos peridicos brasileiros que, pelas pontuaes alcanadas, foram considerados como de mbito nacional e local, respectivamente, acompanhados dos conceitos e escores relativos qualidade. No confronto da distribuio resultante da primeira avaliao com os quadros 1 e 2, possvel supor que aqueles resultados mobilizaram os editores, resultando em expressiva melhoria dos peridicos em diversos quesitos da avaliao. A figura 1, a seguir, registra tais mudanas no quadro da avaliao da rea da psicologia da primeira para a segunda avaliao. Um exame inicial da figura torna evidente que as mudanas que foram operadas nos peridicos da rea concentram-se, sobretudo, em dois aspectos: um
Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

QUADRO 1 Avaliao dos peridicos cientficos brasileiros nacionais em psicologia

QUADRO 2 Avaliao dos peridicos cientficos brasileiros locais em psicologia

167

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

incremento no aspecto circulao e uma melhoria da qualificao das revistas. No que tange ao mbito, passase de 14 para 24 peridicos nacionais. Tomando os percentuais, para compensar as diferenas dos totais, h um salto de 31% para 46% dos peridicos considerados de mbito nacional. Quanto qualificao, expressivo o incremento das revistas classificadas no topo da lista, ou seja, de mbito nacional e qualidade A: passa-se de apenas quatro na primeira avaliao para um total de 15!

FIGURA 1 Comparativo das avaliaes dos peridicos cientficos brasileiros 1998-1999 e 2000-2001

TABELA 1 A tabela 1, a seguir, apresenta com Comparativo das avaliaes dos peridicos cientficos brasileiros mais detalhes a movimentao 1998-1999 e 2000-2001 das revistas que denominamos mudana de status nas duas avaliaes. Os dados apontam que as mudanas no campo editorial da psicologia no perodo das duas avaliaes foram, efetivamente, na direo de uma sensvel FIGURA 2 melhora de qualidade. ExcetuanDistribuio dos peridicos cientficos brasileiros na avaliao 2000-2001 do-se aquelas que permaneceram inalteradas no perodo, 25 revistas tiveram seu status incrementado, contra apenas cinco que tiveram um desempenho comparativamente pior na segunda avaliao. Para uma visualizao do quadro gerado pela presente avaliao, a figura 2, a seguir, apresenta a distribuio das revistas, considerados os dois parmetros, mbito e qualidade. Os dados da figura 2 possibilitam extrair algumas concluses. Em primeiro lugar, em que pese o esforo dos editores e do impacto da avaliao realizada, mais da metade dos peridicos brasileiros referidos pelos docentes vinculados aos
168
Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

programas de ps-graduao da rea ainda de circulao local. Considerando-se que no se trata de um jogo de soma zero (isto , no h quotas previamente estabelecidas de peridicos em cada faixa), ainda h um caminho considervel a percorrer. Do ponto de vista dos programas de ps-graduao, pertinente a ilao de que, acatando os parmetros de avaliao aqui empregados, a produo bibliogrfica da rea se expressa, em grau no-desprezvel, em veculos que no tm a visibilidade que seria esperada. A questo preocupante, sobretudo se considerarmos que a produo bibliogrfica o aspecto da avaliao dos programas com maior peso (Macedo & Menandro, 1998). CONSIDERAES Transformaes substantivas no quadro da produo cientfica em naes perifricas dependem de um conjunto de condies associadas poltica cientfica, que extrapolam o mbito mais especfico da prpria comunidade cientfica. Estudos sobre a cartografia da produo cientfica indicam uma diviso clara do mundo entre produtores e consumidores de conhecimento (De Meis & Leta, 1996). Todavia, em aspectos mais limitados, mas nem por isso menos significativos, algumas mudanas esto em curso. Em especial, no campo da editorao cientfica, os resultados apresentados indicam modificaes considerveis na rea da psicologia com relao realidade esboada na introduo do presente trabalho. Tal mudana pode ser aquilatada, de forma mais objetiva, pela qualificao das revistas no perodo compreendido pelas duas verses da avaliao Capes-Anpepp, como tambm, de forma no sistemtica, pela comparao aleatria de diversas das revistas que ascenderam na classificao, ou pelos depoimentos de bibliotecrios da rea, ou pelo crescente interesse dos editores pelos eventos da rea da cincia da informao*. Um outro indicador da melhoria das revistas no perodo a incluso em bases de dados internacionais: no perodo 1998 a 2001, de uma revista indexada na PsycINFO, da American Psychological Association, passa-se a sete; de duas includas na base LILACS (Literatura Latino-Americana
Como exemplo, no VIII Encontro Nacional de Editores Cientficos, organizado pela Associao Brasileira de Editores Cientficos (ABEC), realizada na cidade de Atibaia, SP , em outubro de 2001, cerca de 25% dos participantes tinham vinculao com a psicologia. Tal participao contrasta com eventos anteriores, nos quais a presena de editores da rea era bastante inexpressiva.
*

e do Caribe de Cincias da Sade), passa-se para 20; de uma revista disponibilizada no servio SciELO (Scientific Electronic Library Online-Bireme/Fapesp), passa-se para quatro. Alm disso, as revistas da rea passaram a buscar indexadores antes no conhecidos (como so os casos da Sociological Abstracts (da Cambridge Scientific Abstracts), da PSICODOC (do Colgio Oficial de Psiclogos de Madrid) e CLASE (Universidad Nacional Autnoma de Mxico), melhorando a visibilidade de suas publicaes. Alguns aspectos desse processo devem ser destacados. Em primeiro lugar, a participao da Anpepp, em colaborao estreita com a Comisso de Avaliao da rea da Capes. Os aspectos positivos da participao da Anpepp traduzem-se em, pelo menos, dois pontos: a indicao, atravs de eleio por parte dos Programas, de editores para fazer parte dessa comisso, o que permitiu levar, para o interior da Comisso de Avaliao, parte da experincia acumulada nessa tarefa, bastante especializada, que a de editar peridicos cientficos; e a transparncia do processo, pela possibilidade de acompanhamento dos programas nos eventos promovidos pela entidade ou que contavam com a sua presena. Em segundo lugar, a metodologia especfica empregada para a avaliao dos peridicos, com instrumentos e procedimentos especialmente desenvolvidos para este processo, a partir da base estabelecida no campo das cincias da informao. Em terceiro lugar, a comunicao com os editores, na forma de verificao da avaliao realizada pela comisso na primeira verso e, sobretudo, no preenchimento da ficha na segunda, permitiu uma aproximao da comisso com os editores, minimizando possveis problemas de comunicao relatados por outras reas na produo das classificaes para o sistema Qualis. O aprimoramento dos peridicos e as avaliaes da avaliao realizadas, apontando problemas, impem a reviso de alguns dos critrios utilizados nas avaliaes j realizadas para as prximas edies. Entre os desafios a serem enfrentados na nova etapa da avaliao, podemos destacar: 1) Ajuste dos novos critrios a serem utilizados para definir o nvel de qualidade dos peridicos, impondo novas exigncias sem desconsiderar os progressos j realizados.

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

169

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

Na segunda verso da avaliao, alguns pontos problemticos ficaram evidentes para a comisso que, para no alterar os critrios em um espao to curto de tempo e para valorizar o trabalho dos editores, decidiu postergar as mudanas. Tais aspectos relacionam-se inexistncia de padres mnimos de exigncia por conjunto de itens, o que viabilizou as mudanas de nveis pelo aprimoramento de aspectos menos onerosos para as revistas. Para ilustrar, embora o nmero de indexaes tenha crescido de maneira significativa, ajustes nos itens relativos normalizao eram relativamente mais fceis de serem realizados. Desta forma, para definir um peridico de mbito nacional, a exigncia de incluso em uma base de dados reconhecida pela comunidade acadmica pode ser uma alternativa a ser considerada. importante sempre lembrar que as primeiras verses da avaliao tiveram, sobretudo, um carter pedaggico, fazendo os editores prestarem ateno para as exigncias de um peridico de bom nvel. primeira vista, os critrios utilizados poderiam ser considerados lenientes, mas, na verdade, foram adequados realidade nacional da rea. A utilizao de critrios mais rgidos provavelmente levaria a um desestmulo muito grande por parte dos editores que, alm de no se motivarem a melhorar a qualidade dos peridicos, tenderiam a rejeitar a avaliao como irrealstica. Da mesma forma, exigncias relativas poltica editorial e procedimentos de arbitragem podem ser definidos como condies sine qua non para a revista atingir determinados patamares de qualidade e de mbito. Esta verificao de itens obrigatrios tambm deve levar a comisso a rever os pesos relativos dos conjuntos de itens. Eventualmente, seria possvel pensar em itens de normalizao como condio mnima para fazer parte da avaliao, no sendo mais pontuados. 2) Estudar a viabilidade de considerao, em separado, do aspecto qualidade das publicaes, atravs de informaes adicionais sobre os peridicos, de carter opinativo, obtidas diretamente dos pesquisadores da rea. Embora seja uma solicitao que a comisso tem recebido de diversos editores, trata-se de uma questo de difcil equacionamento. No procedimento empregado por Krzyzanowski & Ferreira (1998), havia uma dupla avaliao, de forma e de mrito. Tal avaliao era conduzida por especialistas da rea, aos quais era solicitado que analisassem (e classificassem por ordem
170

de prioridade) os peridicos da rea considerando a qualidade da publicao (qualidade dos artigos, qualidade do corpo editorial e dos consultores, critrios de arbitragem), natureza do rgo publicador, abrangncia (origem dos trabalhos e difuso da revista), indexao e avaliao global. Como se pode observar, parte considervel desses critrios de mrito foram incorporados Ficha de Avaliao da Comisso Capes-Anpepp. Embora o grupo Contedo fosse apenas um dos cinco considerados, a qualidade da publicao era aferida por um conjunto de outros indicadores, como a presena em bases de dados. Evidentemente, a incluso em um indexador constituise em uma medida indireta da qualidade dos peridicos e tanto mais refinada, quanto mais exigente for o servio considerado. De forma anloga, no havia nenhuma razo para suspeitar dos critrios de arbitragem indicados pelas revistas, procedimentos e consultores. Nada autorizava a pensar que uma segunda avaliao de mrito trouxesse elementos para a avaliao de melhor qualidade do que os que a prpria revista empregou. Esses poucos elementos devem ser suficientes para demonstrar tanto a dificuldade da tarefa, quanto a improcedncia de algumas das crticas de que a avaliao desenvolvida era eminentemente burocrtica, sem considerar aspectos qualitativos, considerados essenciais. Outros trs pontos devem ser objeto de definio por parte da comisso: a ampliao da avaliao, de forma a englobar peridicos de outras reas nos quais pesquisadores vinculados psicologia tambm publicam (poucos deles foram avaliados at agora); a incluso, na base de publicaes avaliadas, dos peridicos publicados fora do Brasil, at ento no includos; e as formas de tratamento de peridicos disponibilizados eletronicamente, cada vez mais uma realidade editorial expressiva. Embora os desafios sejam grandes, temos a convico de que o caminho traado est, indubitavelmente, trazendo frutos positivos para a disseminao do conhecimento na rea da psicologia.
Artigo aceito para publicao em 18-12-2001

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

REFERNCIAS AGUIAR NETTO, M. C. A produo do conhecimento fora do espao acadmico. In: CONSELHO FEDERAL DE PSICOLOGIA (Braslia). (Org.). Quem o psiclogo brasileiro? So Paulo : Edicon, 988, p.123137. BIOJONE, M. R. Forma e funo dos peridicos cientficos na comunicao da cincia . 2001. 107 f. Dissertao (Mestrado em Cincias da Informao) Escola de Comunicaes e Artes da Universidade de So Paulo, So Paulo 2001. BRAGA, G.; OBERHOFER, C. A. Diretrizes para avaliao de peridicos cientficos e tcnicos brasileiros. Revista Latinoamericana de Documentacin, v. 2, n. 1, 1982. BRAUN, T.; GLNZEL, W.; SCHUBERT, A. Scientometrics indicators: a 32-country comparative eveluation of publishing perfomance and citation impact. Singapore : World Scientific Publishing, [199-]. CASTRO, R. C. F.; FERREIRA, M. C. G. Peridicos latino-americanos: avaliao das caractersticas formais e sua relao com a qualidade cientfica. Cincia da Informao, Braslia, v. 25, n. 3, p. 357-367, set./ dez. 1996. _______; NEGRO, M. B.; ZAHER, C. R.. Procedimentos editoriais na avaliao de artigos para publicao em peridicos de cincia da sade da Amrica Latina. Cincia da Informao, v. 25, n. 3, 352-356, 1996. DE MEIS, L.; LETA, J. O perfil da cincia brasileira. Rio de Janeiro : UFRJ, 1996. FERREIRA, M. C. G. Avaliao de peridicos cientficos. Disponvel em: <http://www.biblioteca.ufc.br/cecilia.ppt>. FREITAS, M. H. A. Avaliao da produo cientfica: consideraes sobre alguns critrios. Psicologia Escolar e Educacional, v. 2, n. 3, p. 211-228, 1998. GIBBS, W. W. Lost science in the third world. Scientific American, p. 76-83, Aug. 1995. HUTZ, C. S. Avaliao do processo de avaliao das revistas cientficas em psicologia. Estudos de Psicologia, Natal, v. 5, n. 2, p. 471-481, 2000. KRZYZANOWKSI, R . F.; FERREIRA, M. C. G. Avaliao de peridicos cientficos e tcnicos brasileiros. Cincia da Informao, v. 27, n. 2, p. 165-175, 1998. MACEDO, L. de; MENANDRO, P. R. M. Consideraes sobre os indicadores de produo no processo de avaliao dos programas de ps-graduao em psicologia. Infocapes, n. 6, v. 3, p. 34-38, 1998. MATOS, M. A. Produo e formao cientfica em psicologia. In : CONSELHO FEDERAL DE PSICOLOGIA (Braslia). (Org.). Quem o psiclogo brasileiro? So Paulo : Edicon, 1988, p. 100-122. MEADOWS, A. J. A comunicao cientfica. Braslia : Briquet de Lemos/ Livros, 1999. 268 p. MENANDRO, P. R. M. Uma nova etapa na avaliao de peridicos cientficos utilizados por pesquisadores brasileiros da rea da psicologia. In: REUNIO ANUAL DE PSICOLOGIA, 31., 2001, Rio de Janeiro. Resumos... Rio de Janeiro, 2001. OLIVEIRA, M. A. P . S. Comprometimento organizacional e com a carreira: influncia sobre produo cientfica de pesquisadores brasileiros. 1998. Dissertao (Mestrado em Cincia da Informao e Documentao) Departamento de Cincias da Informao e Documentao Unversidade de Braslia, Braslia, 1998. PETERS, D. P.; CECI, S. J. Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral and Brain Sciences, v. 5, p. 187-255, 1982. SOUZA, D. G.; DESSEN, M. A. Caractersticas e variedades de publicaes da ps-graduao em Psicologia. Cadernos da Anpepp, v. 1, p. 159-178, 1992. TRZESNIAK, P . A concepo e a construo da revista cientfica. In: CURSO DE EDITORAO CIENTFICA, 10., 2001, Petrpolis. Petrpolis : ABEC, p. 17-23, 2001. VALERIO, P . M. Espelho da cincia: avaliao do Programa Setorial de Publicaes em Cincia e Tecnologia da FINEP. Braslia : FINEP/ IBICT, 1994. VELHO, L. Ps-graduao em cincias sociais e humanidades: por que e em que elas diferem das cincias naturais? In: VELLOSO, J. ; CUNHA, L. A.; VELHO, L. (Org.). O ensino superior e o mercosul. Braslia : Garamond/Unesco/MEC-SESu, p. 99-111, 1998. YAMOMOTO, O. H. et al. Peridicos cientficos em psicologia: uma proposta de avaliao. Infocapes, v. 7, n. 3, p. 7-13, 1999. _______; SOUZA, C. C.; YAMAMOTO, M. E. A produo cientfica na psicologia: uma anlise dos peridicos brasileiros no perodo 19901997. Psicologia Reflexo e Crtica, v. 12, n. 2, p. 549-565, 1999.

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

171

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

CAPES - ANPEPP** COMISSO PARA AVALIAO DE REVISTAS CIENTFICAS EM PSICOLOGIA Ficha de Avaliao (Binio 7-98 a 7-2000)

bibliotecas do

172

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

173

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

INSTRUES PARA O PREENCHIMENTO DA FICHA DE AVALIAO DE PERIDICOS CIENTFICOS EM PSICOLOGIA ELABORADA PELA ANPEPP-CAPES Os critrios abaixo avaliam a qualidade da revista (A, B ou C). Devem ser considerados nesta avaliao os fascculos publicados no ltimo binio (julho de 1998 a julho de 2000) e entregues comunidade cientfica at o dia 31 de agosto de 2000.

174

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

abstract

keywords).

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

175

Oswaldo H. Yamamoto / Paulo Rogrio Meira Menandro / Slvia Helena Koller / Anna Carolina LoBianco Cludio Simon Hutz / Jos Lino de Oliveira Bueno / Maria do Carmo Guedes

176

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

Avaliao de peridicos cientficos brasileiros da rea da psicologia

CLASSIFICAO DA REVISTA CIENTFICA EM NACIONAL OU LOCAL Os critrios abaixo classificam o mbito da revista, ou seja, se nacional ou local. Foram retirados dos critrios apresentados anteriormente que avaliam a qualidade da revista.

Ci. Inf., Braslia, v. 31, n. 2, p. 163-177, maio/ago. 2002

177