RGSA Revista de Gesto Social e Ambiental ISSN: 1981-982X DOI: 10.5773/rgsa.v5i2.

.424 Organizao: Comit Cientfico Interinstitucional Editor Cientfico: Maria Tereza Saraiva de Souza Avaliao: Double Blind Review pelo SEER/OJS Reviso: Gramatical, normativa e de formatao

COMO CONSTRUIR CONHECIMENTO SOBRE O TEMA DE PESQUISA? APLICAO DO PROCESSO PROKNOW-C NA BUSCA DE LITERATURA SOBRE AVALIAO DO DESENVOLVIMENTO SUSTENTVEL Michele Hartmann Feyh Afonso Mestranda em Engenharia de Produo da Universidade Federal de Santa Catarina UFSC michele_feyh@yahoo.com.br Juliane Vieira de Souza Doutoranda em Engenharia de Produo da Universidade Federal de Santa Catarina UFSC juliane.vieiradesouza@gmail.com Sandra Rolim Ensslin Doutora em Engenharia de Produo pela Universidade Federal de Santa Catarina UFSC Professora da Universidade Federal de Santa Catarina UFSC sensslin@gmail.com Leonardo Ensslin Doutor em Engenharia Industrial e Sistemas pela University of Southern California USC Professor da Universidade Federal de Santa Catarina UFSC leonardoensslin@gmail.com RESUMO Estruturar uma reviso de literatura com o objetivo de construir conhecimento e selecionar peridicos disponibilizados no Portal da CAPES para fundamentao terica um desafio para o pesquisador. Diante desse fato, o trabalho proposto apresenta o processo de seleo do portflio bibliogrfico e o processo de anlise bibliomtrica aplicados no campo de avaliao de desempenho em sustentabilidade, possibilitando a anlise de caractersticas deste portflio , tais como peridicos onde o tema mais recorrente e artigos que se destacam. A pesquisa observa que a publicao de artigos cientficos na rea ainda bastante incipiente, mas tem apresentado grande crescimento na ltima dcada, e levanta as principais caractersticas com relao a autores, peridicos e relevncia cientfica das publicaes. Neste contexto, a metodologia ProKnow-C se mostra como uma ferramenta de grande validade para a construo de conhecimento em determinado campo de pesquisa, proporcionando um procedimento estruturado, rigoroso e que minimiza o uso de aleatoriedade e subjetividade no processo de reviso bibliogrfica. Palavras-chave: Avaliao de desempenho; Bibliometria; Desenvolvimento sustentvel; Reviso de literatura; Sustentabilidade. BUILDING KNOWLEDGE ON THEMED RESEARCH: USING THE PROKNOW-C PROCESS TO FIND LITERATURE ON SUSTAINABLE DEVELOPMENT ABSTRACT When a researcher structures a literature review in order to build knowledge in a particular area, she often selects periodicals from those available on Capes Portal de Periodicos to support her research with a theoretical basis. This is a challenging task. In light of this, this paper presents the processes of literature selection and bibliometric portfolio analysis that are applied in the field of performance evaluation in sustainability. This analysis enables researchers to identify portfolio characteristics, helping them to separate out the journals in which the themes theyre investigating are more often found. The study at hand shows that the publication of scientific papers in this field is still very low, but that is has shown great growth in the last decade. It presents the main characteristics with respect to the authors, journals and scientific relevance of the publications. ProKnow-C is shown to be a tool of high validity for the construction of knowledge in a particular field of research, providing a structured and rigorous procedure, which minimizes the use of randomness and subjectivity in the process of literature review. Keywords: Sustainable development; Sustainability; Performance evaluation; Literature review; Bibliometry.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p.47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel 1 INTRODUO O primeiro passo do pesquisador na busca por desenvolver um trabalho e construir conhecimento em determinado contexto, geralmente, se inicia pela reviso da literatura acerca do tema. A reviso da literatura ocupa posio introdutria no desenvolvimento de um projeto de pesquisa e retoma o conhecimento cientfico acumulado sobre o tema. E, para alm da construo do conhecimento acerca do problema de pesquisa, a reviso de literatura permite ao pesquisador avaliar a pertinncia cientfica e no-redundncia do trabalho proposto (Macedo, 1994) e define as bases intelectuais em que a lgica da pesquisa est sendo estruturada (Trentini & Paim, 1999). Para Echer (2001), somente depois de uma reviso de literatura que o pesquisador ter condies de formar um discurso cientfico que reflita uma posio a respeito do tema e saber avaliar a relevncia do trabalho proposto, evitando o risco de estar reinventando a roda (Macedo, 1994) ou de estar sugerindo uma soluo para um problema j resolvido, ou que j apresente melhores solues na literatura. No entanto, conduzir uma reviso de literatura, de forma consistente com o tema de pesquisa, est longe de ser considerada uma tarefa trivial. Muito facilmente o pesquisador, especialmente o de primeira viagem, poder sentir-se perdido na busca e seleo de informaes e acabar deixando de lado literatura relevante enquanto atm-se em leituras no-essenciais ao conhecimento desejado. O Portal de Peridicos da Coordenao de Aperfeioamento de Pessoal de Nvel Superior (Capes) se constitui hoje na mais completa fonte de artigos cientficos disponvel no Brasil disposio dos pesquisadores vinculados instituies de ensino superior. Trata-se de uma biblioteca virtual que armazena mais de 26.000 ttulos e que apresentou mais de 42 milhes de acessos em 2010 (Capes, 2011a)1. A vasta quantidade de contedo cientfico disponvel para consulta pode animar o pesquisador mais entusiasmado, mas representa um problema diante da limitao de assimilao da informao; preciso selecionar apenas parte do contedo disponvel para construir conhecimento sobre o tema de pesquisa. Essa superoferta de informao leva o pesquisador a refletir e pensar maneiras de extrair, dessa grande massa de informao disponvel, o conhecimento necessrio (Penteado, 2005). No processo de seleo da literatura de referncia imprescindvel que o pesquisador no se deixe levar por caminhos aleatrios, uma vez que esse tipo de pesquisa requer alto grau de vigilncia epistemolgica, de observao e de cuidado na escolha e no direcionamento dos procedimentos metodolgicos. Estes, por sua vez, necessitam de critrios claros e bem definidos, que devem ser constantemente avaliados e redefinidos medida que se constri a busca por solues ao objeto de estudo proposto (Lima e Mioto, 2007). Este trabalho est estruturado em seis sees, sendo esta primeira seo de carter introdutrio acerca do tema de pesquisa. A segunda, apresenta a fundamentao terica e os objetivos do trabalho. A terceira, introduz a metodologia empregada no trabalho em termos do enquadramento metodolgico da pesquisa e dos procedimentos utilizados. A quarta, apresenta a aplicao detalhada da metodologia, evidenciando todas as etapas para a obteno do portflio bibliogrfico, e a anlise bibliomtrica realizada. A quinta, as concluses obtidas com o trabalho e recomendaes para trabalhos futuros, e a sexta, relaciona a bibliografia utilizada.

O acesso ao Portal de Peridicos da Capes disponibilizado apenas a uma parte das instituies de ensino superior brasileiras, incluindo todas as instituies federais. O acesso disponibilizado gratuitamente apenas para os pesquisadores vinculados a essas instituies (Capes, 2011b).
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin 2 FUNDAMENTAO TERICA A problemtica apresentada abrange diversas reas do conhecimento, entre as quais est aquela que embasa o objetivo deste trabalho: avaliao de desempenho no contexto do desenvolvimento sustentvel. O relatrio Brundtland, elaborado pela World Commission on Environment and Development [WCED], define o desenvolvimento sustentvel como [...]aquele capaz de permitir a satisfao das necessidades da gerao presente sem comprometer a satisfao das geraes futuras (1987, p.8). Segundo Andrew W. Savitz, presidente da Sustainable Business Strategies, sustentabilidade [...]o ponto de interseco entre os negcios e os interesses da sociedade e do planeta (Conselho Empresarial Brasileiro para o Desenvolvimento Sustentvel [CEBDS], 2009, p.16). No contexto corporativo, este tema , geralmente, abordado sob um enfoque mais especfico, considerando o conceito de Triple Bottom Line definido por Elkington (1999). De acordo com esta definio, a aplicao dos valores de sustentabilidade nas empresas considera trs dimenses que devem estar em equilbrio: econmica, social e ambiental. Embora esta questo tenha atingido grande notoriedade no mundo corporativo, exigindo mudanas reais nos formatos de produo e de trabalho, est longe de se restringir a este campo. O governo, pela definio de polticas pblicas, e os indivduos, por meio de suas opes de consumo, se constituem em atores essenciais na busca pelo desenvolvimento sustentvel. A complexidade conceitual do tema e sua caracterstica dinmica de adaptao a cada contexto tornam este um dos conceitos mais difceis de serem mensurados quanto ao seu desempenho. Tal dificuldade abordada e discutida por Delai e Takahashi (2008) e por Vasconcelos, Andrade e Cndido (2009) em diferentes campos de pesquisa. Nestes termos, emerge a seguinte pergunta de pesquisa: como realizar a seleo da literatura de referncia que gere o conhecimento demandado pelo pesquisador no incio de uma pesquisa sobre avaliao de desempenho em desenvolvimento sustentvel a fim de proporcionar condies necessrias para, em um segundo momento, buscar as oportunidades de contribuio ao tema? A busca por respostas para esta questo se constitui no foco deste trabalho, que tem por objetivo construir o conhecimento necessrio para orientar o pesquisador na busca de oportunidades (lacunas) de pesquisa no contexto de avaliao de desempenho em desenvolvimento sustentvel. Assim, os objetivos especficos da pesquisa se constituem em: 1) selecionar as palavras-chave adequadas para a pesquisa; 2) selecionar as bases de dados relativas ao tema de pesquisa; 3) proceder a busca de artigos alinhados com o tema de pesquisa; 4) identificar os artigos relevantes da amostra selecionada; e 5) analisar os resultados obtidos com relao a relevncia cientfica e salincia de autores e peridicos de destaque. A construo do conhecimento sobre o tema de pesquisa ser embasada na metodologia ProKnow-C (Knowledge Development Process Constructivist) (Ensslin, L., Ensslin, S. R., Lacerda, & Tasca, 2010d) desenvolvida pelo Laboratrio de Metodologias Multicritrio em Apoio Deciso (LabMCDA)2, que apresenta aplicaes recentes em outros campos de pesquisa, tais como Gesto Pbica (Valmorbida, Ensslin, L., & Ensslin, S. R., 2011), Evidenciao Ambiental (Rosa, Ensslin, S. R., & Ensslin, L., 2009), Avaliao de Desempenho Organizacional (Bortoluzzi & Ensslin, 2010) e Avaliao de Programas de Treinamento (Tasca, Ensslin, L., Ensslin, S. R., & Alves, 2010). O processo ProKnow-C se constitui em uma metodologia de construo do conhecimento estruturada em quatro etapas: 1) seleo do portflio bibliogrfico que proporcionar a reviso de literatura; 2) anlise bibliomtrica do portflio bibliogrfico; 3) anlise sistmica do portflio
2

O Laboratrio de Metodologias Multicritrio em Apoio a Deciso consiste em um grupo de estudos de pesquisadores vinculados ao Programa de Ps-Graduao em Engenharia da Produo da Universidade Federal da Santa Catarina (Brasil). Para mais informaes, consulte: http://www.eps.ufsc.br/labmcda/.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel bibliogrfico; 4) elaborao dos objetivos de pesquisa. Neste trabalho, sero aplicadas as etapas 1 e 2 do processo3. A metodologia adotada proporcionar, ao fim do trabalho, obter um portflio bibliogrfico relevante ao tema de pesquisa, que ser selecionado sob critrios definidos objetivamente, buscando manter os artigos de maior relevncia cientfica ao tema neste portflio (Ensslin, L., Ensslin, S. R., Lacerda, & Tasca, 2010c). Com base no portflio de artigos cientficos obtido, ser realizada uma anlise bibliomtrica, que consiste no levantamento de estatsticas de um conjunto definido de artigos para a gesto da informao e do conhecimento cientfico do tema de pesquisa (Ensslin, L., Ensslin, S. R., Lacerda, & Tasca, 2010a). Tal procedimento definido como fase posterior seleo do portflio bibliogrfico na metodologia definida por Ensslin, L. et al. (2010a) e segue uma sequncia de passos estruturados em sua elaborao. 3 MTODO DE PESQUISA A metodologia utilizada evidencia, em um primeiro momento, o enquadramento metodolgico da pesquisa, apresentando as caractersticas, propriedades e limitaes do trabalho. Em um segundo momento, apresentada a metodologia adotada para atingir os objetivos propostos. 3.1 Enquadramento metodolgico O enquadramento metodolgico da pesquisa deste trabalho ser apresentado sob o enfoque de sete dimenses: natureza do objetivo; natureza da pesquisa; coleta de dados; abordagem do problema; resultados; populao e amostra; e instrumento de interveno. Quanto natureza do objetivo, a metodologia adotada se caracteriza como exploratria, pois se constitui em um primeiro levantamento sobre o tema, sem finalidade de confirmar alguma hiptese; e descritiva, pois apresenta, de forma descritiva, os procedimentos seguidos e resultados obtidos. Com relao natureza da pesquisa, este trabalho classificado como levantamento terico/ilustrativo, pois busca a reflexo sobre o problema, alm de apresentar uma aplicao prtica com base em um processo estruturado. No que concerne coleta de dados, este trabalho realizado com base em pesquisa de dados secundrios, que se constituem em artigos cientficos disponibilizados gratuitamente nas bases de dados indexadas ao Portal da Capes. Quanto abordagem do problema, a pesquisa definida como qualitativa, devido estrutura de coleta de dados secundrios e sua anlise quanto permanncia no portflio bibliogrfico, e tambm quantitativa, no que concerne anlise bibliomtrica do conjunto de artigos obtidos. Com relao aos resultados obtidos, a pesquisa se classifica como aplicada, pois so coletados dados com base em um procedimento estruturado, que, posteriormente, so analisados seguindo tambm uma metodologia estruturada. No que diz respeito populao e amostra, so considerados como populao-alvo do trabalho toda publicao cientfica em peridico que abarque o tema de pesquisa e que esteja disponvel para acesso gratuito no Portal da Capes. A amostra utilizada neste trabalho teve como base artigos selecionados em quatro bases de dados que possuem maior relao com o tema de pesquisa e maior quantidade de publicaes na rea, a partir dos quais o procedimento de seleo do portflio bibliogrfico foi aplicado. O instrumento de interveno utilizado neste trabalho parte da metodologia ProKnow-C proposta pelo LabMCDA, que estabelece os procedimentos de seleo e anlise dos resultados adotados.
3

Para obter mais informaes sobre as etapas 3 e 4, consulte Ensslin, L., Ensslin, S. R., Lacerda, & Tasca (2010b) e Lacerda, Ensslin, L., & Ensslin S. R., (2011a).
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin 3.2 Procedimento de seleo do portflio bibliogrfico A metodologia de seleo do referencial bibliogrfico ProKnow-C, definida pelo LabMCDA, consiste em uma srie de procedimentos sequenciais que se iniciam desde a definio do mecanismo de busca de artigos cientficos a ser utilizado, seguindo por uma srie de procedimentos pr-estabelecidos at atingir a fase de filtragem e seleo do portflio bibliogrfico relevante sobre o tema. O procedimento apresentado de forma resumida na Figura 1, e uma descrio de cada etapa ser apresentada a seguir. Definidos os eixos de pesquisa, isto , o tema que determinar a pesquisa que ser realizada, se faz necessrio estipular quais sero as palavras-chave utilizadas nos mecanismos de busca a fim de se obter os artigos cientficos no tema desejado. Essa pode no ser uma tarefa simples, uma vez que estabelece quais artigos sero selecionados para entrada no processo e quais sero excludos deste processo. Nas fases posteriores do processo, o pesquisador poder verificar se as palavras selecionadas esto, de fato, conseguindo discriminar os artigos cientficos referentes rea de pesquisa, e no encontrando sucesso, deve-se retroceder no processo at este ponto e selecionar novas palavras-chave. As palavras-chave selecionadas devem ser utilizadas nos mecanismos de busca de artigos cientficos, isoladamente ou combinadas. Como no h um mecanismo que faa a busca nas diversas bases de dados existentes onde o contedo dos peridicos fica armazenado preciso selecionar quais as bases de dados sero utilizadas para fazer o procedimento de busca dos artigos. Esta definio feita pelo pesquisador, que poder melhor avaliar quais so as bases de dados que possuem maior consistncia com o tema de pesquisa. No caso de o pesquisador no conseguir definir quais so as melhores bases de dados a considerar para o tema de pesquisa, pode-se proceder uma busca com as palavras-chave em diversas bases de dados, para ento verificar quais delas apresentam maior representatividade do tema de pesquisa, isto , quais possuem uma maior quantidade de artigos cientficos disponveis na rea de interesse, para, ento, optar pelas bases de dados a serem utilizadas na pesquisa. A busca das palavras-chave estipuladas nas bases selecionadas pode ser realizada individualmente ou conjuntamente, se o tema contemplar mais de um eixo de pesquisa. Os resultados obtidos em cada base de dados podem ser exportados para um software de gerenciamento bibliogrfico para facilitar a manipulao das informaes e padronizar seu formato de apresentao4. Com o objetivo de verificar se as palavras-chave selecionadas esto adequadas ao tema de pesquisa, sugere-se a leitura de dois artigos entre aqueles obtidos na pesquisa. Esta leitura permitir identificar se as palavras-chave esto adequadas ou se h outros termos que de representem melhor o tema de pesquisa, neste caso, ser necessrio incorpor-los na busca pelos artigos cientficos.

O pesquisador perceber que no h um padro de apresentao da informao entre as diferentes bases de dados, nem mesmo observado um padro para o procedimento de pesquisa. Diante desta situao, os softwares de gerenciamento bibliogrfico se mostram como ferramentas de grande auxlio no processo de manipulao da informao coletada em diferentes bases de dados.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel

Figura 1: Resumo do processo de seleo do portflio bibliogrfico da metodologia de construo do conhecimento ProKnow-C. Fonte: Ensslin, L. et al. (2010c, 2010d).
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin Aps a verificao da adequabilidade das palavras-chave ao tema de pesquisa e realizada a busca de artigos nas bases de dados selecionadas, tm-se ento o banco de artigos bruto, que possibilitar que seja feito o processo de filtragem para se chegar a um portflio bibliogrfico relevante e mais reduzido. A primeira etapa na fase de filtragem do banco de artigos bruto se refere excluso dos artigos repetidos. Como a pesquisa por artigos, realizada em diversas bases, comum que o conjunto de artigos reunido pelo pesquisador contenha artigos repetidos. A segunda etapa da filtragem consiste na leitura dos ttulos dos artigos, a partir da qual deve ser descartada parte dos artigos que atualmente esto no banco de artigos formado. Esta etapa se justifica pelo fato de que frequentemente a busca das palavras-chave realizada no somente nos ttulos e palavras-chave dos artigos, mas tambm nos resumos, possibilitando que sejam incorporados ao banco de artigos do pesquisador trabalhos que, apesar apresentarem presena das palavras-chave procuradas, no tratem especificamente do tema de pesquisa. A terceira etapa da filtragem consiste na verificao da relevncia cientfica dos artigos selecionados como critrio manuteno destes no banco de artigos do pesquisador. Tal avaliao no representa uma tarefa simples, envolvendo diversos passos e uma anlise crtica do pesquisador sobre os artigos reunidos at o momento. O primeiro passo na busca pela relevncia cientfica se constitui na busca da quantidade de citaes que cada artigo possui. Esta busca pode ser realizada atravs da ferramenta de busca Google Acadmico, a qual apresenta o nmero de citaes de cada artigo facilmente na busca simples pelo ttulo do artigo5. De posse desta informao, cabe ao pesquisador estabelecer um ponto de corte a partir do qual os artigos sero classificados como: artigos com reconhecimento cientfico confirmado ou artigos com reconhecimento cientfico ainda no confirmado. A metodologia recomenda que o pesquisador calcule a representatividade de cada artigo perante o banco de artigos completo em termos do nmero de citaes, e sugere-se que o ponto de corte adotado seja em torno de 85%. No entanto, vale ressaltar que cada tema de pesquisa tem suas caractersticas, podendo oscilar tanto na quantidade de artigos disponveis quanto na quantidade de citaes destes artigos, sendo necessrio, assim, avaliar cada situao individualmente. Do grupo de artigos classificado como de reconhecimento cientfico confirmado passa-se para a etapa de leitura do resumo, que possibilitar que verifique se o artigo est realmente alinhado ao tema de pesquisa e se definir se o artigo permanece no banco de artigos do pesquisador, ou se ser descartado. Estabelecido o grupo de artigos que permanece nesta fase, realizada uma lista dos autores destes artigos, chamada banco de autores. Para o grupo de artigos em que a relevncia cientfica ainda no pde ser confirmada, o primeiro fator a ser considerado neste momento o ano em que o artigo foi escrito. Se o artigo foi publicado em, no mximo, dois anos, ento se passa para a leitura do resumo. J se o artigo mais antigo, ento, primeiramente, avalia-se se algum dos autores faz parte do banco de autores formado entre os artigos com relevncia cientfica j confirmada; em caso afirmativo, passa-se para a leitura do resumo; em caso negativo, o artigo descartado. A partir da leitura do resumo, define-se se o artigo est alinhado com o tema de pesquisa e, por consequncia, sua permanncia ou descarte. A ltima etapa da formao do referencial bibliogrfico consiste na unio dos artigos, cuja relevncia cientfica foi verificada, com os artigos atuais e ainda com aqueles cujos autores fazem parte do banco de autores formado, e a consequente pesquisa pela disponibilidade dos artigos integrais para consulta (at este momento trabalhou-se apenas com os resumos). Se o artigo no estiver disponvel integralmente, descartado da relao do pesquisador. Para aqueles artigos que
5

A tarefa de buscar a quantidade de citaes de cada artigo no Google Acadmico pode ser bastante trabalhosa, dependendo da quantidade de artigos que se tenha neste ponto do processo. Se o pesquisador tiver maior conhecimento sobre programao, conveniente considerar a elaborao de uma programao que realize a busca automaticamente.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel esto disponveis integralmente, procede-se a leitura integral e define-se, por fim, o alinhamento com o tema de pesquisa. Aqueles artigos considerados alinhados permanecem na relao do pesquisador e passam a compor o portflio bibliogrfico do pesquisador no tema de pesquisa. 4. ANLISE E DISCUSSO DOS RESULTADOS A aplicao em nosso contexto de pesquisa segue todos os passos descritos na seo anterior e representados na Figura 1. Nos prximos pargrafos, sero descritos, em detalhes, os procedimentos seguidos e as decises tomadas na aplicao da metodologia para atingir aos objetivos do trabalho. 4.1 Seleo das palavras-chave O objetivo de nosso trabalho fazer uma reviso de literatura sobre avaliao de desempenho no contexto da sustentabilidade. Entendemos que se tratam de dois eixos de pesquisa, assim definimos palavras-chave para ambos os eixos. Para o eixo relativo avaliao de desempenho, em um primeiro momento, quatro palavras-chave foram escolhidas: performance measurement, performance evaluation, performance assessment e performance appraisal. Para a definio destas palavras-chave utilizou-se como referncia a literatura da rea (Lacerda, Ensslin, L., & Ensslin, S. R., 2011b). A seleo das palavras-chave relativas ao eixo de sustentabilidade passou por um processo mais detalhado. Em um primeiro momento, optou-se por palavras mais especficas, tais como sustainable development e sustainability process entre outras, que geram uma quantidade muito reduzida de artigos em uma primeira busca realizada em uma srie de bases de artigos, totalizando menos de 1.000 artigos encontrados. As buscas por artigos foram realizadas fazendo combinaes entre as palavras-chave do primeiro e do segundo eixos de pesquisa. Como esta quantidade foi considerada bastante reduzida, optou-se por uma segunda tentativa em que se buscou utilizar trs palavras mais abrangentes: sustainability, sustainable e sustain, a partir das quais foi possvel obter resultados prximos a 2.000 artigos. Ainda assim, a quantidade de artigos encontrada foi considerada bastante reduzida, fato que nos levou a reavaliar as palavras-chave do eixo de avaliao de desempenho. Aps a leitura de alguns artigos da rea, observou-se que, se tratando de sustentabilidade, o desempenho , muitas vezes, medido por meio de indicadores. Assim, foi adicionada a palavra-chave indicator na busca, totalizando cinco palavras-chave no eixo de avaliao de desempenho, trs palavras-chave no eixo de sustentabilidade e 15 combinaes de palavras-chave entre ambos os eixos. Por fim, foram encontrados 9.123 artigos na combinao destas palavras-chave nas bases selecionadas para a pesquisa. 4.2 Seleo das bases de dados de pesquisa As bases de dados a serem utilizadas para a pesquisa dos artigos foram definidas, em uma primeira fase, pela adequao do contedo da base ao tema de pesquisa e, em uma segunda fase, pela quantidade de artigos disponveis no tema de pesquisa. Assim, optou-se por considerar para a composio do portflio bibliogrfico as bases de dados Scopus, ISI Web of Knowledge, Sciende Direct e Ebsco. Para cada uma destas quatro bases de dados foram realizadas 15 pesquisas, resultantes das combinaes entre as palavras-chave de ambos os eixos de pesquisa. A pesquisa foi realizada buscando somente artigos publicados em peridicos nos ltimos 10 anos (desde 2001)6 que

A delimitao de tempo para a pesquisa foi definida pelos autores com o objetivo de buscar a literatura recente na rea. Uma breve pesquisa por artigos publicados em peridicos em anos anteriores mostrou que a quantidade de publicaes sobre o tema era bastante restrita.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin contivessem as combinaes de palavras-chave pesquisadas no ttulo, nas palavras-chave ou no resumo do artigo. Tabela 1: Quantidade de artigos cientficos encontrados nas bases de dados de pesquisa. Base de Dados Artigos SCOPUS 4.117 ISI Web of Knowledge 2.402 Science Direct 1.362 EBSCO 1.242 Total 9.123 Fonte: Pesquisa realizada nas bases de dados descritas em 19/03/2011. 4.3 Processo de filtragem O primeiro passo do processo de filtragem consiste na identificao dos artigos repetidos, etapa na qual o banco de artigos atual reduziu sua quantidade de 9.123 para 5.119 artigos. No passo seguinte, que se refere leitura dos ttulos dos artigos com o objetivo de verificar a adequabilidade do artigo ao tema de pesquisa, uma grande parte dos artigos descartada, e permanecem no processo 893 artigos, que foram considerados alinhados com o tema de pesquisa. Nesta etapa, foram considerados os artigos que tratam do tema de sustentabilidade de forma abrangente, considerando, pelo menos, as dimenses social, ambiental e econmica. Assim, foram descartados os artigos que consideram somente uma ou duas dessas dimenses. O procedimento de pesquisa da relevncia cientfica dos artigos foi realizado por meio da busca de citaes de cada artigo no Google Acadmico. Com base nestas informaes, foi calculada a representatividade de cada artigo no conjunto de artigos atual. Estabeleceu-se, como ponto de corte de permanncia dos artigos no portflio atual, uma representatividade de, no mnimo, 60%, resultando em uma quantidade de 58 artigos classificados como de relevncia cientfica confirmada, que representam 6,5% do banco de artigos atual. O ponto de corte foi definido abaixo do recomendado pela metodologia (85%) devido restrita quantidade de artigos que seria alocada nesta categoria se esta faixa fosse adotada. Os 58 artigos classificados como de reconhecimento cientfico confirmado tiveram seus resumos lidos, a fim de verificar o alinhamento com o tema de pesquisa. Nesta fase, 32 artigos foram descartados e permaneceram no processo 26 artigos. Com base nesta relao de artigos, foi construdo um banco de autores que ser utilizado no processo de identificao da relevncia cientfica do grupo de artigos que ainda no possui relevncia confirmada. O grupo de artigos com relevncia cientfica ainda no confirmada (835) avaliado, primeiramente, com relao ao tempo de publicao. Artigos com menos de dois anos de publicao so direcionados para a leitura do resumo (292), enquanto os artigos mais antigos (543) somente so direcionados para a leitura do resumo se tiverem entre seus autores um daqueles que compem o banco de autores formado com base na relao de artigos com relevncia cientfica confirmada (31); caso contrrio, so descartados (512). Assim, 323 artigos tiveram seus resumos lidos com o objetivo de verificar o alinhamento com o tema de pesquisa, dos quais 321 foram descartados e dois artigos permaneceram no processo. Unindo os artigos que permanecem no processo em ambos os grupos, obtm-se 28 artigos no portflio bibliogrfico atual. Neste momento, verifica-se a disponibilidade do texto integral deste grupo de artigos, onde se identificou seis artigos cujos textos no estavam disponveis, que foram

___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel descartados7. Os 22 artigos que permanecem no processo passam para a fase de leitura do texto integral, onde outros nove artigos so descartados por no apresentarem alinhamento com o tema de pesquisa. Por fim, chega-se a um portflio bibliogrfico de 13 artigos relativos ao tema de pesquisa, que so apresentados na Tabela 2. Tabela 2: Portflio bibliogrfico Autores Ttulo The development of indicators for sustainable G. Miller tourism: Results of a Delphi survey of tourism researchers Sustainable Value Added - Measuring F. Figge & T. Hahn corporate contributions to sustainability beyond eco-efficiency V. Veleva & M. Indicators of sustainable production: Ellenbecker Framework and methodology C. Labuschagne, A. C. Assessing the sustainability performances of Brent & R. P. G. van Erck industries Assessing viability and sustainability: A H. Bossel systems-based approach for deriving comprehensive indicator sets Evaluating the sustainability of complex socioS. Lpez-Ridaura, O. environmental systems. the MESMIS Masera & M. Astier framework Qualitative multi-criteria approaches to G. A. Mendoza & R. assessing indicators of sustainable forest Prabhu resource management A model for integrated assessment of D. Krajnc & P. Glavi sustainable development E. Ronchi, A. Federico & F. A system oriented integrated indicator for Musmeci sustainable development in Italy Measuring sustainable development using a A. Boggia and C. Cortina multi-criteria model: A case study H. R. Sahely, C. A. Developing sustainability criteria for urban Kennedy and B. J. Adams infrastructure systems Measurement and evaluation of sustainable J. Kondyli development. A composite indicator for the islands of the North Aegean region, Greece Environmental, social and economic N. Moussiopoulos, C. information management for the evaluation of Achillas, C. Vlachokostas, sustainability in urban areas: A system of D. Spyridi and K. Nikolaou indicators for Thessaloniki, Greece Fonte: Resultado da metodologia aplicada neste trabalho.

Ano 2001

Citaes 158

2004 2001 2005 2001

132 88 85 76

2002

71

2003 2005 2002 2010 2005 2010

66 60 58 43 40 3

2010

Nesta fase, foram descartados tanto artigos que no tinham seu texto completo disponvel, quanto artigos que, apesar de estarem disponveis, no estavam disponibilizados gratuitamente no Portal de Peridicos da Capes.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin 4.4. Anlise bibliomtrica do portflio bibliogrfico obtido Como parte subsequente da construo do portflio bibliogrfico para o tema de pesquisa, est a anlise bibliomtrica dos artigos encontrados. Tal anlise, tem por objetivo evidenciar informaes sobre o portflio bibliogrfico obtido por meio da anlise e quantificao de suas caractersticas (Ensslin, L. et al., 2010a). Primeiramente, avaliam-se os peridicos nos quais os artigos esto publicados. Evidencia-se que no h peridicos que concentrem grande parte do portflio bibliogrfico, pelo contrrio, os artigos encontram-se diludos em 11 peridicos diferentes, com destaque para o Ecological Indicators e o Jornal of Cleaner Production, que concentram 2 peridicos cada.
Ecological Indicators Journal of Cleaner Production Canadian Journal of Civil Engineering Conservation Ecology Ecological Economics Forest Ecology and Management Cities Environmental Impact Assessment Review Journal of Environmental Management Resources, Conservation and Recycling Tourism Management
0 1

2 2 1 1 1 1 1 1 1 1 1
2

Nmero de artigos no portflio bibliogrfico

Figura 2: Relevncia dos peridicos do portflio bibliogrfico Fonte: Resultados da pesquisa. Ao avaliar as 145 referncias de artigos publicados em peridicos que estavam contidas nas referencias bibliogrficas do portflio de pesquisa, observa-se tambm grande variabilidade, uma vez que esto distribudos em 85 peridicos diferentes. Entre estes peridicos, destaca-se o Ecological Economics, que concentra a maior quantidade de artigos das referncias: 15 artigos. Os peridicos que atingiram destaque no portflio de pesquisa tambm encontram salincia nas referncias, mesmo que de forma secundria, entre eles o Ecological Indicators, que aparece na segunda posio com cinco artigos, e o Jornal of Cleaner Production, que surge na quarta posio com quatro artigos. Evidencia-se que no h autores de destaque no portflio de pesquisa, pois todos os autores aparecem uma nica vez (veja Tabela 2). Por outro lado, a anlise dos autores presentes nas referncias dos artigos do portflio bibliogrfico aponta para uma maior concentrao de publicaes de oito autores: D. Butler, D. Loucks, H. Daly, P.Pearson, S.-L. Huang, T. Foxon, R. Prabdu e V. Veleva, sendo estes dois ltimos autores de artigos que constam tambm no portflio de pesquisa. Na busca e anlise da relevncia cientfica dos artigos do portflio bibliogrfico, observamse alguns destaques: os artigos de G. Miller e F. Figge et al. apresentam uma quantidade de citaes acima da faixa padro, observada para o total de artigos do portflio (40 a 90 citaes, onde se encontram a maior parte dos artigos). Contrastivamente, encontram-se tambm dois destaques no outro extremo do grfico, so os artigos de J. Kondyli e de N. Moussiopoulos et al., que apresentam citaes abaixo do padro do portflio. Estes artigos se tornaram parte do portflio, em decorrncia do ano de publicao (ambos so de 2010) em conjunto com o alinhamento verificado com tema de pesquisa.

___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel

Nmero de citaes dos artigos no portflio bibliogrfico (Google Acadmico)

160
120

158
132

88
80

85

76

71

66

60

58 43

40 3 1

40
0

Artigos no Portflio Bibliogrfico

Figura 3: Relevncia dos artigos do portflio bibliogrfico. Fonte: Resultados da pesquisa Os artigos presentes nas referncias dos artigos do portflio bibliogrfico apresentam maior variabilidade na quantidade de citaes, obtendo-se artigos com citaes que vo de zero a 6.735. Dos 145 artigos publicados em peridicos que fazem parte das referncias, 35 apresentam mais de 100 citaes e quatro artigos, mais de 1.000 citaes. Verificou-se que os artigos que possuem mais de 1.000 citaes so aqueles no diretamente relacionados ao tema de pesquisa, mas sim, artigos que tratam de conceitos mais clssicos e abrangentes, que so utilizados como suporte ao tema estudado. Analisando conjuntamente a relevncia cientfica dos artigos, medida pela quantidade de citaes de cada artigo, e a incidncia de artigos do mesmo autor presentes nas referncias no portflio bibliogrfico, obtm-se a matriz de artigos de maior destaque do portflio bibliogrfico (Figura 4). Verifica-se a existncia de trs artigos de destaque: de G. Miller e F. Figge et al., que se destacam pela quantidade de citaes acima da faixa padro, em que se concentra a maior parte dos artigos do portflio bibliogrfico, e o artigo de V. Veleva et al., onde o fator de destaque o autor, que possui a maior quantidade de artigos nas referncias do portflio bibliogrfico. No foram evidenciados artigos que se destacassem em ambos os critrios.
180

N de citaes dos artigos do Portflio Bibliogrfico no Google Acadmico

1
150

Artigos de destaque na literatura

2
120

Artigos de destaque realizados por autores de destaque

1 G. Miller 2 F. Figge 3 V. Veleva 4 C. Labuschagne

5 H. Bossel

90

Artigos relevantes para o tema de pesquisa

4

6 S. Lpez-Ridaura

7 G. Mendoza
8 D. Krajnc

6
60 9

5 7

9 E. Ronchi

10
30

11

12
0

13
1 2

Artigos realizados por autores de destaque nas referncias

3

10 A. Boggia

11 H. Sahely 12 J. Kondyli 13 N. Moussiopoulos

N de citaes do autor mais citado do artigo nas referncias do Portflio Bibliogrfico

Figura 4: Artigos de maior destaque no portflio bibliogrfico8 Fonte: Resultados da pesquisa.

8

O ponto de corte para os dois eixos da matriz foi arbitrado pelos autores. A metodologia proposta por Ensslin, L. et al. (2010a) sugere que o ponto de corte seja estabelecido, de forma a alocar cerca de 20% dos artigos na faixa de destaque, em cada um dos eixos.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin

A anlise das palavras-chave do portflio bibliogrfico indica a ocorrncia de 53 palavraschave diferentes, sendo grande parte delas combinaes de palavras que contm as palavras-chave definidas originalmente para a pesquisa. Uma palavra-chave se destaca entre as demais, estando presente em seis artigos: sustainable development; outras sete palavras-chave se destacam por estarem presentes em dois artigos cada (veja Figura 5).
Sustainable development Evaluation Indicators Multicriteria analysis Sustainability Sustainability assessment Sustainability indicators Systems approach
0 1 2

6 2 2 2 2 2 2 2
3 4 5 6

Nmero de vezes que a palavra-chave aparece entre as palavras-chave dos artigos do portflio bibliogrfico

Figura 5: Palavras-chave dos artigos do portflio bibliogrfico. Fonte: Resultados da pesquisa 5 CONSIDERAES FINAIS A produo cientfica tem apresentado grande crescimento na ltima dcada e aponta sinais de continuar se elevando nos prximos anos. O pesquisador, ao mesmo tempo que possui maior riqueza informativa sua disposio, se v impossibilitado de aproveitar toda a informao disponvel, sendo necessrio optar, seletivamente, pelo contedo a ser considerado em sua pesquisa. A dificuldade de estabelecer critrios de seleo e de seguir um processo rigoroso na busca por informao relevante salientam a importncia de se fazer uso de uma metodologia objetiva na seleo de referencial bibliogrfico para uma pesquisa cientfica. Este trabalho teve por objetivo apresentar uma metodologia estruturada para a construo de referencial terico sobre o tema de pesquisa. Para suportar este objetivo, os seguintes objetivos especficos foram estabelecidos: 1) selecionar as palavras-chave adequadas para a pesquisa; 2) selecionar as bases de dados relativas ao tema de pesquisa; 3) proceder a busca de artigos alinhados com o tema de pesquisa; 4) identificar os artigos relevantes da amostra selecionada; e 5) analisar os resultados obtidos com relao a relevncia cientfica, salincia de autores e peridicos de destaque. O processo de seleo de portflio bibliogrfico ProKnow-C, desenvolvido pelo LabMCDA, se mostra como uma ferramenta efetiva na seleo de informao, conduzindo o pesquisador a seguir uma metodologia clara, objetiva e com rigor cientfico. O processo busca, entre seus objetivos, gerar informao relevante minimizando a seleo de contedos, de forma aleatria ou parcial. No entanto, importante considerar que o pesquisador parte fundamental deste processo, podendo, em algumas etapas da metodologia, influenciar nos resultados obtidos por meio de seus julgamentos. Tal caracterstica, todavia, no torna menos vlida a aplicao da metodologia, uma vez que esta segue etapas determinadas e as decises tomadas so justificadas pelo pesquisador. O processo subsequente de anlise bibliomtrica se mostra como uma ferramenta de grande validade no entendimento e anlise do contexto informacional da rea de pesquisa, possibilitando visualizar, de forma clara, as caractersticas de produo cientfica acerca do tema.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel A metodologia aplicada permitiu identificar que a produo cientfica na rea de avaliao de desempenho em desenvolvimento sustentvel se constitui em um campo que tem apresentado franco crescimento na ltima dcada, sendo bastante restrita a quantidade de publicaes nos anos anteriores ao perodo de pesquisa, ou seja, antes de 2001. Em consonncia com a constatao de se tratar de uma rea ainda bastante incipiente em termos de publicaes cientficas, evidenciou-se que os artigos do portflio bibliogrfico obtido no apresentam uma quantidade to elevada de citaes se comparados a outras reas mais tradicionais da cincia. Em sua grande maioria, esto na faixa de 40 a 90 citaes. Dois artigos se destacam com relao relevncia cientfica, so os de Miller (2001) e de Figge e Hahn (2004). No foi possvel identificar autores de destaque no portflio bibliogrfico, indicando uma grande disseminao dos artigos entre autores diferentes. Por outro lado, dois peridicos se destacam com maior presena no portflio bibliogrfico: Ecological Indicators e Jornal of Cleaner Production. importante considerar que os resultados obtidos esto limitados amostra de peridicos pesquisados e s palavras-chave utilizadas pelos autores e no podem ser extrapolados para todo o conjunto de publicaes da rea. Para futuras pesquisas sobre o tema, recomenda-se aplicar a prxima fase da metodologia ProKnow-C, desenvolvida pelo LabMCDA, que remete anlise sistmica do contedo deste portflio bibliogrfico.

REFERNCIAS Boggia, A., & Cortina, C. (2010). Measuring sustainable development using a multi-criteria model: A case study. Journal of Environmental Management, 91(11), 2301-2306. Bortoluzzi, S. C., & Ensslin, L. (2010). Congruncias e divergncias na avaliao de desempenho organizacional: anlise crtica de pesquisas publicadas em peridicos nacionais e internacionais no perodo de 2000 a 2008. Simpsio de Administrao da Produo, Logstica e Operaes Internacionais, 14, So Paulo, SP, Brasil. Bossel, H. (2001). Assessing viability and sustainability: a systems-based approach for deriving comprehensive indicator sets. Conservation Ecology, 5(2): 12. Cebds. (2009). Guia de comunicao e sustentabilidade. realizao cmara temtica de comunicao e educao do CEBDS. Recuperado em 16 maio, 2011, de http://www.cebds.org.br/cebds/MANUAL_DE_SUSTENTABILIDADE.pdf Capes (2011a). Estatsticas de uso. Recuperado em 16 maio, 2011, http://www.periodicos.capes.gov.br/index.php?option=com_pestatistics&mn=69&smn=77. Capes (2011b). Quem pode usar o portal? Recuperado http://periodicos.capes.gov.br/portugues/paginaInicial/faq.htm em 16 maio, 2011, de de

Delai, I., & Takahashi, S. (2008). Uma proposta de modelo de referncia para mensurao da sustentabilidade corporativa. RGSA Revista de Gesto Social e Ambiental, 2(1), 19-40. Echer, I. C. (2001). A reviso de literatura na construo do trabalho cientfico. Revista gacha de enfermagem, 22(2), 5-20. Elkington, J. (1999). Cannibals with forks: the triple bottom line of 21st century business. Capstone Publishing Limited. London: John Wiley & Sons.
___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Michele Hartmann Feyh Afonso; Juliane Vieira de Souza; Sandra Rolim Ensslin; Leonardo Ensslin Ensslin, L., Ensslin, S. R., Lacerda, R. T. O., & Tasca, J. E. (2010a). Processo de anlise bibliomtrica. Processo tcnico com patente de registro pendente junto ao INPI. Brasil. ______, ______, ______, ______. (2010b). Processo de anlise sistmica. Processo tcnico com patente de registro pendente junto ao INPI. Brasil. ______, ______, ______, ______.. (2010c). Processo de Seleo de Portflio Bibliogrfico. Processo tcnico com patente de registro pendente junto ao INPI. Brasil. ______, ______, ______, ______.. (2010d). ProKnow-C, Knowledge Development ProcessConstructivist. Processo tcnico com patente de registro pendente junto ao INPI. Brasil. Figge, F., & Hahn, T. (2004). Sustainable value added: measuring corporate contributions to sustainability beyond eco-efficiency. Ecological Economics, 48(2), 173-187. Kondyli, J. (2010). Measurement and evaluation of sustainable development: A composite indicator for the islands of the North Aegean region, Greece. Environmental Impact Assessment Review, 30, 347-356. Krajnc, D., & Glavi, P. (2005). A model for integrated assessment of sustainable development. Resources Conservation and Recycling, 43(2), 189-208. Labuschagne, C., Brent, A. C., & Erck, R. P. G. van. (2005). Assessing the sustainability performances of industries. Journal of Cleaner Production, 13(4), 373-385. Lacerda, R. T. O., Ensslin, L., & Ensslin, S. R. (2011a). Reviso sistmica da literatura sobre estratgia e avaliao de desempenho. Florianpolis/SC, artigo tcnico do LabMCDA, Departamento de Engenharia de Produo e Sistemas, UFSC. ______, ______, ______, ______. (2011b). Uma anlise bibliomtrica da literatura sobre estratgia e avaliao de desempenho. Florianpolis/SC, artigo tcnico do LabMCDA, Departamento de Engenharia de Produo e Sistemas, UFSC. Lima, T. C. S., & Mioto, R. C. T. (2007). Procedimentos metodolgicos na construo do conhecimento cientfico: a pesquisa bibliogrfica. Katlysis, 10 (esp.), 37-45. Recuperado em 26 maio, 2011, de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S141449802007000300004&lng=en&nrm=iso. Lpez-Ridaura, S., Masera, O., & Astier, M. (2002). Evaluating the sustainability of complex socioenvironmental systems. The MESMIS framework. Ecological Indicators, 2, 135-148. Macedo, N. D. de. (1994). Iniciao pesquisa bibliogrfica: guia do estudante para fundamentao do trabalho de pesquisa (2a ed.). So Paulo: Loyola. Mendoza, G. A., & Prabhu, R. (2003). Qualitative multi-criteria approaches to assessing indicators of sustainable forest resource management. Forest Ecology and Management, 174(13), 329-343. Miller, G. (2001). The development of indicators for sustainable tourism: results of a Delphi survey of tourism researchers. Tourism Management, 22(4), 351-362.

___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.

Como construir conhecimento sobre o tema de pesquisa? Aplicao do processo ProKnow-C na busca de literatura sobre avaliao do desenvolvimento sustentvel Moussiopoulos, N., Achillas, C., Vlachokostas, C., Spyridi, D., & Nikolaou, K. (2010). Environmental, social and economic information management for the evaluation of sustainability in urban areas: A system of indicators for Thessaloniki, Greece. Cities, 27(5), 377-384. Penteado, R. (2005). Anlise e minerao de textos e dados. Em Duarte, J., & Barros, A. T. de. (Orgs.). Pesquisa em comunicao: mtodos e tcnicas. So Paulo: Atlas. Ronchi, E., Federico, A., & Musmeci, F. (2002). A system oriented integrated indicator for sustainable development in Italy. Ecological Indicators, 2, 197-210. Rosa, F. S., Ensslin, S. R., & Ensslin, L. (2009). Evidenciao ambiental: processo estruturado de reviso de literatura sobre avaliao de desempenho da evidenciao ambiental. Sociedade, Contabilidade e Gesto, 4, 4-8. Sahely, H. R., Kennedy, C. A., & Adams, B. J. (2005). Developing sustainability criteria for urban infrastructure systems. Canadian Journal of Civil Engineering, 32, 72-85. Tasca, J. E., Ensslin, L., Ensslin, S. R., & Alves, M. B. M. (2010). An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training, 34(7); 631-655. Trentini, M., & Paim, L. (1999). Pesquisa em enfermagem: uma modalidade convergenteassistencial. Florianpolis: Editora da UFSC. Valmorbida, S. M. I., Ensslin, L., & Ensslin, S. R. (2011). Gesto pblica com foco em resultados: evidenciao do estado da arte para as delimitaes postas pelo pesquisador. Florianpolis/SC, artigo tcnico do LabMCDA, Departamento de Engenharia de Produo e Sistemas, UFSC. Vasconcelos, A. C. F. de, Andrade, E. O., & Cndido, G. A. (2009). Indicadores de sustentabilidade e suas influncias no desenvolvimento local: uma aplicao em regio produtora de mamona no estado da Bahia. RGSA Revista de Gesto Social e Ambiental, 2(1), 19-40. Veleva, V., & Ellenbecker, M. (2001). Indicators of sustainable production: framework and methodology. Journal of Cleaner Production, 9(31), 519-549. Wced (1987). Our common future. Oxford: Oxford University Press.

________________________ Data do recebimento do artigo: 28/04/2011 Data do aceite de publicao: 18/08/2011

___________________________________________________________________________________

Revista de Gesto Social e Ambiental - RGSA, So Paulo, v. 5, n. 2, p. 47-62, mai./ago. 2011.