XXIII Encontro Nac. de Eng.

de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

A estruturao do processo de auto-avaliao de IES: uma contribuio para a gesto educacional

Andr Lus Policani Freitas (UENF) policani@uenf.br Sidilene Gonalves Rodrigues (UENF) sidilene@uenf.br

Resumo Nos ltimos anos, o sistema brasileiro de educao superior vem vivenciando um processo de expanso acelerada, caracterizado pelo crescente nmero de Instituies de Ensino Superior (IES) e de cursos oferecidos. Neste cenrio, fundamental que o sistema educacional de um Pas seja capaz de formar profissionais determinados e competentes em suas atividades. Uma das formas de se buscar a eficincia de um sistema educacional consiste na avaliao e monitoramento do desempenho das Instituies de Ensino sob diversos critrios. Neste trabalho prope-se o desenvolvimento de um procedimento de auto-avaliao da IES fundamentado nos princpios da Qualidade e do Auxlio Multicritrio Deciso (AMD), associados ao emprego de tcnicas estatsticas, cujo objetivo avaliar e classificar a Qualidade no Ensino Superior, sob a tica do corpo docente e discente. Dentre outros aspectos, acredita-se que o emprego de um procedimento desta natureza venha a contribuir para a gesto educacional destas instituies. Palavras chave: Educao superior, Avaliao, Qualidade. 1. Introduo Os nmeros mais recentes do Censo da Educao Superior no Brasil revelam que o sistema brasileiro de educao superior encontra-se em um processo de expanso acelerada, principalmente a partir da ltima dcada. Esta expanso traduz-se no crescimento do nmero de instituies de ensino superior e de cursos e, consequentemente, na ampliao do nmero de vagas oferecidas e do nmero de professores e funcionrios destas instituies. Sob o ponto de vista scio-econmico e cultural, a poltica educacional desempenha um papel estratgico no desenvolvimento de uma nao. A formao de profissionais que sejam capazes de atuar com determinao e competncia em suas atividades, possuindo uma viso crtica dos cenrios existentes em um mundo real caracterizado por constantes transformaes, exige que um processo de formao educacional seja adequadamente implementado desde os nveis elementares de ensino. Neste contexto, o desenvolvimento e a implementao de um sistema de avaliao das Instituies de Ensino Superior (IES), um dos procedimentos utilizados para o monitoramento das informaes relativas a estas instituies e assegurar que a qualidade do ensino fornecidas por estas instituies atenda aos padres recomendados. Objetivando contribuir para as discusses e pesquisas no mbito do aprimoramento contnuo do sistema de avaliao do ensino superior, este artigo apresenta um procedimento estruturado para a realizao das atividades de auto-avaliao das IES. Em especial, espera-se que um modelo de auto-avaliao desenvolvido a partir deste procedimento seja capaz de incorporar explicitamente os julgamentos dos docentes e alunos da IES, contribuindo para a gesto educacional destas instituies. Neste aspecto, alunos e professores podem ser vistos como insumos essenciais de um processo de transformao (a formao educacional), cujo produto final a formao profissional adquirida pelo aluno ao concluir o curso.
ENEGEP 2003 ABEPRO 1

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

2. A avaliao da Educao Superior no Brasil Uma das formas de verificar a qualidade da Educao Superior atravs da implementao de um sistema de informaes educacionais. No Brasil, o Sistema Integrado de Informaes da Educao Superior (SIEdSup), gerenciado pelo Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), o mecanismo responsvel pela disseminao dos resultados do censo escolar, censo do ensino superior, censo do professor, avaliao da educao bsica, exame nacional de cursos, alm de informaes sobre o gasto e financiamento da educao, perfil dos egressos do ensino mdio e caractersticas socioeconmicas e culturais dos graduandos de nvel superior (CASTRO, 1998). Especificamente no contexto da avaliao educao superior, o sistema de informaes educacionais gerenciado pelo INEP composto pelos seguintes processos de avaliao, cujas propostas podem ser assim sintetizadas: Exame Nacional de Cursos (Provo): uma avaliao realizada desde 1996 pelos formandos dos cursos de graduao da Educao Superior, visando traar um diagnstico dos cursos avaliados, servir de instrumento para a melhoria do ensino oferecido, alm de ter um papel fundamental na prestao de informaes sociedade. As avaliaes so elaboradas pelas comisses de especialistas dos cursos. O INEP divulga apenas a classificao do desempenho obtido pelos cursos por instituio, informando o resultado de cada participante do exame de forma exclusiva e particular. Entretanto, a participao do graduando no Provo uma das exigncias para a obteno do diploma, sendo registrado no histrico escolar a data de sua participao no exame. Censo da Educao Superior: atravs da coleta anual de dados do ensino de graduao no Pas, este censo se prope a fazer uma radiografia do nvel educacional que atende aos estudantes de cursos universitrios oferecidos por universidades, centros universitrios, faculdades integradas, faculdades, escolas, institutos e centros de educao tecnolgica. Os dados so coletados a partir de um questionrio que as IES devem preencher por meio da internet. Avaliao das Condies de Ensino: este processo de avaliao realizado por uma comisso de professores que verifica, in loco, a situao dos cursos de graduao, considerando-se trs grandes dimenses: a qualificao do corpo docente, a organizao didtico-pedaggica e as instalaes fsicas, com nfase na biblioteca. Essa avaliao tem como objetivo reconhecer ou renovar o reconhecimento de um curso, alm de garantir a qualidade do ensino oferecido pelas IES (por determinao da Lei das Diretrizes e Bases da Educao Nacional LDB). Avaliao Institucional: este modelo de avaliao compreende a anlise dos dados e informaes fornecidas pelas Instituies de Ensino Superior atravs de um Formulrio Eletrnico e a verificao, in loco, da realidade institucional, dos seus cursos de graduao e de ps-graduao, da pesquisa e da extenso. Estruturado em nveis hierrquicos (dimenses, categorias de anlise, indicadores e aspectos a serem avaliados, o modelo de Avaliao Institucional desenvolvido pelo MEC implementado a partir do nvel mais especfico (aspecto) at atingir o nvel mais geral (Dimenso). Consideram-se trs grandes dimenses: o corpo docente, a organizao institucional e as instalaes fsicas gerais e especiais, como os laboratrios, com nfase na(s) biblioteca(s). A figura 1 ilutra a estrutura do modelo em questo.

ENEGEP 2003

ABEPRO

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

AVALIAO INSTITUCIONAL

Dimenso 1
Organizao Institucional

Dimenso 2 Corpo Docente

Dimenso 3 Instalaes

Categoria 11 Plano de desenvolv. institucional

Categoria 13 Avaliao Institucional

Categoria 21 Formao acadmica e profissional

Categoria 23 Desempenho acadmico e profissional

Categoria 31 Instalaes gerais

Categoria 33
Laboratrios

e Instalaes especiais

Categoria 12
Proj. pedaggico e articulao das ativ acadmicas

Categoria 22 Condies de trabalho

Categoria 32 Biblioteca

Indicador 131
Auto-avaliao do Centro Universitrio

Indicador 132
Avaliao feita pelo MEC e/ou agentes externos

Figura 1 - Estrutura hierrquica (parcial) do modelo de Avaliao Institucional do MEC

De acordo com este modelo de avaliao Institucional (vide o indicador 131 ilustrado na figura 1), os Centros Universitrios so motivados a desenvolver um mecanismo ou procedimento de auto-avaliao que contemple as atividades de ensino, de pesquisa e de extenso. Segundo o INEP (2002), os aspectos a serem mensurados por este indicador so: a existncia de rgo ou comisso permanente de avaliao, abrangncia do projeto de auto-avaliao, participao da comunidade acadmica nos processos de auto-avaliao, divulgao dos resultados da auto-avaliao, aes acadmico-administrativas em funo da auto-avaliao, articulao entre a interpretao dos resultados das avaliaes realizadas pelo MEC, das avaliaes realizadas por outros agentes externos e os da auto-avaliao da IES. Neste sentido, observa-se que ainda existe uma lacuna no que se refere a estruturao do processo de auto-avaliao dos Centros Universitrios. Em especial, identifica-se a necessidade de elaborao de uma diretriz ou de um procedimento de auto-avaliao institucional (sob a tica do corpo docente e do corpo discente) que possa contribuir para a realizao de um processo de avaliao mais preciso, confivel e que permita, dentre outros benefcios, a interpretao e intercomparao dos desempenhos obtidos pelos diversos cursos de Graduao da IES. Entretanto, estes objetivos somente sero concretizados se as variveis envolvidas no processo de avaliao forem adequadamente determinadas e realmente representativas para a qualidade de ensino fornecido pela IES. Desejando contribuir para o preenchimento desta lacuna, este trabalho prope a estruturao do processo de auto-avaliao das Instituies de Ensino Superior, sob a tica dos seus alunos e professores. Esta estrutura ser apresentada na prxima seo.
ENEGEP 2003 ABEPRO 3

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

3. A estruturao do processo de auto-avaliao institucional No mbito do gerenciamento educacional de uma Instituio de Ensino, a implementao de um procedimento/modelo para a auto-avaliao Institucional posiciona-se como uma importante ferramenta em um programa de melhoria contnua da Qualidade do Ensino. Considerando as dimenses compreendidas nos modelos de avaliao Institucional elaborados pelo MEC (Organizao Institucional, Corpo Docente e Instalaes), prope-se a estruturao do processo de auto-avaliao Institucional que enfoque de forma mais explcita o ponto de vista dos dois elementos principais e essenciais em um processo de formao educacional: o corpo docente e os alunos da IES. A figura 2 ilustra o relacionamento existente entre os elementos que compem a estrutura deste processo:

Avaliao Institucional na tica do Corpo Docente

Corpo Docente

Organizao Institucional

Instalaes

Corpo Discente

Avaliao Institucional na tica do Corpo Discente

Figura 2 Relacionamento entre os elementos do processo de auto-avaliao das IES

Neste contexto, o processo de auto-avaliao da IES sob a tica dos professores e alunos proposto neste trabalho fundamenta-se no cumprimento das etapas descritas a seguir: Etapa 1 (Modelagem do problema): nesta etapa so definidos os elementos e os procedimentos que devero compor o modelo de auto-avaliao da IES, o que caracteriza esta etapa como uma das mais importantes. Nesta etapa necessrio definir: o objeto da avaliao: consiste em definir se toda a IES ser avaliada, ou se apenas alguns de seus Cursos de Graduao sero inicialmente avaliados. Caso todos os cursos forem avaliados, possvel estimar a qualidade do ensino fornecido por toda a IES. os critrios de avaliao: os critrios devem estar relacionados s trs dimenses que influenciam na qualidade do ensino superior. Adicionalmente, deve-se determinar o grau de importncia (peso) de cada um destes critrios. Estas informaes podem ser obtidas a partir da opinio dos professores e alunos da IES e tambm a partir de pesquisas junto a literatura cientfica. importante notar que os critrios que constituiro a avaliao do corpo discente sero definidos pelo corpo docente e vice-versa (vide figura 2); os avaliadores (julgadores): as avaliaes devero ser conduzidas conforme o objetivo da avaliao, ou seja, atravs da coleta dos julgamentos dos alunos e professores dos cursos que sero avaliados. Nesta etapa necessrio definir se todos os alunos e professores sero avaliadores (populao) ou ser realizado algum procedimento de amostragem.
ENEGEP 2003 ABEPRO 4

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

as escalas de avaliao: em todo sistema de avaliao necessrio definir escalas de valores que sero utilizadas para as escalas de avaliao empregadas para avaliar o grau de importncia de cada um dos critrios e o desempenho do Centro Universitrio luz de cada um destes critrios. Segundo Trochim (2000) existem diversas escalas utilizadas para este fim, dentre as quais citam-se: a escala de Likert, de Thurstone e de Guttman. o procedimento de coleta de dados e informaes junto a comunidade acadmica: nesta etapa deve-se analisar e definir aspectos que podem influenciar positiva ou negativamente os resultados da pesquisa, tais como: a forma de abordagem (formulrio impresso ou eletrnico, preenchimento individual do formulrio ou entrevista, etc), o perodo e a periodicidade da coleta, o contedo do formulrio, etc. Apesar do formulrio (questionrio) ser um dos instrumentos de pesquisa mais difundidos, especial ateno deve ser dedicada verificao da validade e confiabilidade do mesmo (HAYES, 1998); o procedimento de agregao dos julgamentos: este procedimento se prope a agrupar os julgamentos da comunidade acadmica (docentes e alunos) em um nico ndice global que reflete o desempenho da instituio ou do curso avaliado, luz de todos os critrios; e procedimento de classificao: este procedimento objetiva associar o ndice global de desempenho da Instituio ou curso a uma das categorias de classificao pr-estabelecidas (atualmente o MEC utiliza a escala alfabtica, cujos conceitos de desempenho dos Cursos de Graduao, em ordem decrescente de relevncia so: A, B, C, D e E). Etapa 2 (Execuo): nesta etapa os procedimentos definidos na etapa anterior devem ser realizados conforme os objetivos pr-estabelecidos. As principais aes so assim resumidas: coleta de dados junto ao corpo docente e ao corpo discente da IES, atravs do emprego de um formulrio de pesquisa; implementao do procedimento de agregao dos julgamentos e do procediento de classificao, obtendo a classificao do desempenho do curso ou da IES em uma das categorias pr-estabelecidas, luz de todos os critrios considerados. Etapa 3 (Anlise): esta etapa consiste na anlise dos dados coletados e dos resultados dos procedimentos de agregao e de classificao. Tcnicas estatsticas devem ser utilizadas para estudar o comportamento da distribuio dos dados referente a cada perodo de amostragem, atravs da clculo das medidas de tendncia central e das medidas de disperso. A anlise e interpretao dos resultados podero fornecer informaes importantes para o gerenciamento da qualidade do ensino fornecido pela IES. Dentre outros aspectos, nesta etapa busca-se: validar (ou no) o instrumento de pesquisa utilizado ou o processo de coleta de dados. Neste caso, deve-se verificar a confiabilidade e a validade do instrumento de pesquisa mesmo atravs da anlise dos dados coletados; identificar as dimenses e critrios em que a IES (ou um determinado Curso) apresenta desempenho insatisfatrios/satisfatrios e as causas mais provveis para estes resultados; identificar os setores/servios/profissionais da IES que apresentam desempenho satisfatrios/insatisfatrios e as causas mais provveis para estes resultados; comparar os julgamentos emitidos pelos professores e alunos, assim como as classificaes do desempenho da IES (ou do Curso de Graduao), obtidas a partir da determinao de um ndice de desempenho da mesma(o) luz de todos os critrios de avaliao. Esta anlise possibilitar a identificao de concordncias e discordncias de opinies; verificar se as aes corretivas implementadas anteriormente foram eficazes. Caso estas no tenham sido eficazes, os problemas ainda persistem e devem ser solucionados.
ENEGEP 2003 ABEPRO 5

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

Etapa 4 (Planejamento): nesta etapa deve-se identificar aes corretivas viveis que, aps implementadas, possam proporcionar melhorias em termos da qualidade do ensino superior. Segundo Freitas (2001), estas aes devem ser avaliadas quanto ao risco, ao custo e recursos necessrios para a melhoria da qualidade desejada, permitindo priorizar as aes que busquem solucionar problemas mais crticos, de forma menos onerosa e em menor tempo possvel. Segundo Campos (1994), o emprego da tcnica 5W 1H assume um papel importante na execuo desta etapa, segundo a qual deve-se especificar: quais aes sero implemementadas (What); onde as aes sero implementadas (Where); quando as aes sero implementadas (When); por que estas aes sero implementadas (priorizao) (Why); quem implementar as aes (Who), e; como as aes sero implementadas (How). Etapa 5 (Implementao): esta etapa consiste na implementao das aes corretivas conforme estabelecidas na etapa anterior. A implementao sistemtica e contnua das etapas do processo de auto-avaliao anteriormente descritas (conforme ilustrado na figura 3) poder tornar possvel a identificao de aspectos considerados insatisfatrios ou indesejados (segundo o ponto de vista dos docentes e dos alunos da IES) que devero ser corrigidos ou eliminados, aperfeioando o desempenho da IES e, consequentemente, contribuir para o desenvolvimento do Pas.

5. Implementao 1. Modelagem

4. Planejamento 3. Anlise

2. Execuo

Figura 3 Etapas do processo de auto-avaliao das IES

Adicionalmente, importante ressaltar a natureza multisciplinar das etapas que estruturam o processo de auto-avaliao proposto. Dentre as reas do conhecimento incorporadas neste processo, citam-se: Qualidade, Auxlio Multicritrio Deciso (AMD) e Estatstica. A tabela 1 destaca algumas contribuies adicionais no contexto das referidas reas, que no constam nas etapas descritas anteriormente.
ENEGEP 2003 ABEPRO 6

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

rea:

Contribuies

- utilizao da tcnica do brainstorming entre alunos, professores e funcionrios da administrao da IES, com o objetivo de definir os critrios mais relevantes para a qualidade do ensino superior. - considerao do conceito de Momentos da Verdade, que representa o instante em que o cliente entra em contato com qualquer aspecto da organizao e, de acordo com esse contato, ele pode formar sua opinio a respeito da qualidade do servio (ALBRECHT E BRADFORD, 1990). Neste sentido, a atividade de Qualidade ensino considerada como um Servio que fornecido pela IES, onde docentes e discentes so considerados clientes; - emprego do diagrama de Ishikawa (diagrama de causa-e-efeito) para determinar as causas das no-conformidades (ou insatisfao) com os servios fornecidos pela IES (Summer, 2000); - emprego da tcnica do brainstorming para definir as aes corretivas para serem implementadas, dentre outras. - utilizao da anlise de Pareto para priorizar a tomada das aes corretivas que atuam nas causas dos problemas. - definio dos critrios de avaliao: segundo Keeney e Raiffa (1989), o conjunto de critrios deve ser: mnimo (a complexidade de soluo do problema deve ser mnima), no redundante (inexistncia de duplicidade de consequncias), completo (os a anlise deve ser a mais prxima possvel do problema real), decomponvel (o problema pode ser decomposto em subproblemas) e operacional (os critrios devem ser de fcil entendimento); - definio das escalas de avaliao: as escalas devem ser capazes de captar do avaliador sua opinio real a respeito do objeto avaliado luz dos critrios ; - definio do procedimento de agregao dos julgamentos: em um problema AMD decisrio envolvendo mltiplos avaliadores e mltiplos critrios, necessrio estabelecer um ndice de desempenho global que incorpore todos os julgamentos luz de todos os critrios. As metodologias fundamentadas no AMD buscam tratar das imprecises e incertezas inerentes aos processos de avaliao desta natureza (FREITAS, 2001); - definio do procedimento de classificao: o problema de classificao multicritrio um problema decisrio, onde um ndice de desempenho global deve ser atribudo a uma das categorias de classificao pr-estabelecidas. - coleta, agrupamento e apresentao dos dados coletados (tabelas e gficos); Estatstica - estudo do comportamento da distribuio dos julgamentos relativos a cada perodo de amostragem; e - Verificao da validade e confiabilidade do formulrio e da amostra.
Tabela 1 reas do conhecimento e suas contribuies

4. Restries ao processo proposto Sob o ponto de vista do gerenciamento do ensino superior, um procedimento de autoavaliao institucional deve estar direcionado para a qualidade e para a eficincia do ensino. Entretanto, para que um procedimento desta natureza seja realmente eficaz em seus objetivos, fundamental que:
ENEGEP 2003 ABEPRO 7

XXIII Encontro Nac. de Eng. de Produo - Ouro Preto, MG, Brasil, 21 a 24 de out de 2003

a direo da Instituio de Ensino, o corpo docente e os alunos reconheam a importncia deste procedimento, apiem o seu desenvolvimento e a sua implementao, buscando avaliar conscientemente os resultados obtidos. Caso contrrio, os formulrios podero ser respondidos de forma displiscente (informaes incompletas ou incoerentes), os julgamentos podero ser tendenciosos (por exemplo, docentes que no acreditam no comprometimento da IES podero a emitir julgamentos excessivamete positivos), resultados negativos podero ser utilizados com o intuito de penalizar professores, etc; exista uma equipe designada para coordenar e implementar o procedimento. Em especial, recomendvel que esta equipe seja composta por pessoas pertencentes a uma Coordenao de Ensino (ou Gerncia de Ensino) e no sejam professores ou coordenadores de curso, no estando assim submetidas ao processo de avaliao; e a identificao dos avaliadores seja optativa. Este fato permite que o avaliador opine sem a influncia de fatores externos. Em geral, avaliaes deste tipo so mais realistas e sinceras. De forma mais explcita, a implantao de um modelo de auto-avaliao institucional requer um repensar da importncia da qualidade do ensino para o crescimento da instituio, para o fortalecimento do conhecimento de seus alunos (e tambm de seus professores e funcionrios) e, consequentemente, para o desenvolvimento do Pas. 6. Concluses Atualmente no mais se discute a importncia e a infuncia da educao no desenvolvimento de um Pas. Ao passo em que estimula-se a disseminao do conhecimento sociedade, principalmente verificada atravs da expanso do nmero de Centros Universitrios e do aperfeioamento do corpo docente (cursos de mestrado e doutorado), imprescindvel assegurar a qualidade do ensino fornecido por estes Centros. Buscando contribuir para a continuidade e aprimoramento das pesquisas focadas nos sistemas de avaliao do ensino, este trabalho props a estruturao do processo de auto-avaliao das IES, considerando a opinio do corpo docente e discente. Acredita-se que a execuo de um procedimento de auto-avaliao, originado do processo proposto, permita identificar previamente deficincias que somente seriam detectadas nas avaliaes realizadas pelo MEC. Referncias
ALBRECHT, K., BRADFORD, L.J. (1990) The Service Advantage, Richard Dow Jones Irwin, Inc. CAMPOS , V.F. (1994) TQC - Controle da Qualidade Total, 5.a edio, Belo Horizonte: Editora QFCO, 229p. CASTRO, M. H. G. (1998) - Avaliao do sistema educacional brasileiro: tendncias e perspectivas. Braslia: Instituto Nacional de Estudos e Pesquisas Educacionais. 61p. FREITAS, A. L. P. (2001) - Uma metodologia multicritrio de subordinao para classificao da qualidade de servios sob a tica do cliente. Campos dos Goytacazes; 2001. 155p. Tese (Doutorado). CCT/UENF. HAYES, B.E. (1992) - Measuring Customer Satisfaction Development and Use of Questionnaires, ASQC. INEP (2002) Manual de Avaliao Institucional Centros Universitrios. Verso preliminar. KEENEY, R. L., RAIFFA, H. (1989) - Decisions With Multiple Objectives: Preferences and Value Tradeoffs, John Wiley And Sons. SUMMERS, D.C.S. (2000) Quality, Prentice Hall, second edition, ISBN 0-13-099924-5. TROCHIM, W. M (2000). The Research Methods Knowledge Base, 2nd Edition. Internet WWW page, at URL: <http://trochim.human.cornell.edu/kb/index.htm> (version current as of August, 2000).

ENEGEP 2003

ABEPRO