Gesto Estratgica Orientada para Resultados

Orientaes para a Execuo de Mensuraes em Projetos

Servio Brasileiro de Apoio s Micro e Pequenas Empresas Sebrae

Conselho Deliberativo Nacional Adelmir Santana

Presidente

Diretoria Executiva Paulo Tarciso Okamotto

Diretor-Presidente

Luiz Carlos Barboza

Diretor Tcnico

Carlos Alberto dos Santos

Diretor de Administrao e Finanas

Unidade de Gesto Estratgica Pio Cortizo Vidal Filho

Gerente

Elaborao Emanuel Malta Falco Calote Equipe Tcnica Francisco Jos da N. Cesarino
(Coordenador da Rede de Apoio)

Emanuel Malta Falco Calote Mrio Lcio De vila Murilo de Aquino Terra Renata Malheiros Henriques

Servio Brasileiro de Apoio s Micro e Pequenas Empresas

SEPN Quadra 515 Bloco C Loja 32 70770-900 Braslia DF + 55 (61) 3348 7100 Central de Relacionamento Sebrae 0800 570 0800 www.sebrae.com.br Janeiro/2009 Verso 1

1. Introduo

Este manual destina-se a apresentar os principais aspectos relacionados com a execuo das mensuraes de resultados nos projetos gerenciados por meio da Gesto Estratgica Orientada para Resultados - Geor.

O seu objetivo identificar todas as etapas, fases e responsveis ao longo do processo de apurao dos dados que permitiro o clculo dos indicadores de resultados pactuados nos projetos gerenciados por meio da metodologia da Geor.

Antes de iniciar, necessrio que se faa uma distino importante entre mensurao de resultados e avaliao de projetos. Mensurar resultados relaciona-se com as fases de planejar, coletar, analisar e divulgar um conjunto de indicadores previamente pactuados junto ao pblico-alvo e parceiros, para fins de

acompanhamento sistemtico e aperfeioamento dos projetos.

Avaliar projeto consiste da compreenso, anlise e utilizao peridica e sistemtica das informaes disponibilizadas na etapa de mensurao de resultados, tais como: as informaes do monitoramento; a anlise da evoluo das premissas e das aes; o envolvimento das partes interessadas e o contexto externo ao projeto, entre outras variveis.

A responsabilidade direta pela execuo e divulgao dos resultados obtidos nas mensuraes das equipes estaduais de pesquisa, enquanto que a responsabilidade direta pela avaliaes dos projetos dos seus respectivos gestores.

Portanto, mensurar resultados ou conhecer a evoluo dos indicadores necessrios para o acompanhamento da execuo dos projetos etapa que antecede a realizao das avaliaes e que nela est contida. erro comum e freqente achar que as duas so processos semelhantes.

2. Tipos de mensuraes e periodicidade de execuo

Existem basicamente trs momentos para a realizao das mensuraes de resultados:

a)

Mensuraes iniciais, denominadas T0, realizadas e publicadas no Sigeor imediatamente aps a pactuao das metas dos resultados a serem alcanados. A mensurao inicial dever ser publicada no Sigeor at 30 dias contados a partir da data da pactuao do projeto;

b)

Mensuraes intermedirias, denominadas T1, T2, T3,...Tn, realizadas durante a execuo do projeto, com a finalidade acompanhar a evoluo dos indicadores dos resultados, alm de possveis desvios;

c)

Mensuraes finais, denominadas Tf, realizadas ao trmino do projeto, cuja principal finalidade diagnosticar se os resultados pactuados no seu incio foram efetivamente alcanados.

O levantamento dos indicadores a serem acompanhados pela linha gerencial pode ser realizado a partir de dados existentes sobre as empresas que participam das aes do projeto e/ou por meio de pesquisa de campo, realizadas pelos Sebrae/UF, entidade parceira especializada ou instituto contratado para esta finalidade, sempre sob superviso e responsabilidade das equipes estaduais de pesquisas, encarregadas de acompanharem este trabalho nas UF.

Independentemente da intensidade de gesto dos projetos, obrigatrio que sejam realizadas:

a) Ao menos uma mensurao anual, contada a partir da data de pactuao do projeto, publicada no Sigeor. Por exemplo: suponha que um determinado projeto tenha sido pactuado em 30/3/2009. Em 30/5/2011, este projeto dever ter, no mnimo, trs mensuraes publicadas no Sigeor: a T0, realizada at 30 dias aps a pactuao do projeto; a T1, publicada at o dia 30/4/2010 e a T2, publicada at o dia 30/4/2011; b) Ao menos uma avaliao semestral, que sero computadas a cada seis meses, contadas a partir da data de pactuao do projeto. Considerando o exemplo anterior, no dia 30/5/2011 o projeto deveria possuir 4 avaliaes: a primeira realizada at 30/9/2009; a segunda realizada at 30/3/2010; a terceira realizada at 30/9/2010 e a quarta realizada at 30/3/2011.

O monitoramento da execuo das mensuraes realizado pelo Sebrae Nacional considerar exclusivamente as informaes lanadas no Sigeor pelos gestores e equipes de pesquisas. No sero considerados documentos ou planilhas paralelos.

3. Execuo das mensuraes

Toda e qualquer mensurao a ser realizada nos projetos dever ser feita em comum acordo entre o gestor e as equipes estaduais de pesquisas.

Os levantamentos dos indicadores de interesse do projeto podem ser realizados a partir de diagnsticos ou pesquisas disponveis. Deve-se garantir que todas as empresas que participam das aes que repercutiro nos indicadores pactuados estejam contempladas no trabalho e que esse esteja atualizado.

Neste caso, os dados devero ser repassados equipe estadual de pesquisas, preferencialmente em meio eletrnico, que elaborar os relatrios de cada uma das mensuraes de acordo com as especificaes necessrias, de modo que seja possvel acompanhar a evoluo dos indicadores pactuados permanentemente.

Caso a opo seja a realizao de pesquisas e levantamentos primrios, realizados diretamente junto aos produtores e empresrios, deve-se levar em considerao os aspectos tratados na prxima seo.

4. Fases envolvidas na execuo das mensuraes

Existem basicamente quatro fases da mensurao de resultados, por meio da execuo de pesquisas, as quais devem ser atentamente observadas pelos gestores e equipes estaduais de pesquisas.

4.1.

Planejamento

A qualidade do trabalho final de pesquisa com vistas mensurao de resultados nos projetos da Geor depende fundamentalmente das etapas previstas nesta fase, que tem como premissa o processo sistemtico de articulao entre o gestor e as equipes estaduais de pesquisas.

Em primeiro lugar, necessrio que o gestor informe equipe estadual de pesquisas quais so as aes que tm impacto nos resultados pactuados. Feito isso, a equipe local de pesquisas selecionar as amostras a serem pesquisadas, a partir dos registros do Sigeor.

Toda e qualquer segmentao existente no pblico-alvo dever ser identificada pelo gestor e equipe estadual de pesquisas antes da realizao da pesquisa.

De nada adiantar o gestor fornecer para a equipe de pesquisas as aes que no contribuam para o alcance dos resultados pactuados, pois a mensurao no refletir o trabalho empreendido.

As equipes estaduais de pesquisa devero realizar anlise da consistncia das informaes do cadastro disponibilizado pelo gestor, identificando os eventuais problemas e validando com eles as devidas correes antes do incio das mensuraes.

Para que as mensuraes sejam realizadas com maior eficcia deve-se atentar para as seguintes premissas:

a) b) c)

Que a descrio dos indicadores seja clara; Que os mtodos de clculo dos resultados sejam corretamente definidos; Que os resultados sejam mensurveis;

importante que as equipes de pesquisas levem em conta a economicidade na utilizao dos recursos financeiros e pesquisem estritamente o nmero suficiente de empresas que garanta a representatividade necessria para inferncias sobre o universo informado pelo gestor do projeto.

Para isso, recomenda-se que sejam utilizados os parmetros normalmente utilizados pelo Sistema Sebrae em trabalhos desta natureza: amostragens aleatrias, com nvel de significncia igual a 95% e margem de erro igual a 5%. Especificaes diferentes desta devero ser detalhadas pela equipe estadual de pesquisas no relatrio final.

Caso existam segmentaes no mbito do universo apresentado pelo gestor, sugere-se que a equipe estadual de pesquisas selecione o mtodo de amostragem mais adequado, que reflita a realidade existente.

Normalmente as equipes tendem a realizar censos e elaborar questionrios extensos, em substituio a diagnsticos que deveriam ter sido realizados em etapas anteriores.

Aps o cumprimento das etapas anteriores, deve-se atentar para o mtodo de acompanhamento das empresas que participaro das mensuraes ao longo da execuo do projeto. Existem basicamente duas formas de faz-lo.

A primeira o acompanhamento sistemtico das mesmas empresas ao longo da execuo do projeto: as empresas selecionadas para a realizao da mensurao inicial sero as mesmas que participaro das mensuraes posteriores.

Este mtodo de acompanhamento, denominado painel, s poder ser utilizado se no houver entradas nem sadas de empresas no universo informado pelo gestor e por definio indicado quando houver uma relao continuada entre o Sebrae e as empresas.

Sabe-se que bastante improvvel no ocorrerem alteraes no conjunto de empresas nas quais se verificaro as transformaes, dificuldade que aumenta quanto maior for o horizonte de execuo das aes do projeto. Desta forma, este procedimento de acompanhamento est restrito a projetos de curta durao e nos quais no seja possvel variao no universo a ser pesquisado.

O procedimento alternativo, que prev entradas e sadas de empresas, o acompanhamento do desempenho dos diferentes universos fornecidos pelo gestor em cada uma das mensuraes, denominado amostragens probabilsticas. Neste caso, em cada uma das mensuraes ser realizado novo sorteio aleatrio, sendo comparados os resultados do universo em cada momento do projeto.

Estabelecido o mtodo de acompanhamento, define-se como os indicadores sero apurados: se os prprios empresrios preenchero as informaes desejadas, por meio da aplicao das Fichas de Acompanhamento ou se haver necessidade de intervenincia de profissional que far as perguntas aos empresrios ou

representantes indicados pelas empresas, por meio da aplicao de questionrios.

Em qualquer um dos casos, dever-se- atentar para a sensibilizao dos empresrios e empreendedores antes da realizao da apurao dos indicadores de resultados. Este trabalho de responsabilidade exclusiva do gestor do projeto.

4.2.

Apurao dos dados

No caso dos empresrios preencherem as Fichas de acompanhamento, essas devem ser objetivas, focadas no projeto e devem possuir instrues de preenchimento, elaborado pela equipe de pesquisas e validado com o gestor do projeto.

As fichas sero distribudas para os empresrios e empreendedores pelos gestores dos projetos, que devero informar a data em que as mesmas sero recolhidas.

De posse das fichas preenchidas, o gestor ou o profissional indicado pela linha gerencial, as enviar para a equipe de pesquisas, para processamento dos dados e elaborao dos relatrios.

No caso das equipes optarem pela aplicao dos questionrios, por meio de profissional especializado, deve-se igualmente atentar para a objetividade dos prazos, bem como para o cronograma de entregas da empresa eventualmente contratada.

Em nenhuma hiptese o gestor do projeto ou qualquer integrante da linha gerencial dever preencher os questionrios ou auxiliar individualmente os empresrios no preenchimento das fichas de acompanhamento.

No existem blocos padro ou a obrigatoriedade de perguntas padro, a menos que esta seja uma deciso da UF ou, em casos excepcionais, quando os projetos integrarem programas e nestes estejam previstos resultados padronizados para fins de acompanhamento.

Definidas as perguntas que comporo as fichas e questionrios, deve-se, preventivamente, aplic-los num pequeno grupo de empreendedores e empresrios a serem pesquisados, com vistas a serem identificadas questes com dificuldades de interpretao e outras que ensejem medidas corretivas.

Realizada esta etapa, devem ser realizadas as devidas correes e elaborados os instrumentos finais, os quais sero aplicados em conformidade com o cronograma validado entre gestor e equipe estadual de pesquisas.

Alm disso, importante definir se este trabalho ser realizado pelo Sebrae, procedimento denominado pesquisa de segunda parte ou se ser realizado por empresa especializada, contratada para esta finalidade - pesquisa por terceira parte.

As mesmas observaes quanto a prazos, cronograma de entregas e sensibilizao junto ao pblico-alvo, anteriormente citadas, permanecem vlidas e sero monitoradas.

recomendvel que os gestores solicitem aos empresrios que preencham e assinem Termo de Compromisso de Participao nas Mensuraes, garantindo ao Sistema Sebrae que as informaes necessrias para a apurao dos indicadores seja efetivamente realizada.

necessrio que, neste documento, as equipes de pesquisas se comprometam a garantir a devida confidencialidade dos dados informados pelos empreendedores e empresrios.

Deve-se observar e mapear as dificuldades apresentadas pelo pblico-alvo, bem como as rejeies e sugestes apresentadas, atuando imediatamente para a correo de cada uma delas.

Questes de sensibilizao devem ser sanadas pelos gestores dos projetos e questes de ordem tcnico-metodolgicas devero ser corrigidas e superadas pelas equipes estaduais de pesquisas.

As equipes estaduais de pesquisas devero observar atentamente se alguma questo foi sistematicamente rejeitada pelos empreendedores e empresrios. Caso tenha sido identificada inconsistncia desta natureza, dever-se- retornar ao pblicoalvo, para que empreendedores e empresrios preencham as questes. Quem estabelecer o ndice aceitvel para a elaborao do relatrio final a equipe estadual de pesquisas.

4.3.

Elaborao do Relatrio final

As equipes estaduais de pesquisas devero registrar ata e documentao comprobatria de que foi realizada a etapa de apresentao do relatrio final para a

linha gerencial e que a mesma foi cumprida, em conformidade com as especificaes tcnicas deste Manual.

Est vedado qualquer tipo de imputao de dados, processo anteriormente denominado de equalizao, independentemente de quaisquer motivos. Caso as empresas eventualmente se recusem a responder, encerrem as suas atividades ou ocorrncias do gnero, deve-se registrar o valor zero para essas empresas nas tabulaes, informando no relatrio o nmero de cada uma dessas ocorrncias, para fins de avaliao do projeto.

Os gestores devem ser alertados pela equipe estadual de pesquisas que se um nmero significativo de empresrios se recusarem a responder s perguntas das fichas ou dos questionrios, ser registrado o valor zero nas tabulaes finais.

A equipe estadual de pesquisas dever realizar clculos que demonstrem estatsticas complementares que permitam o entendimento do que de fato ocorreu com o grupo que respondeu s perguntas, podendo realizar anlises comparativas entre as empresas que responderam e o comportamento do grupo, que inclui as desistncias e outras ocorrncias.

Por exemplo, suponha que num determinado projeto foram pesquisadas 40 empresas ou empreendimentos. Suponha ainda que em determinado resultado foi constado que somente 20 responderam. Sugere-se que a equipe de pesquisas apresente as estatsticas do grupo respondentes e no respondentes e somente daqueles que responderam, para apoiar a linha gerencial na avaliao do projeto.

Caso a equipe de pesquisas e linha gerencial atente para a quantidade de recusas identificadas ao final da etapa de apurao dos dados e realize o procedimento de retornar aos empreendedores e empresrios que se negaram a responder, solicitandoos e sensibilizando-os para os eventuais problemas que ocorrero, este efeito ser minimizado.

O importante que o resultado oficial da mensurao, a ser utilizado na reunio de avaliao e publicado no Sigeor reflita fielmente o que ocorreu na amostra selecionada, cabendo linha gerencial as medidas corretivas necessrias para a melhoria do projeto.

10

Cumprida esta etapa, as equipes de pesquisas elaboraro o relatrio final da mensurao correspondente. Este relatrio consiste de uma apresentao em power point que dever possuir, no mnimo, a seguinte estrutura:

a) Descrio do universo do pblico-alvo disponibilizado pelo gestor do projeto; b) Descrio do mtodo de amostragem utilizado; c) Resultados apurados, identificando, para cada um deles, o nmero de entrevistas previsto e efetivamente realizado; d) Concluses gerais sobre os resultados apurados; e) Avaliao sobre a execuo da pesquisa: sensibilizao do pblico-alvo; problemas na execuo e sugestes.

O Anexo deste Manual contm check list completo do processo de mensurao de resultados nos projetos da Geor.

4.4.

Divulgao dos resultados das mensuraes

Aps a apresentao do relatrio final para a linha gerencial do projeto, a equipe de pesquisas disponibilizar no Sigeor os resultados apurados, bem como o arquivo do relatrio final.

Aps a apresentao do relatrio final para a linha gerencial, sugere-se que as equipes de pesquisas elaborem um documento sinttico, denominado Carta Empresarial, para cada uma das empresas pesquisadas, contendo a devolutiva dos resultados apurados para a empresa e para o grupo pesquisado.

Os gestores e equipes estaduais de pesquisas definiro a responsabilizao pela entrega das cartas empresariais a cada uma das empresas pesquisadas. Isto poder ser feito no momento da reunio de avaliao, ou antes, com o auxlio das entidades parceiras.

As equipes estaduais de pesquisas podero auxiliar os gestores dos projetos na reunio de avaliao, esclarecendo dvidas do pblico-alvo e identificando possibilidades de melhorias. A conduo e coordenao do evento, contudo, do gestor.

11

4.1.

Disposies finais

Com relao s questes de mtodo e tcnica para a realizao das mensuraes de resultados, de exclusiva responsabilizao das equipes estaduais de pesquisa a seleo e utilizao dos procedimentos adequados que garantam os melhores resultados.

Os requerimentos que sero monitorados pelo Sebrae Nacional so os parmetros mnimos que garantam a representatividade dos trabalhos, especificados neste documento.

Caso as equipes utilizem procedimento alternativo, devero citar as Referncias Bibliogrficas nos relatrios e documentos produzidos, bem como descrev-los de forma compreensvel para o pblico-alvo e para o Sistema Sebrae.

Caso as equipes de pesquisas se defrontem com algum procedimento at aqui no utilizado e tenham alguma dvida a respeito de mtodo e tcnica de pesquisas, sugere-se contatar a equipe do Sebrae Nacional para a identificao das alternativas existentes.

As equipes de pesquisas das UF devero obrigatoriamente realizar auditoria operacional anual em pelo menos 5% do total de fichas e questionrios aplicados no perodo. Esta auditoria visa garantir que os empresrios e empreendedores foram efetivamente pesquisados. Caber equipe estadual de pesquisas local definir a melhor forma de realizao deste trabalho.

No h modelo ou padronizao para a elaborao do documento final da auditoria. O importante que a estadual equipe de pesquisas mantenha atualizados os registros com os relatrios anuais de execuo das auditorias, e que eles apresentem os resultados encontrados, bem como as medidas de gesto implantadas.

Todos os projetos gerenciados por meio da Geor possuem aes padronizadas de acompanhamento da execuo das mensuraes e de acompanhamento da execuo das avaliaes. A qualidade do planejamento do trabalho de execuo e monitoramento das mensuraes depender fundamentalmente do trabalho realizado nesta fase pelas equipes estaduais de pesquisas e gestores dos projetos.

12

Todas as equipes estaduais de pesquisas devero obrigatoriamente estruturar uma atividade especfica de acompanhamento da execuo das mensuraes de resultados e das avaliaes dos projetos gerenciados por meio da metodologia da Geor.

13

ANEXO I: CHECK LIST PARA A REALIZAO DAS MENSURAES DE RESULTADOS NOS PROJETOS DA GEOR Etapa Fase Estruturao e pactuao da atividade de acompanhamento da Planejamento execuo das mensuraes e das avaliaes na UF A mensurao dos resultados ser realizada a partir de indicadores existentes em diagnsticos Disponibilizao dos arquivos do diagnstico para a equipe estadual de pesquisas Elaborao do relatrio Divulgao dos resultados no SGE Avaliaes do projeto A mensurao dos resultados ser realizada a partir de pesquisa junto aos empreendedores e empresrios Disponibilizao e atualizao do cadastro no Sigeor Seleo das amostras Elaborao do manual de preenchimento dos questionrios e fichas de acompanhamento Sensibilizao dos empreendedores e empresrios sobre a realizao da pesquisa, enfatizando a importncia, o calendrio e demais informaes Assinatura do termo de compromisso para a realizao da pesquisas pelos empreendedores e empresrios Aplicao do pr-teste das fichas de acompanhamento e questionrios junto aos empresrios e produtores Distribuio das fichas de acompanhamento para os empreendedores e empresrios Correo das dificuldades apresentadas pelo pblico alvo, em termos de sensibilizao e arregimentao Planejamento Apurao dos dados Elaborao do relatrio final Divulgao dos resultados Avaliao do projeto Gestor Equipe de pesquisas Equipe de pesquisas Gestor Responsvel Equipe de pesquisas Data de Concluso

Planejamento Planejamento Planejamento Planejamento

Gestor Equipe de pesquisas Equipe de pesquisas Gestor

Apurao dos dados Apurao dos dados Apurao dos dados Apurao dos dados

Gestor Equipe de pesquisas Gestor Gestor

Etapa Correo das dificuldades apresentadas pelo pblico alvo, em termos questionrio, linguagem, etc. Recolhimento das fichas de acompanhamento preenchidas pelos empresrios e produtores Envio das fichas para as equipes de pesquisas Envio dos questionrios para as equipes de pesquisas Identificao das questes que tenham sido sistematicamente rejeitadas Retorno ao pblico alvo para preenchimento das questes que foram rejeitadas

Fase Apurao dos dados Apurao dos dados Apurao dos dados Apurao dos dados Apurao dos dados Apurao dos dados

Responsvel Equipe de pesquisas Gestor Gestor Equipe de pesquisas Equipe de pesquisas

Data de Concluso

Gestor (no caso da utilizao de fichas) Equipe de pesquisas (no caso de empresa contratada) Elaborao do relatrio final Elaborao do relatrio final Equipe de pesquisas Apresentao do relatrio final para a linha gerencial Elaborao do relatrio final Equipe de pesquisas Lanamento dos resultados da mensurao no Sigeor Divulgao dos resultados Equipe de pesquisas das mensuraes Lanamento do relatrio final da mensurao no Sigeor Divulgao dos resultados Equipe de pesquisas das mensuraes Elaborao das Cartas Empresariais Divulgao dos resultados Equipe de pesquisas das mensuraes Distribuio das cartas empresariais para os empreendedores e Divulgao dos resultados Gestor/Equipe de empresrios das mensuraes pesquisas Realizao de auditoria operacional anual em pelo menos 5% do Monitoramento Nacional Equipe de pesquisas total de mensuraes realizadas no perodo Manuteno dos registros com os resultados das auditorias Monitoramento Nacional Equipe de pesquisas operacionais anuais

15