CONCEPO E AVALIAO DE PROJECTOS

Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Maria Manuela de Amorim Calheiros

Lisboa, Setembro de 2012

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Concepo e Avaliao de Projectos

Exerccio 1: Anlise de notcias de jornal

Objectivos: Aplicar os conhecimentos adquiridos na definio e reformulao de um problema anunciado em jornal atravs de uma anlise detalhada. Exerccio: Exemplos de notcias Um em cada sete estudantes universitrios abandonam a universidade A polcia quer mais agentes de minorias tnicas Todos os dias aumenta a venda da plula do dia seguinte O servio de voluntrios (X) diz que difcil envolver as pessoas por causa dos afazeres da vida moderna O bullying nas empresas aumenta todos os anos Anlise dos Problemas em pequenos grupos Descrio clara e precisa do problema, qual o problema? (o qu); Porque um problema (Porqu); Para quem um problema; Qual o grupo alvo da interveno; Quais as possveis causas (Possveis causas); Aspectos chave do problema: um problema aplicado? um problema concreto? um problema social? um problema resolvel ou remedivel?

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Concepo e Avaliao de Projectos

Exerccio 2: Anlise de entrevistas a clientes

(Folha do Aluno)
Objectivos: Aplicar os conhecimentos adquiridos na definio e reformulao de um problema atravs de entrevistas ao cliente sobre A polcia quer mais agentes de minorias tnicas . Exerccio:
1. Apresentao de uma entrevista a clientes (A) para reformulao do problema sobre A polcia quer mais agentes de minorias tnicas. 2. Anlise e discusso da entrevista (aspectos positivos e negativos) em pequenos grupos, aps a leitura da mesma. 3. Entrega de orientaes que os alunos utilizaro na elaborao de um guio de entrevista 4. Elaborao de um guio de entrevista (B) a aplicar na situao dada. 1. Roll Play de uma entrevista com um cliente realizada segundo o guio construdo pela turma.

Entrevista A
Chefe da Polcia Estamos a sentir dificuldades em recrutar agentes de contextos rabes, Asiticos e Africanos para a polcia. Os meus colegas de outras foras policiais no pas dizem-me que tm o mesmo problema. Psiclogo Social O que quer dizer com isso? Chefe da Polcia Bem, quando realizamos iniciativas de recrutamento para o pblico dificilmente algum destas comunidades aparece. E, quando aparecem, no entregam o formulrio de candidatura no final do dia. Psiclogo Social Portanto, se o percebi correctamente, querem recrutar mais agentes que provenham de contextos etnicamente minoritrios. Chefe da Polcia Est correcto, mas tambm quero assegurar que conseguimos manter os nossos melhores agentes que provm desses contextos. Alguns deles tm sado da polcia nos ltimos tempos, e no sabemos porqu. Psiclogo Social Ento se consegui compreend-lo, o problema parece ser a falta de entusiasmo entre os membros das comunidades etnicamente minoritrias para se integrarem e manterem nas foras policiais. Chefe da Polcia Hmm sim, acredito que sim. Psiclogo Social Ok, vou procurar alguma literatura relativa satisfao e motivao no trabalho e volto a contact-lo.

Questes: A Definio do problema suficientemente concreta em termos de que problemas esto envolvidos e sugere possveis causas para estes problemas? Qual o problema? Porque que um problema? Para quem um problema? Para a polcia que quer recrutar mais polcias de grupos tnicos minoritrios Para a comunidade que quer uma fora policial segura e efectiva Para os membros da comunidade tnica interessados em participar Para o governo que quer foras policiais de forma a atingir objectivos de incluso Quais as possveis causas do problema? Qual o grupo alvo? Quais os aspectos chave do problema? um problema aplicado? um problema concreto? um problema da Psicologia Social? Pode o problema ser resolvido?

Exemplo de uma boa entrevista Chefe da Polcia Estamos a sentir dificuldades em recrutar agentes de contextos rabes, Asiticos e Africanos para a polcia. Os meus colegas de outras foras policiais no pas dizem-me que tm o mesmo problema. Psiclogo Social Qual parece ser o problema? Chefe da Polcia Bem, quando realizamos iniciativas de recrutamento para o pblico dificilmente algum destas comunidades aparece. E, quando aparecem, no entregam o formulrio de candidatura no final do dia. Psiclogo Social Por que razo um problema? Chefe da Polcia Bem, o governo delineou objectivos para a admisso de agentes provenientes de etnias minoritrias, e at agora no conseguimos cumprir nenhum desses objectivos. Psiclogo Social Qual a relevncia desses objectivos? Chefe da Polcia Trabalhamos numa comunidade com bastante diversidade de etnias e parece-nos que a fora policial deveria reflectir essa diversidade, ao nvel da representatividade das vrias etnias. Psiclogo Social Por que razo isso importante? Chefe da Polcia Dependemos muito da cooperao da comunidade para prevenir e reportar crimes. Neste momento no temos tido este apoio. H muitos crimes que no so reportados. Quando falo com membros da comunidade, principalmente das minorias tnicas, parece haver um sentimento de suspeio e desconfiana em relao fora policial. Psiclogo Social A que se refere esse sentimento de desconfiana? Chefe da Polcia Alguns pensam que dedicamos menos ateno aos crimes quando as vtimas so de etnia Asitica ou Africana. Tambm nos acusam sermos discriminatrios em relao s pessoas que mandamos parar e revistamos na rua. Psiclogo Social Ento qual o vosso principal problema? Que no conseguem recrutar agentes de minorias tnicas, que muitos crimes no so reportados, ou que alguns membros da comunidade pensam que a polcia discriminatria? Chefe da Polcia Na verdade so os trs. Mas se conseguirmos fazer algo em relao desconfiana das pessoas no nosso trabalho de policiamento, isso seria um grande passo na direco certa. Psiclogo Social Ento o principal problema parece ser a falta de confiana na polcia entre os membros de etnias minoritrias na comunidade, o que pode ou no afectar as estratgias de recrutamento ainda no sabemos isso. E querem saber como esse sentimento de confiana pode ser aumentado? Chefe da Polcia Sim, realmente isso. Psiclogo Social H mais questes relacionadas com este problema? Chefe da Polcia Nos ltimos anos tambm temos sentido um aumento na rotatividade de agentes de etnias minoritrias. Alguns deles eram dos melhores agentes quando entraram. Psiclogo Social Sabe por que razo eles abandonaram a fora policial? Chefe da Polcia Bem, no fizemos nenhuma pesquisa sistemtica mas alguns deles sentiam-se isolados nas suas unidades de trabalho, no tinham apoio suficiente dos colegas. Tambm se sentiam ameaados pelos membros das suas prprias comunidades que no aprovavam o facto de eles trabalharam para a polcia. Psiclogo Social J entrevistaram os chefes de unidade acerca dos problemas que os agentes de minorias tnicas experienciam? Chefe da Polcia Ainda no, no tive tempo para ir a cada unidade recolher informaes. Psiclogo Social Mas julga que um problema importante e que pode estar relacionado com o que referimos anteriormente a falta de confiana na fora policial por parte das comunidades etnicamente minoritrias.

Chefe da Polcia Manter os melhores agentes de minorias tnicas fundamental. Penso que estes problemas esto relacionados mas, como disse anteriormente, por onde podemos comear? Psiclogo Social Qual a sua perspectiva acerca de onde deveremos focar a interveno? Para resolver o problema precisamos da cooperao de quem? Chefe da Polcia Bem, bvio que os membros da comunidade devem ser contemplados. Mas na minha opinio o sucesso tambm depende muito dos chefes de unidade. Eles falam diariamente com os agentes e so responsveis pelo ambiente na unidade. Cabe aos chefes de unidade evitar o bullying e a discriminao entre os agentes. Psiclogo Social Ento, para resumir verificmos que h problemas ao nvel do recrutamento e reteno de agentes de minorias tnicas na fora policial. E promover o recrutamento e a reteno dos agentes importante para aumentar a qualidade do policiamento na comunidade, e igualmente importante para cumprir os objectivos do governo. Vocs encaram estas questes como prioritrias. Ainda no temos a certeza mas uma possvel causa para estes problemas pode ser a desconfiana das comunidades etnicamente minoritrias nas foras policiais. Isto pode fazer com que as pessoas de minorias tnicas evitem candidatar-se polcia e pode aumentar a rotatividade dos agentes de etnias minoritrias. Vocs acreditam que deveramos focar a interveno nos membros destas comunidades e nos chefes de cada unidade. Esta representao do que me transmitiu est correcta? Chefe da Polcia Sim, concordo com essa anlise.

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Concepo e Avaliao de Projectos

Exerccio 3: Anlise de um problema, causas, interveno, resultados e impacto

Objectivos: Aplicar os conhecimentos adquiridos na definio e reformulao de um problema atravs da anlise em grupos de alunos (Problema; Presumveis causas; Interveno; Resultados; Impacto) atravs da leitura do artigo The Logic Model: An A-to-Z Guide to Training Development, Implementation, and Evaluation (Wright & Ross, 2000).

Exerccio:

Problema 1. A que problemas a interveno procura dar resposta? 2. Os enunciados do problema indicam de forma clara quais os resultados (e.g., condies cliente/sistema) que no so aceitveis ou tm de ser alterados? 3. Os enunciados do problema indicam de forma clara quais os comportamentos dos trabalhadores que tm de ser alterados? 4. Que indcios esto disponveis para sustentar a definio do problema? 5. Os indcios fornecem vrias perspectivas sobre o problema? 6. Que informaes adicionais so necessrias para uma correcta compreenso do problema, e de que forma possvel obter essas informaes? Presumveis causas

1. De acordo com a perspectiva do servio, quais as causas do(s) problema(s)? 2. De acordo com as outras perspectivas, quais as causas do(s) problema(s)? 3. So apresentadas diversas perspectivas sobre as causas? 4. Que informao sobre as causas est disponvel atravs da teoria? 5. Que informao sobre as causas est disponvel atravs da pesquisa? 6. Que informao sobre as causas est disponvel atravs da prtica? 7. Qual a viso integrada das causas? 8. Qual o nvel de confiana em relao viso integrada das causas? 9. Que trabalho adicional possvel fazer caso no se esteja satisfeito com a viso sobre as causas neste momento?

Interveno 1. A que aspectos das causas identificadas a interveno poder/ir dar resposta? 2. Considerando todos os comportamentos dos alvos do treino (pensamentos, sentimentos, aces), quais os que podem ser modificados atravs da interveno? 3. Que conhecimentos, atitudes ou competncias relativos ao(s) problema(s) faltam aos alvos da interveno? 4. Que prticas esto aptas a ter mais sucesso para responder aos dfices identificados? 5. Em termos gerais, de que forma possvel fortalecer a motivao, capacidade e oportunidade? 6. Em que medida possvel assegurar que a interveno pode afectar significativamente o comportamento do respectivo grupo alvo? 7. Em que medida possvel assegurar que as mudanas ao nvel do comportamento do grupo alvo vai afectar significativamente as causas do problema a que se pretende responder? 8. Caso no seja possvel assegurar estes pressupostos, que informaes ou garantias adicionais so necessrias? Resultados 1. O que expectvel que acontea como resultado da interveno? Quais as implicaes directas para o comportamento do grupo alvo? 2. De que forma possvel verificar/medir as mudanas ao nvel do comportamento?

3. Em que medida possvel assegurar a adequabilidade e sensibilidade das medidas utilizadas? 4. De que forma possvel medir a durabilidade das mudanas? 5. Se no se verificarem as mudanas previstas, quais as explicaes possvel e que resposta se deve adoptar? Impacto 1. Quais as mudanas no contexto de trabalho que se esperam atingir como resultado da interveno? 2. Esto essas mudanas relacionadas com a causa identificada ou com a definio do problema? 3. Quais as mudanas para os clientes ou para a agncia que se esperam atingir como resultado da interveno? 4. Esto essas mudanas relacionadas com a causa identificada ou com a definio do problema? 5. De que forma possvel verificar se essas mudanas ocorreram? 6. Caso o impacto no seja satisfatrio (i.e., as causas identificadas ou o problema no tiveram uma resposta adequada), de que forma possvel explicar o insucesso? 7. As causas foram correctamente compreendidas e identificadas? 8. A interveno foi inadequada, fraca ou ineficaz? 9. O impacto da interveno depende de tal forma de outros sistemas que o treino apenas por si no vai incidir no problema?

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Concepo e Avaliao de Projectos

Exerccio 4: Desenvolver um modelo de programa terico de planeamento do programa

Modelo

Objectivos: Aplicar os conhecimentos adquiridos no desenho de modelos lgicos de um programa de interveno com base no problema definido por cada um dos grupos para o trabalho.

Exerccio:

Desenvolvimento do modelo terico de desenvolvimento do programa

Desenvolvimento do Modelo terico de planeamento do programa ESTRATGIAS 5 HIPTESES 6

FACTORES DE INFLUNCIA

PROBLEMA 4

RESULTADOS ESPERADOS

NECESSIDADES E MAIS-VALIAS

Checklist 1 Planeamento Indicadores de qualidade

1. Os problemas a que o programa pretende dar resposta esto claramente identificados. Existe uma relao clara entre as necessidades e maisvalias identificadas e o problema definido. As necessidades e mais-valias do grupo alvo da interveno foram identificadas com o recurso a triangulaes metodolgicas (i.e., reviso de literatura; participao dos intervenientes; avaliao de necessidades; etc.) Os resultados esperados ao nvel do grupo-alvo da interveno so especficos. Os factores de influncia foram identificados atravs da consulta de especialistas na rea e de reviso de literatura. As estratgias de mudana foram formuladas com a participao de especialistas e de forma sustentada na literatura. A relao entre as estratgias de mudana e os factores de influncia est claramente identificada. As hipteses avanadas sobre a forma como as estratgias de mudana iro ter um impacto no grupoalvo so claras e esto correctamente identificadas. Os stakeholders reconhecem que o modelo descreve adequadamente o programa e os resultados esperados. Sim No

Observaes

2.

3.

4.

5.

6.

7.

8.

9.

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 2 semestre

Concepo e Avaliao de Projectos

Exerccio 5: Desenvolver um modelo lgico de programa

Objectivos: Aplicar os conhecimentos adquiridos no desenho de modelos lgicos de um programa de interveno com base no problema definido por cada um dos grupos para o trabalho.

Exerccio:

Desenvolvimento do modelo lgico Modelo de desenvolvimento do programa RECURSOS

De forma a implementar o conjunto de actividades, so necessrios os seguintes recursos:

ACTIVIDADES
De forma a responder problema identificado, necessrio implementar seguintes actividades: ao as

OUTPUTS/PRODUTOS
Espera-se que a concretizao das actividades origine os seguintes produtos/outputs/servios:

RESULTADOS
Espera-se que a concretizao das actividades origine as seguintes mudanas a curto e mdio prazo:

IMPACTO
Espera-se que a concretizao das actividades origine as seguintes mudanas a longo prazo:

Checklist 1 Resultados Indicadores de qualidade

1. Os stakeholders so envolvidos no processo de elaborao dos outputs, resultados e impactos esperados. O grupo-alvo e/ou stakeholders so descritos e quantificados nos outputs (e.g., 100 professores de 5 escolas secundrias). Os eventos, produtos e servios so descritos como outputs em termos de tratamento ou interveno (e.g., 30 agricultores vo participar em pelo menos 3 sesses do programa, ou o currculo/projecto ser implementado em pelo menos 12 agncias). A intensidade da interveno adequada aos participantes que configuram o grupo alvo (e.g., participantes com mais risco necessitam de intervenes mais intensivas). A durao da interveno adequada aos participantes que configuram o grupo alvo (e.g., participantes com mais risco necessitam de intervenes mais longas). Os resultados reflectem etapas progressivas e razoveis que os participantes podem percorrer at que atinjam objectivos de longo-prazo. Os resultados contemplam a consciencializao, atitudes, percepes, conhecimento, competncias e/ou comportamentos dos participantes. Os resultados enquadram-se no mbito da interveno. Sim No

Observaes

2.

3.

4.

5.

6.

7.

8.

9.

Parece justo ou razovel responsabilizar o programa pelos resultados especificados. Os resultados esperados so especficos, mensurveis, orientados para a aco, realistas e temporalizados. Os resultados esperados esto formulados enquanto expresses de mudana (e.g., aumento de; diminuio de). Os resultados esperados so atingveis com os recursos e perodo de tempo especificados. Os impactos esperados no se afastam do mbito do programa.

10.

11.

12.

13.

Checklist 2 Da teoria aco Indicadores de qualidade

1. As actividades necessrias para a implementao do programa esto identificadas. As actividades encontram-se claramente relacionadas com o modelo terico da interveno. Os recursos necessrios para a implementao do programa esto identificados. Sim No

Observaes

2.

3.

4.

Os recursos identificados adequam-se interveno.

5.

Todas as actividades tm recursos especficos e adequadamente adjudicados.

I.S.C.T.E. Mestrado em Psicologia Social e das Organizaes 1 ano, 1 semestre

Concepo e Avaliao de Projectos

Exerccio 6: Modelo de planeamento de avaliao de um programa

Objectivos: Aplicar os conhecimentos adquiridos na avaliao de programas para elaborar um modelo de planeamento de avaliao de um programa com base no programa definido por cada um dos grupos para o trabalho.

Exerccio:

Desenvolvimento do modelo lgico Modelo de planeamento de avaliao de um programa Desenvolvimento do modelo lgico Modelo de desenvolvimento de indicadores/objectivos

Desenvolvimento do modelo lgico Modelo de planeamento da avaliao REAS DE INTERVENIENTES/ PERGUNTAS DE AVALIAO AVALIAO GRUPO-ALVO

UTILIDADE/PERTINNCIA

Checklist Avaliao Indicadores de qualidade

1. A formulao das perguntas de avaliao elaborada considerando os vrios intervenientes e grupo-alvo. As perguntas justificveis. formuladas so pertinentes e Sim No

Observaes

2.

3.

Todas as perguntas permitem aceder a informaes teis e vlidas. Cada questo coloca apenas uma pergunta (i.e., aborda um tema/rea de cada vez). A relao entre as perguntas e o modelo lgico evidente. As perguntas so especficas em informaes que pretendem recolher. relao s

4.

5.

6.

7.

As perguntas permitem aceder a aprendizagens relativas ao processo de planeamento do programa. As perguntas permitem aceder a aprendizagens relativas ao processo de implementao do programa.

8.

Desenvolvimento do modelo lgico Modelo de desenvolvimento de indicadores/objectivos REAS PERGUNTAS INDICADORES/OBJECTIVOS APOIO TCNICO NECESSRIO

Checklist Desenvolvimento de indicadores/objectivos

1. As reas definidas reflectem questes relativas aos vrios intervenientes e grupo-alvo. Os objectivos so especficos, mensurveis, orientados para a aco, realistas e temporalizados (SMART goals). Os custos de recolha das informaes para a verificao dos indicadores/objectivos esto contemplados no oramento. As fontes das informaes so conhecidas e esto disponveis. As metodologias de recolha dos dados, gesto e anlise dos resultados esto claramente definidas para cada indicador. Os custos da aplicao das metodologias e respectivo apoio tcnico necessrio esto definidos e contemplados no oramento. O apoio tcnico necessrio est disponvel. Sim No

Observaes

2.

3.

4.

5.

6.

7.