Академический Документы
Профессиональный Документы
Культура Документы
MONITORIZAREA
I EVALUAREA ACTIVITILOR CU TINERII
Ghid pentru tineri
i profesioniti care lucreaz cu tinerii
Chiinu, 2006
MONITORIZAREA
I EVALUAREA ACTIVITILOR CU TINERII
Ghid pentru tineri
i profesioniti care lucreaz cu tinerii
Chiinu, 2006
Aceast culegere apare n cadrul proiectului Participarea tinerilor la dezvoltarea comunitii implementat de ctre Centrul Naional de Resurse pentru Tineri n parteneriat cu Ministerul Educaiei, Tineretului i Sportului al Republicii Moldova i cu suportul nanciar al Reprezentanei UNICEF n Moldova i Guvernului Olandei. Coninutul ghidului nu reect neaprat opinia nanatorilor. La realizarea acestei lucrri au contribuit: Iosif Moldovanu Sergiu Toma Daniela Platon Diana Mrza Grico Coordonator din partea UNICEF Moldova: Larisa Lazarescu-Spetechi, Coordonatorul programului Sntatea, Dezvoltarea i Participarea Tinerilor Design i machetare: Ion Axenti, designer Foto copert: CNRT UNICEF/Pirozzi Echipa aduce mulumiri tuturor celor care au contribuit la realizarea acestui ghid prin oferirea suportului informaional, metodologic i formativ n procesul de evaluare i monitorizare a activitilor cu tinerii. n special dorim s-i menionm pe: Meg Gawler, Artemis Services Simona Luciana Velea, Institutul de tiine ale Educaiei, Bucureti, Romnia Mihaela Ionescu, Institutul de tiine ale Educaiei, Bucureti, Romnia Reproducerea parial sau integral a coninutului acestui ghid este permis doar cu indicarea sursei. Claudia Danii Cezar Gavriliuc Eugenia Chiosa
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
INTRODUCERE
INTRODUCERE INTRODUCERE
Monitorizarea i evaluarea sunt nite instrumente de management extrem de importante pentru planicarea i realizarea diferitor activiti, evenimente, proiecte i programe. Tot mai multe grupuri, organizaii, instituii i comuniti prefer s tie ct de eciente sunt / au fost eforturile lor n procesul de realizare a anumitor activiti. i asta pentru c ele doresc s investeasc raional resursele de care dispun. Monitorizarea i evaluarea ne pot oferi informaii pentru a planica mai ecient activitile noastre, a aloca raional resursele i a asigura durabilitatea proiectelor desfurate. n ultimul timp alocarea fondurilor este condiionat de includerea n cadrul propunerilor de proiect a unui capitol focusat pe monitorizare i evaluare, care ar permite ulterior estimarea ecienei fondurilor alocate, ct i impactul activitilor nanate asupra grupului int. Fiecare dintre noi monitorizeaz i evalueaz ntr-un anumit fel activitile cotidiene. Urmrim dac respectm programul zilei conform planicrilor n agenda personal, vericm calitatea mrfurilor pe care le procurm, analizm relaia dintre calitatea acestor mrfuri i costul lor etc. i pentru tineri evaluarea este o experien cotidian. Ei evalueaz prietenii i profesorii, mncarea i muzica, noutile i evenimentele din comunitate. Cu toate acestea, de obicei nu ne dm seama c aceste aciuni sunt o monitoriyare/evaluare. Pentru multe persoane, grupuri de iniiativ i organizaii aceti termeni nc reprezint un mister. Ghidul Monitorizarea i evaluarea activitilor cu tinerii i propune s dezvluie acest mister, oferind cititorilor informaii despre evaluare i monitorizare:
denire; tipuri; planicarea i realizarea procesului; colectarea i stocarea informaiilor; analiza cantitativ i calitativ a datelor colectate; formularea concluziilor n baza rezultatelor;
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
INTRODUCERE
prezentarea rezultatelor; aspecte etice n desfurare.
Valoarea practic a ghidului const n oferirea unor metode i instrumente participative de evaluare i colectare a informaiei. Ghidul este o culegere care a fost pregtit pentru tinerii i adulii care doresc s produc schimbri n grupurile, organizaiile i comunitile lor, e prin programe de evaluare, de studiere a comunitii sau de analiz a politicilor n domeniul social i de tineret. Acest ghid este deosebit de important i pentru c tinerii adesea nu sunt contieni de evaluare ca un proces n care ei pot i ar trebui s participe. Autorii ghidului sunt ferm convini c cei care vor desfura evaluri folosind informaiile i instrumentele descrise n aceast culegere vor reui s reduc barierele pe care le ntlnesc n evaluare, vor mbunti comunicarea i cooperarea cu beneciarii i, n nal, vor obine un impact mai mare al activitilor i o utilizare mai ecient a fondurilor de care dispun.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
CUPRINS CUPRINS
Glosar ................................................. 8
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
GLOSAR
GLOSAR GLOSAR
Advocacy (engl.) aciunea de a pleda pentru ceva, de a susine sau apra activ o idee, o cauz, o propunere. O organizaie poate face advocacy pentru realizarea misiunii sale, de exemplu de a sensibiliza opinia public privind o problem sau un set de probleme. Analiza de coninut set de proceduri de analiz a informaiilor de natur calitativ, obinut prin interviuri, observaii, analiza de documente etc. Analiza de coninut organizeaz ntreaga informaie n teme specice i tendine generale care sunt semnicative pentru scopul evalurii. Atelier edin de lucru n cadrul creia mai multe persoane colaboreaz pentru a elabora ceva, precum un plan de evaluare sau un plan de aciuni. Concluzie armaie formulat ca rezultat al analizei informaiei obinute n cadrul evalurii. Date / informaii cantitative informaii care pot exprimate prin cifre i sunt msurabile. Date / informaii calitative informaii care nu pot transformate n numere i descriu cunotine, atitudini, comportamente, motivaii ale persoanelor. Eantion o parte dintr-o populaie care urmeaz a cercetat cu scopul de a emite armaii generalizabile pentru ntreaga populaie. Eantionul ofer o imagine mai exact a populaiei de referin. Evaluare analiza periodic, aprofundat a realizrilor obinute n cadrul unor proiecte/activiti. Feedback (engl.) o informaie oferit despre desfurarea unui proces, a unei activiti sau aciuni; un rspuns evaluativ. ntrebare nchis o ntrebare care ofer variante de rspuns i la care respondentul este rugat s rspund alegnd una sau mai multe variante. ntrebare deschis o ntrebare la care respondentul rspunde cu propriile cuvinte, nu este limitat prin variante de rspuns. ntrebri de performan ntrebri care ghideaz procesul de cutare a informaiilor i de analiz a lor pentru a facilita nelegerea performanelor proiectului i a factorilor care au inuenat desfurarea acestuia.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
GLOSAR
Indicatori semne sau repere care descriu ntr-un mod obiectiv (clar, precis, n baza msurrilor) anumite aspecte specice ale realitii, lucruri, activiti. Indicatorii permit aprecierea/msurarea succesului, rezultatelor, impactului, durabilitii unui proiect. Informaia iniial (engl. baseline) informaia rezultat din analiza situaiei existente ntr-un domeniu pn la implementarea activitilor unui proiect. Rolul informaiilor iniiale const n oferirea unui reper pentru determinarea rezultatelor i succeselor proiectului. Monitorizare observare regulat i nregistrarea activitilor organizate n cadrul unui proiect sau program prin culegerea sistematic i periodic de date. Operator de teren persoan care a beneciat de instruire corespunztoare i se ocup de colectarea datelor n cadrul unui studiu, a unei evaluri. Ownership (engl.) (aici) oferirea sentimentului de importan i control asupra procesului persoanelor implicate n evaluare, contribuind astfel la luarea deciziilor i mbuntirea activitilor. Pilotare testarea unor metode, tehnici sau instrumente de evaluare (cercetare) ce urmeaz a aplicate ntr-o cercetare n scopul mbuntirii acestora. Plan / proiect al evalurii set de activiti de evaluare a unui proiect sau a unei pri a acestuia. La nivel de proiect, planul evalurii specic: obiectul evalurii, scopul i obiectivele, paii concrei ai procesului de evaluare, persoanele responsabile de realizarea activitilor de evaluare, resursele necesare, metodele care vor utilizate, modalitile de utilizare a informaiilor rezultate din evaluare. Populaie este un termen statistic care desemneaz totalitatea unitilor care formeaz obiectul cercetrii. Recomandare sugestie referitoare la o anumit direcie de aciune, elaborat n urma analizei constatrilor unei evaluri. Scal un spaiu gradat de-a lungul cruia sunt marcate gradele de intensitate, prin simboluri, expresii sau valori numerice care desemneaz diferite poziii. Schema planului de evaluare instrument esenial pentru planicarea i desfurarea unei evaluri eciente, care permite vizualizarea ntr-o form sintetic a principalelor aspecte ale evalurii proiectului.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
GLOSAR
Slide (engl.) 1. o folie transparent utilizat pentru proiecia textelor, imaginilor sau a oricrui alt tip de informaie cu ajutorul unui proiector. 2. Prezentarea unor imagini de pe calculator proiectate n cadrul unei prezentri orale. Stakeholders (engl.) sunt persoanele, grupurile din cadrul i din afara unei organizaii care sunt interesate n dezvoltarea cu succes a unui proiect, a unei activiti. Sumar executiv o introducere a unui proiect, cercetri, raport sau alt tip de material care prezint ideile cheie ale documentului respectiv i ce anume conine. Surse de completare a indicatorilor documente sau persoane care furnizeaz informaia necesar pentru a verica situaia indicatorilor, e prin analiza unor rezultate deja existente, e prin realizarea de noi msurri i evaluri. Transcriere reproducere n scris, fr nici o modicare, a coninutului unei nregistrri audio sau a unei conversaii. Pentru comoditate i operarea mai uoar cu informaia, transcrierile sunt realizate la calculator. Aceast procedur faciliteaz analiza informaiei verbale obinute n cadrul evalurii. Validitate msura n care metodele i instrumentele de colectare a datelor unei evaluri sunt relevante pentru obiectul i obiectivele evalurii, adic apreciaz sau msoar exact ceea ce-i propun. Variabil secven de evaluare care const din criterii de difereniere a obiectului studiat i care poate lua diferite valori. De exemplu, variabila sex poate cpta dou valori: feminin i masculin, variabila vrst poate lua valori de la 0 pn la peste 100 ani, iar statutul socio-economic nregistreaz o multitudine de valori. n procesul analizei, variabila corespunde unei ntrebri cu un singur rspuns. ntrebarea cu rspunsuri multiple, va avea cte o variabil pentru ecare rspuns posibil. Vericarea validitii datelor asigurarea acurateei i perspectivei impariale ale informaiilor obinute printr-o evaluare. Vericarea poate realizat prin utilizarea diferitor metode pentru colectarea datelor, diversicarea surselor informaionale i implicarea n procesul de evaluare a mai multor membri ai echipei de implementare / evaluare a proiectului.
10
Capitolul
MONITORIZAREA I EVALUAREA
Monitorizarea nseamn observarea regulat i nregistrarea activitilor organizate n cadrul unui proiect sau program.
Este un sistem de tehnici i un mecanism de identicare a schimbrilor care se produc n cadrul proiectului prin culegerea sistematic i periodic de date. A monitoriza nseamn a verica n ce mod activitile din cadrul proiectului progreseaz pentru atingerea obiectivelor propuse. n urma realizrii procesului de monitorizare putem oferi donatorilor, partenerilor, beneciarilor i altor persoane interesate un feedback cu privire la progresul proiectului pe care l implementm.
Efectund monitorizarea, grupul de iniiativ poate rspunde cu uurin la ntrebri de genul: Cte persoane beneciaz sau nu beneciaz de serviciile prestate? n ce msur serviciile oferite sunt solicitate? Care sunt costurile pentru desfurarea activitilor? Resursele sunt cheltuite conform bugetului? Ce schimbri au loc? Sunt realizate toate activitile planicate?
Monitorizarea este o activitate permanent de determinare a progresului unei activiti n raport cu rezultatele planicate, adic dac activitile sunt realizate conform planului elaborat. Ea ofer o imagine privind resursele care au fost utilizate, cnd a avut loc i ct timp a durat activitatea realizat, ce rezultate au fost obinute, etc.
Scopul principal al monitorizrii este a ajuta organizaiile s reecteze asupra activitilor pe care le organizeaz, s aprecieze ct de ecace sunt activitile i s determine ce schimbri sunt necesare n procesul de management.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
11
Capitolul
MONITORIZAREA I EVALUAREA
Monitorizarea urmrete:
1. S informeze echipa de implementare a proiectului despre realizrile obinute, progresul proiectului fa de obiectivele planicate, problemele aprute; 2. S verice schimbrile care intervin n urma realizrii activitilor proiectului; 3. S ofere un feedback pentru a mbunti procesul de luare a deciziilor i pentru a spori eciena interveniilor; 4. S ajute managerii de proiect n pstrarea abordrilor pozitive ale proiectului i evitarea sau eliminarea punctelor slabe. Informaiile obinute n urma monitorizrii ajut managerii i echipa de implementare s ia decizii cu privire la alegerea i adaptarea planului de activitate, a strategiilor de lucru n vederea obinerii unor rezultate maxime; 5. S creasc credibilitatea n faa donatorilor i partenerilor privind implementarea proiectului.
Monitorizarea ne ajut:
inei minte! Monitorizarea este ecient atunci cnd este continu, implic beneciarii i partenerii i este axat pe progres n obinerea rezultatelor. O astfel de monitorizare formeaz baza pentru evaluare. Credibilitatea datelor obinute n urma efecturii monitorizrii depinde n mare msur de modul n care este realizat aceasta.
12
S analizm situaia cu privire la proiect; S determinm dac resursele din cadrul proiectului sunt bine / ecient utilizate; S identicm problemele cu care se confrunt comunitatea sau proiectul implementat i s gsim soluii; S ne asigurm c activitile sunt realizate conform planului de ctre persoane adecvate i la timp; S utilizm leciile nvate n cadrul unui proiect pentru planicarea i implementarea unui alt proiect; S determinm dac abordarea utilizat n cadrul proiectului este cel mai potrivit mijloc de a soluiona problemele identicate.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Datele i informaiile obinute n urma monitorizrii pot ajuta mult echipa de implementare n luarea deciziilor privind realizarea proiectului.
Printre cele mai ordinare greeli n realizarea monitorizrii se numr tentativa de a colecta ct mai mult informaie. Uneori acest lucru este dicil, deoarece activitile unei organizaii sau ale unui grup pot foarte complexe. Elaborarea unui sistem de monitorizare ne poate ajuta s stabilim clar tipul, cantitatea i calitatea informaiilor necesare i modul de desfurare a monitorizrii. De obicei, managerii de proiect pregtesc planuri de lucru (lunare, simestriale, anuale) care transpun proiectul n sarcini concrete. Cele mai utile planuri de lucru sunt cele care conin referiri la resursele disponibile, activitile care urmeaz a organizate i rezultatele scontate. n plan trebuie s e indicate clar perioada de realizare a activitilor, persoanele responsabile de realizarea lor i de producerea rezultatelor. Planul de lucru va servi drept baz pentru monitorizarea progresului nregistrat de proiect.
2. 3.
... ...
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
13
Capitolul
MONITORIZAREA I EVALUAREA
Sistemul de monitorizare va dezvoltat n paralel cu planurile de activitate. Un prim pas n determinarea coninutului planului de monitorizare este identicarea urmtoarelor aspecte:
cine are nevoie, de ce fel de informaii, cu ce scop, ct de frecvent i n ce form.
Pentru a elabora un sistem ecient de monitorizare este necesar: 1. A decide ce anume necesit a monitorizat. Selectarea atent a indicatorilor de monitorizare va organiza i orienta procesul de colectare a datelor. Indicatorii se refer la informaiile care ne vor ajuta s determinm dac progresul n atingerea obiectivelor a avut sau nu loc. Indicatorul trebuie s deneasc clar unitatea de msur (numr, proporie), s e relevant i independent pentru a putea demonstra dac obiectivele proiectului au fost atinse. 2. A stabili cum informaia va adunat, adic a alege metodele prin care am putea msura indicatorii i identica / raporta progresul (observaii, interviuri, ntlniri, rapoarte cotidiene, deplasri n teren etc.). 3. A decide cnd va colectat informaia i de ctre cine. Planul de monitorizare va include neaprat prevederi despre persoanele responsabile de colectarea informaiilor i periodicitatea colectrii. Echipa de implementare a proiectului realizeaz de obicei colectarea celei mai mari pri din informaii, o analizeaz i raporteaz. Echipa de implementare va conveni n acest sens asupra formei raportului de monitorizare i a ceea ce va include acesta. 4. Echipa de implementare a proiectului, managerul de proiect i principalii parteneri vor examina periodic rapoartele de monitorizare, constatnd progresul proiectului. n funcie de aceste rezultate, se vor lua decizii cu privire la proiect.
14
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Este bine ca activitile de monitorizare s implice, dac este posibil, ct mai multe persoane interesate (reprezentani ai echipei de implementare, beneciari, parteneri, donatori, factori de decizie etc.). Implicarea altor actori sociali n procesul de monitorizare include o serie de avantaje: nelegerea comun a problemelor i identicarea soluiilor. Monitorizarea participativ ajut persoanele implicate s neleag mai bine problemele existente n cadrul comunitii i a proiectului. Beneciarii i partenerii pot contribui la identicarea celor mai adecvate soluii. Sporirea responsabilitii actorilor implicai n monitorizare. Persoanele implicate n monitorizare simt c au puterea de a urmri realizarea activitilor planicate i pot formula propuneri pentru mbuntirea acestora. Adoptarea deciziilor mai bune. Monitorizarea ofer informaii necesare pentru luarea deciziilor privind managementul proiectului. Cnd mai multe persoane particip la monitorizare, nseamn c acestea au luat parte la oferirea informaiilor cu privire la management i la luarea deciziilor, fapt ce contribuie la mobilizarea uman i a resurselor. mbuntirea performanelor. n cazul n care sunt identicate anumite deviaii de la planul de activiti elaborat, pot propuse soluii pentru excluderea acestora. Pentru a lua deciziile cele mai adecvate, este necesar implicarea n monitorizare a persoanelor care vor realiza propunerile n practic. Colectarea mai multor informaii. Informaiile obinute n timpul monitorizrii ajut la elaborarea unor proiecte de viitor. Leciile nvate n timpul proiectului pot utilizate pentru design-ul i implementarea altor proiecte similare. Cu ct mai multe persoane sunt implicate n colectarea informaiilor, cu att mai sigure i obiective vor informaiile obinute. i asta datorit faptului c unele informaii omise de anumite persoane vor colectate de altele.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
15
Capitolul
MONITORIZAREA I EVALUAREA
Oferim mai jos un model de tabel de monitorizare, dar care poate adaptat n funcie de specicul proiectului realizat i de datele care intereseaz echipa de implementare.
Model de monitorizare
Nr. 1. Activitatea Stagiu de formare n organizarea timpului liber ... ... Rezultatele scontate
30 de tineri din raionul Leova vor dezvolta deprinderi de planicare i organizare a timpului liber
2. 3.
Monitorizarea implic alocarea anumitor resurse umane, de timp i nanciare. Asigurai-v c acestea au fost prevzute la elaborarea propunerii de proiect.
EVALUAREA
Evaluarea este un proces exibil, care ne ajut s nvm din activitile pe care le realizm sau care au fost realizate. Ea vine s ne ofere informaii despre ce merge bine n cadrul proiectului, pentru a menine i multiplica aceti factori de succes. La fel, evaluarea ne va arta ce merge mai puin bine, pentru a revedea i adapta strategiile i activitile planicate. Evaluarea poate avea diferite forme, dar indiferent de forma sa, evaluarea ne ajut s nelegem mai bine mediul n care activm, s identicm problemele care exist n comunitate (analiza situaiei), care sunt nevoile grupului int (evaluarea necesitilor), s planicm activitile i s msurm impactul acestora (evaluarea rezultatelor).
Evaluarea const n colectarea i analiza informaiilor pentru a vedea ct de eciente sunt activitatea i / sau proiectul realizat de organizaie sau grupul de iniiativ.
16
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Evaluarea este un exerciiu xat n timp care urmrete s aprecieze / analizeze sistematic i obiectiv relevana, progresul i succesul proiectelor realizate sau n curs de realizare. Ea este organizat selectiv, adic nu se evalueaz tot, ci se aleg anumite domenii n funcie de interese, prioriti, resurse etc. ntrebrile la care rspunde evaluarea ghideaz managerii sau conducerea n luarea deciziilor privind:
efectuarea unor corecii pe parcursul implementri proiectului; continuarea, extinderea, instituionalizarea proiectului sau stoparea, ncheierea sau abandonarea lui; testarea unui nou program sau a unei noi idei de proiect; alegerea celor mai bune idei.
Evaluarea poate rspunde la ntrebri de genul: Care este efectul, impactul activitilor realizate? n ce msur activitile / proiectul au rspuns ateptrilor i nevoilor beneciarilor? Ct de ecient au fost utilizate resursele i timpul? Ct de ecient i calitativ activeaz organizaia, grupul de iniiativ?
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
17
Capitolul
MONITORIZAREA I EVALUAREA
18
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Evaluarea poate i este bine s se efectueze pn, n timpul i la nele implementrii proiectului. Pn la nceperea implementrii proiectului evaluarea este necesar pentru: a identica nevoile grupului int i a stabili cum acestea pot acoperite, a prevedea efectul proiectului asupra oamenilor i comunitii, a lua decizii cu privire la posibilele alternative ale proiectului i a decide asupra strategiei de implementare a proiectului. n timpul implementrii proiectului evaluarea este un proces continuu i are loc n toate activitile realizate. Ea permite echipei de implementare s revad strategiile proiectului n funcie de schimbrile care intervin, astfel nct s e posibil atingerea rezultatelor scontate. La nele implementrii proiectului, evaluarea ofer o retrospectiv asupra activitilor proiectului i rezultatelor obinute, contribuind la:
identicarea constrngerilor aprute pe parcursul implementrii proiectului,
estimarea beneciilor, rezultatelor proiectului i persoanelor care au beneciat de ele,
identicarea punctelor forte ale proiectului care pot luate n considerare n cadrul altor proiecte, oferirea unei imagini clare privind msura n care obiectivele propuse au fost realizate.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
19
Capitolul
MONITORIZAREA I EVALUAREA
Unii experi prezint 35 de tipuri de evaluare. ns nu v preocupai prea mult de aceasta. Gndii-v la informaiile necesare pentru a lua deciziile potrivite i la motivul pentru care avei nevoie s adunai i s nelegei informaiile respective.
Evaluarea iniial, continu i nal.
Evaluare
Iniial
Continu
Final
- ameliorarea / - acreditare / decizie; mbuntirea activitii - ameliorarea i a rezultatelor activitii viitoare - optimizarea pe parcurs a programului - evaluator intern - evaluator intern, extern sau grup mixt - la intervale mari de timp - rezultate nale
Cine o realizeaz
- evaluator intern (aceeai persoan care a realizat procesul) - la nceput (rar) - rezultate iniiale
20
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Formal
Evaluarea formal
- presupune anumite criterii bine determinate - este asociat cu evaluarea prin teste standardizate - presupune un anumit nivel de expertiz a celui care o realizeaz
Informal
Evaluarea informal
- se bazeaz pe criterii intuitive - este asociat cu evaluarea prin teste proiectate de ctre evaluator, n deosebi cu utilizarea metodelor alternative de evaluare - este mai puin costisitoare - este mai subiectiv
Avantaje Limite
Intern
Evaluarea intern - este realizat de un evaluator intern (care face parte din organizaie, proiect, echipa de implementare) Avantaje - evaluatorul intern cunoate mai bine particularitile participanilor la program, este familiarizat cu contextul - evaluatorul intern cunoate mai bine evoluia ntregului proces, punctele forte i punctele slabe - este costisitoare - evaluatorul intern este preocupat de imagine - evaluatorul intern este mai subiectiv, poate reaciona emoional, i pot scpa unele variabile critice ale programului
Extern
Evaluarea extern - este realizat de un evaluator extern (din afara organizaiei, proiectului, echipei de implementare) - evaluatorul extern este neutru, mai obiectiv, are credibilitate mai mare
Limite
- evaluatorului extern i sunt mai puin accesibile informaiile contextuale, i pot scpa din vedere anumii factori contextuali - este mai costisitoare - credibilitatea nu este intrinsec evalurii externe
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
21
Capitolul
MONITORIZAREA I EVALUAREA
Evaluare iniial
Evaluare nal
MONITORIZARE
Obiective
Rezultate
22
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Cele mai importante diferene dintre monitorizare i evaluare sunt prezentate n tabelul de mai jos:
Monitorizarea Este continu, permanent. Evaluarea Este periodic: n anumite momente cheie, cum ar la nceputul, la mijlocul i la nele proiectului. Rspunde la ntrebarea de ce?. Este o analiz aprofundat. Compar rezultatele obinute cu cele planicate. Se concentreaz asupra relaiei dintre resursele utilizate i rezultatele obinute; rezultate vs. costuri; asupra procesului / strategiei utilizate pentru a atinge rezultatele; asupra impactului i durabilitii. Ofer informaii privind cum i de ce au fost obinute rezultatele. Contribuie la dezvoltarea anumitor teorii i modele pentru a produce schimbare. Ofer managerilor strategii / abordri i politici.
Sursa: UNICEF, 1991. WFP, mai 2000.
Rspunde la ntrebarea ce?. Urmrete i documenteaz progresul. Se concentreaz asupra resurselor nanciare, materiale, umane utilizate (input), asupra activitilor, produselor obinute, procesului de implementare.
Atenioneaz managerii asupra problemelor aprute i propune opiuni pentru soluionarea acestora.
Chiar dac se deosebesc, informaiile obinute n urma monitorizrii i a evalurii sunt necesare:
n timpul analizei situaiei i identicrii specicului viitorului proiect, a leciilor nvate n cadrul proiectelor i programelor anterioare; n timpul elaborrii design-ului proiectului. Datele i indicatorii produi n cadrul proiectelor anterioare pot servi ca punct de plecare pentru noul proiect. Pornind de la informaiile respective managerii de proiect pot stabili inta pentru proiectul nou; n timpul implementrii proiectului. Monitorizarea i evaluarea asigur nregistrarea progresului proiectului i adaptarea strategiilor i activitilor pentru a obine rezultate mai bune; la nele proiectului evaluarea profund a ecienei acestuia, a impactului i durabilitii permite dezvoltarea unor proiecte noi mai bune.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
23
Capitolul
MONITORIZAREA I EVALUAREA
Modele alternative
- evaluarea proces de nvare, de
tiinic
extern
Evaluarea participativ reprezint i ea un model alternativ de evaluare. Este o abordare care urmrete dezvoltarea capacitilor i ofer actorilor implicai n realizarea proiectului, dar i beneciarilor, ocazia s reecteze asupra proiectului i obstacolelor ntmpinate. Ea faciliteaz nvarea i ofer beneciarilor i partenerilor instrumente pentru a nelege i a schimba mediul nconjurtor. Evaluarea participativ este diferit de abordrile convenionale ale evalurii, pentru c implic activ participanii i persoanele interesate (engl. stakeholders) pe parcursul ntregului proces de evaluare: n etapa de planicare, n cercetarea propriu-zis, n analiza i interpretarea datelor i n prezentarea rezultatelor.
24
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Persoanele, grupurile interesate (engl. stakeholders) de rezultatele proiectului, conform lui C. T. Davies, 1998, se refer n special la 5 grupuri: 1. Comunitatea, adic persoanele spre care sunt orientate activitile din proiect. Acetia pot copiii, tinerii, elevii, dar i alte categorii de persoane care beneciaz indirect de proiect. 2. Echipa de implementare a proiectului, adic cei care realizeaz activitile planicate n cadrul proiectului. 3. Managerul de proiect, persoana care urmrete implementarea proiectului. 4. Donatorii i partenerii. Acetia sunt persoanele i instituiile care au un rol decisiv n nceperea i realizarea proiectului. 5. Susintorii, adversarii proiectului i alte persoane, care au o anumit prere privind proiectul realizat i sunt interesai de rezultatele acestuia. Evaluarea participativ ar putea viza dou, trei dintre aceste grupuri. Rolurile celor implicai n evaluare pot varia n diferite faze ale acesteia de la rolul de persoan resurs care ofer informaii, la cel de participant activ, implicat, de exemplu, n colectarea i analiza acesteia.
Principalele diferene dintre abordarea tradiional a evalurii i cea participativ sunt prezentate n tabelul de mai jos:
Evaluarea convenional / tradiional Evaluarea participativ
- scopul evalurii convenionale este s asigure donatorii de responsabilitatea autorilor proiectului; - este mai mult axat pe donatori i este iniiat de acetia. Donatorii sunt clienii cheie, care ofer resursele nanciare i care respectiv cer evaluarea proiectului. Evaluatorul din cadrul proiectului sau unul extern colecteaz datele, analizeaz proiectul i ntocmete un raport; - beneciarii i partenerii implicai n realizarea proiectului joac un rol pasiv, oferind informaii, fr a se implica n procesul de evaluare. Procesul este unilateral;
- urmrete s consolideze capacitile participanilor (stakeholders) i s i responsabilizeze fa de rezultatele proiectului i evalurii. Calitatea unei evaluri sporete, dac reect att punctul de vedere subiectiv al autorilor proiectului i beneciarilor, ct i cel obiectiv al unui evaluator extern; - pune accentul mai mult pe proces dect pe rezultatul nal raportul de evaluare; - urmrete dezvoltarea capacitilor echipei de implementare, a partenerilor i beneciarilor de a-i analiza mediul, de a lua decizii i de a ntreprinde aciuni;
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
25
Capitolul
MONITORIZAREA I EVALUAREA
- evaluatorul, e intern sau extern deine controlul asupra procesului de evaluare; - pentru a asigura obiectivitatea, deseori evaluarea convenional este realizat de evaluatori externi; - utilizeaz metode i tehnici clasice de evaluare care includ sondaje, chestionare, interviuri semistructurate, discuii focus-group; - colecteaz informaii dintr-o varietate de surse i ofer un raport nal care stimuleaz schimbri de management n organizaie sau n proiectul evaluat.
- partenerii i beneciarii sunt mai mult dect simple surse de informaii. Ei decid asupra specicului evalurii: ce va analizat, care va design-ul, realizeaz evaluarea, analizeaz datele primite i elaboreaz recomandri; - este realizat de persoanele interesate de proiect, asistai de un facilitator cu experien n dezvoltarea capacitilor i a proceselor de promovare a participrii; - se bazeaz pe metode care ncurajeaz reecia, creativitatea i discuia i care sunt accesibile pentru grupurile marginalizate, cum ar fi tinerii vulnerabili; - este axat mai mult pe mputernicire dect pe colectarea de informaie. Urmrete s ofere participanilor (stakeholders) o mai bun nelegere a realitilor locale, punnd la dispoziie instrumente necesare pentru analiza lor. De asemenea i determin s se implice n procesele de luare a deciziilor i s cunoasc mai multe despre problemele/ subiectele abordate de evaluare.
Indiferent de abordarea pe care o utilizm n evaluare, scopul, metodele i rolul evaluatorului vor varia n funcie de resursele de care dispunem, expertiza pe care o avem, cui vor folosi datele evalurii i de nivelul de implicare a donatorilor, beneciarilor, partenerilor. Cu toate acestea, avantajele evalurii participative sunt incontestabile. Evaluarea participativ poate mputernici beneciarii s nvee din activitile n care au fost implicai i chiar s inueneze mediul n care triesc i activeaz. Beneciarii i partenerii simt c schimbrile care au loc n jurul lor nu sunt produse de cineva din afar, de strini, ci de ei nii, sporind astfel angajamentul lor.
26
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Ce abordare s alegem n evaluare? Abordarea tradiional a evalurii este binevenit atunci cnd: ne intereseaz opinii independente din exterior sau cutm informaii foarte specializate i numai nite experi din afar ne pot ajuta. beneciarii i partenerii nu au timp s participe la evaluare sau sunt sceptici cu privire la reuitele evalurii participative. Abordarea participativ a evalurii mai potrivit atunci cnd: examinm dicultile ntlnite pe parcursul implementrii proiectului sau cnd vrem s msurm impactul acestuia asupra diferitor categorii de beneciari, parteneri. ne intereseaz opiniile i viziunile diferitor persoane i instituii (stakeholders) asupra realizrii obiectivelor proiectului i asupra progresului realizat.
n concluzie, putem spune c o evaluare poate numit participativ dac: 1. Apeleaz la metode i tehnici participative de evaluare, care ncurajeaz implicarea participanilor n prezentarea i colectarea informaiei, i 2. Este realizat astfel nct beneciarii, partenerii i alte persoane interesate s se implice activ n procesul de elaborare a designului evalurii, a metodologiei, n colectarea i analiza datelor, n formularea concluziilor, recomandrilor i ntocmirea raportului nal.
Avantajele participrii persoanelor interesate (stakeholders) n procesul de evaluare: oferirea siguranei c lucrurile identicate i concluziile formulate sunt relevante mediului i condiiilor n care a fost realizat proiectul; persoanele implicate n evaluare au sentimentul de importan i control asupra procesului (engl. ownership), contribuind astfel la luarea deciziilor i mbuntirea activitilor; mbuntirea capacitilor de evaluare a partenerilor locali, care vor capabili s evalueze activitile viitoare; ajutarea persoanelor interesate (stakeholders) s neleag mai bine strategiile i activitile proiectului i anume, ce merge, ce nu merge i de ce; mbuntirea comunicrii dintre echipa de implementare, beneciarii i partenerii proiectului; sporirea credibilitii n faa donatorilor; asigurarea unei utilizri mai eciente a resurselor.
Sursa: Aubel, 1999.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
27
Capitolul
MONITORIZAREA I EVALUAREA
Principalele caracteristici ale evalurii participative se refer la:
evaluarea nu mai este considerat doar o modalitate de control, nalizat potenial cu sanciuni. Este privit ca proces de nvare i ca parte integrant a ntregului proiect i nu ca etap separat a acestuia; deplaseaz accentul de la evaluarea de rezultate la evaluarea de proces (intereseaz cum s-a ajuns acolo); recunoate c beneciarii i partenerii sunt o surs indispensabil de cunotine i informaii. Apeleaz i utilizeaz resursele locale; acord mare credit autoevalurii (participanii i analizeaz rezultatele, le compar, i revizuiesc strategia). Este un proces de nvare care dezvolt competenele celor implicai de a se autoevalua, de a evalua activitatea i rezultatele echipei de proiect, de a participa la procesul de evaluare; evaluatorul extern are rolul de facilitator care activeaz ca un catalizator i care asist beneciarii i partenerii n a rspunde la ntrebrile-cheie. Un facilitator ecient are dezvoltate abiliti de ascultare, este respectuos i tie s interacioneze cu diferite tipuri de persoane; cedeaz cu uurin poziia de lider n modelarea i implementarea evalurii; este deschis pentru critic i pregtit s-i recunoasc greelile, din care trage nvminte. Buni facilitatori sunt i cei capabili s improvizeze i s adapteze metodele conform necesitailor situaiei; promoveaz o cultur a evalurii i a nvrii att din succese, ct i din eecuri; este interactiv. Toi au un cuvnt de spus!
28
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Sistemul prin care va realizat evaluarea / monitorizarea unui proiect trebuie dezvoltat nainte de a ncepe implementarea acestuia. Designul proiectului inueneaz felul n care se desfoar evaluarea / monitorizarea lui. Pentru a mri eciena acestui proces, planicarea trebuie realizat ca parte integrant a proiectului. n acest scop, managerii de proiect:
vor analiza i descrie situaia iniial n domeniul care va abordat prin proiect; vor stabili clar ce i propune s realizeze proiectul i cum anume o va face; vor identica prioritile proiectului i principalele ntrebri pentru evaluare; se vor asigura c obiectivele proiectului sunt reale, clare, msurabile i vor deni sarcini sau activiti specice n conformitate cu obiectivele proiectului; vor stabili modul n care i vor da seama de ceea ce i-au propus se realizeze, adic indicatorii necesari pentru a surprinde rezultatele i impactul proiectului; vor stabili, n baza indicatorilor, ce tip de informaie este necesar, care sunt sursele care o pot oferi, prin ce metode va vericat situaia indicatorilor;
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
29
Capitolul
MONITORIZAREA I EVALUAREA
vor decide modul n care va folosit informaia obinut din evaluare/monitorizare; vor elabora un program al activitilor de evaluare / monitorizare i vor aloca resursele necesare pentru acest proces; vor consulta planul elaborat cu persoanele interesate i partenerii.
Una dintre caracteristicile unui sistem de evaluare / monitorizare ecient este capacitatea acestuia de a se schimba odat cu evoluia proiectului. Este important ca planul unei evaluri / monitorizri s e elaborat n aa fel ca s rmn relativ exibil. Astfel, coninutul su va putea revzut i, dup necesitate, adaptat.
n tabelul de mai jos sunt prezentate unele sugestii privind planicarea evalurii / monitorizrii.
30
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
- Cum vom obine informaia de care avem nevoie: prin msurare, prin discuii de grup, prin observare etc.? - Cine i cum va documenta / arhiva datele pe care le vom obine: prin notie, n imagini vizuale, imagini auditive? - Cum i unde vom depozita datele brute i cele analizate? - Cine va stoca datele? Cine va avea acces la aceste informaii? - Cine i cum va face o organizare a datelor evalurii, va sintetiza totalitatea de informaii disponibile i va oferi recomandri pentru a mbunti situaia evaluat? - Ce metode vor folosite: analiza statistic sau analiza de coninut? Cine i cum va alctui raportul asupra evalurii realizate? Ce informaii i ce etape ale evalurii vor mediatizate? Cui i vor prezentate rezultatele i concluziile studiului? Prin ce ci va diseminat aceast informaie?
Prezentarea rezultatelor
Resursele necesare
- De ce materiale, resurse nanciare, abiliti i cunotine vor avea nevoie persoanele din echipa de cercetare? - Va necesar colaborarea sau consultarea cu alte persoane (experi n domeniul evalurii, persoane interesate de domeniul evaluat)? - Ce aranjamente administrative sau logistice trebuie fcute (sal, transport, anunarea participanilor, scrisori de invitaie etc.)? - Care este intervalul de timp propus pentru ecare etap a studiului? - Cum vor asigurate: acordul persoanelor de a participa la evaluare, condenialitatea datelor, protecia confortului psihologic al participanilor etc.?
Aspecte etice
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
31
Capitolul
MONITORIZAREA I EVALUAREA
Resursele pentru realizarea evalurii / monitorizrii De multe ori, planicarea evalurii nseamn o echilibrare ntre ceea ce dorim s facem i ceea ce putem face, reieind din resursele de care dispunem. Resursele includ timpul, banii disponibili i cunotinele, creativitatea echipei. Membrii echipei de evaluare trebuie s e disciplinai i s aib sucient timp la dispoziie. De asemenea, este important s posede cunotine i abiliti necesare pentru a efectua o evaluare i a se implica la toate etapele acesteia. Echipa de evaluare trebuie s se gndeasc care ar cantitatea rezonabil de resurse pentru evaluare i, mpreun cu managerul i implementatorii proiectului s ia deciziile corespunztoare referitor la desfurarea evalurii.
Elaborarea schemei procesului de evaluare / monitorizare Pentru a ecient, planul evalurii trebuie s includ, ntr-un mod sintetic, toate informaiile necesare despre cum se va proceda la ecare etap. Printre aceste informaii ar putea :
ntrebrile de evaluare, indicatori ai succesului, sursele de la care vor obinute datele, metodele prin care vor colectate i analizate informaiile, o schi a resurselor necesare la ecare etap a evalurii, responsabilitile membrilor echipei de evaluare, limitarea n timp a activitilor de evaluare.
Pentru comoditate, schema procesului de evaluare poate inclus ntr-un tabel dup exemplul celui de mai jos:
ntrebrile de evaluare Indicatori ai succesului Centrul presteaz servicii n baza evalurii nevoilor tinerilor. Proporia tinerilor satisfcui de serviciile centrului. Sursele de la care vor obinute datele Tinerii care frecventeaz centrul Angajaii centrului Prinii tinerilor care frecventeaz centrul Metodele prin care vor colectate informaiile Analiza documentar Discuii focus-group Chestionar Metodele prin care vor analizate informaiile Analiza de coninut Analiza cantitativ Resursele necesare la ecare etap a evalurii Ghid pentru desfurarea discuiilor focus-group Foi, pixuri / creioane Responsabilitile membrilor echipei de evaluare Elaborarea ghidului pentru desfurarea discuiilor focusgroup A.B., C.D. Colectarea i stocarea datelor E.F., G.H., L.M. Analiza datelor i prezentarea raportului N.O., P.R., S.T. Datalimit
01.02.06
15.03.06
01.06.06
32
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Cine poate face parte din echipa de evaluare: membrii echipei de implementare a proiectului reprezentani ai partenerilor i beneciarilor persoane interesate n rezultatele proiectului experi n evaluare, cercettori
Oricare ar obiectul unei evaluri un program, o activitate, un fenomen, o problem, un grup de oameni etc., este util pentru evaluatori s se documenteze privind cercetarea acestuia n cadrul altor evaluri i studii, pentru a deni ct mai precis scopul i pentru a se informa cu privire la metodele
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
33
Capitolul
MONITORIZAREA I EVALUAREA
folosite deja n evaluarea domeniului respectiv. Este util consultarea tuturor documentelor proiectului, a rapoartelor de monitorizare i a celor oferite publicului larg de ctre donatori, precum i cutarea unor experiene similare n cadrul altor evaluri i studii.
Tehnicile de obinere a informaiei iniiale nu se deosebesc de cele utilizate pentru evaluare. Diferena const doar n scopul cu care se aplic. Alegerea metodelor de obinere a datelor iniiale depinde de cunotinele i experiena membrilor echipei de evaluatori i de resursele disponibile.
34
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Sugestii pentru colectarea informaiilor iniiale: Colectarea datelor trebuie s se realizeze pn la nceperea activitilor proiectului sau pn la urmtoarea faz a acestuia. Evalurile de pn la i dup implementarea proiectului trebuie incluse n planul de evaluare / monitorizare, ceea ce va permite alocarea resurselor necesare. Rezultatele evalurilor iniiale trebuie prezentate succint i clar, pentru a utilizate ecient de managerul de proiect i echipa de evaluatori ai proiectului.
O alt modalitate de a identica impactul interveniilor din proiect const n utilizarea comparaiei dintre 2 grupuri de persoane, comuniti, capaciti etc. Selectarea acestor grupuri se realizeaz dup criteriul participrii la activitile proiectului, unul dintre ele ind beneciar al acestora (grup experimental), iar altul nu (grup de comparaie). Este important ca grupurile implicate n evaluare s posede ct mai multe caracteristici asemntoare, cum ar : date demograce referitoare la structura populaiei, nivel de educaie, situaie socio-economic, acces la servicii comunitare etc.
Indicatorul este o caracteristic, un atribut cantitativ sau calitativ, care ofer un mijloc s mplu i sigur de msurare a succesului unei activiti sau de reectare a schimbrilor datorate unui proiect.
Indicatorii trebuie s opereze cu o unitate clar de msur i o int, prin care s e detaliate cantitatea, calitatea i durata de timp n care este ateptat rezultatul. Dezvoltarea setului de indicatori trebuie s in cont de aplicabilitatea / utilitatea informaiei pe care o vor furniza i de resursele disponibile pentru acumularea datelor necesare. Numrul de indicatori este limitat de domeniile de interes ale studiului. n totalitate, indicatorii ar trebui s ofere o imagine ct mai complex despre reuitele proiectului.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
35
Capitolul
MONITORIZAREA I EVALUAREA
Deoarece indicatorii de succes reprezint presupunerile sau ateptrile implementatorilor referitor la schimbrile pe care le va produce proiectul, identicarea lor trebuie realizat de ndat ce au fost stabilite obiectivele proiectului. Indicatorii au rolul de a oferi criterii obiective i msurabile de apreciere a gradului de succes n atingerea obiectivelor proiectului. n acest scop, un indicator de succes trebuie:
s e bazat pe rezultate s se raporteze la rezultatul, efectul, realizrile activitii, nu la coninutul acesteia; s e relevant, adic s reias din obiective i s vizeze un rezultat care poate atribuit activitilor din proiect; s e msurabil cantitativ sau calitativ; s e obiectiv vericabil s ofere aceeai informaie la efectuarea msurrii de ctre diferite persoane; s implice o comparaie semnicativ n timp, cu activiti similare sau cu un standard existent n domeniu; s e practic s e posibil de colectat datele pentru vericarea lui relativ uor i la un cost rezonabil; s e util informaiile pe care le prezint s e utile pentru luarea deciziilor de management al proiectului etc.
Exemple de indicatori
Obiectiv:
350 de tineri ntre 14-19 ani din localitatea Icseni cunosc metodele de prevenire a HIV/SIDA. Indicatori: numrul de materiale informative cu privire la prevenirea HIV/SIDA distribuite; numrul de seminare de informare organizate; numrul de participani la seminare; numrul tinerilor care cunosc cile de transmitere i metodele de prevenire a infectrii cu virusul HIV.
36
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Pentru ecare indicator stabilit, este important de precizat sursele de completare preconizate: de la cine va acumulat informaia necesar n decursul evalurii, cine va responsabil de acest lucru, prin ce metod se va realiza vericarea i cu ce frecven. Aproape orice domeniu poate investigat utiliznd indicatori cantitativi sau calitativi. Totui, indicatorii redau doar parial realitatea, deoarece schimbrile pe care le surprind acetia reprezint fenomene mult mai complexe. Un indicator reduce i prezint simbolic succesul n realizarea unui obiectiv, ntro manier care s e util echipei de implementare a proiectului. Dei evaluarea / monitorizarea proiectelor se asociaz n primul rnd cu existena indicatorilor, de multe ori este mai uor de nceput planicarea acestui proces prin formularea ntrebrilor de performan. Pentru a nelege procesul de schimbare, sunt utile ntrebrile de performan, rspunsurile la care pot explica esena cifrelor pe care le furnizeaz indicatorii. Cunoaterea factorilor care determin succesul sau eecul activitilor este crucial pentru optimizarea proiectului. ntrebrile de performan trebuie formulate astfel ca rspunsul la ele nu doar s descrie msura n care sunt atinse obiectivele acestuia, dar i s explice succesul sau insuccesul pe care l prezint un rezultat obinut. Complexitatea ntrebrilor de performan poate diferit, n funcie de nivelul la care sunt identicate. De exemplu, la nivelul activitilor de proiect, ntrebarea de performan trebuie s releve dac activitatea s-a desfurat la timp i cu succes. Nivelurile de rezultat i impact necesit operarea cu ntrebri evaluative mai complexe i care pun un accent mai mare pe calitate. Schimbrile observabile aici reprezint rezultatul tuturor activitilor i produselor proiectului, de aceea pentru a msura performana, este nevoie de luat n consideraie i interaciunea existent dintre acestea.
Exemple de ntrebri de performan Obiectiv: 350 de tineri ntre 14-19 ani din localitatea Icseni cunosc metodele de prevenire a HIV/SIDA. ntrebri de performan: Cum s-a schimbat nivelul de informare a tinerilor referitor la prevenirea HIV/SIDA ? Ce metode de informare cu privire la prevenirea HIV/SIDA sunt mai eciente dup prerea beneciarilor (informare direct, seminare, publicaii)?
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
37
Capitolul
MONITORIZAREA I EVALUAREA
De cele mai multe ori, este imposibil de inclus n evaluare toate persoanele care ne intereseaz numrul de persoane ar putea prea mare sau am putea limitai n timp ori resurse. n cazul proiectelor relativ mici este destul de real de colectat, de exemplu, opiniile tuturor beneciarilor, totui acest lucru nu este ntotdeauna necesar. n asemenea cazuri, evaluatorii selecteaz un grup mai mic de persoane din populaia de care sunt interesai.
Populaia este un termen statistic care reprezint totalitatea unitilor simple sau complexe care formeaz obiectul cercetrii. Eantionul este o parte a populaiei totale, acea parte care particip la studiu.
Msura n care rezultatele obinute pot atribuite ntregii populaii, numit reprezentativitate a eantionului, inueneaz validitatea i credibilitatea evalurii. De aceea un eantion trebuie selectat foarte atent. n cazul evalurii / monitorizrii unui proiect, eantionul poate constituit din beneciari, implementatori, parteneri, membri ai comunitii i alte persoane interesate.
38
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
n cazul evalurilor calitative este de ajutor s cutm cazurile bogate n informaii, pe care specialitii le descriu ca ind acele cazuri, care pot furniza mai multe informaii referitoare la chestiunile care au o importan vital pentru scopul evalurii. ntrebarea pe care o pune evaluatorul este: Cine posed cele mai multe informaii despre aceasta?. Implicarea diferitor categorii de persoane asigur nu numai calitatea studiului, dar i valoarea sa practic, prin susinerea ulterioar a eforturilor de soluionare a problemelor abordate n cercetare.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
39
Capitolul
MONITORIZAREA I EVALUAREA
Pentru completarea indicatorilor sau ntrebrilor de performan xate la etapele anterioare, pot utilizate diverse metode de colectare. Este important ca metodele alese s e relevante pentru evaluare i s asigure o vericare reciproc a informaiilor culese.
Cu scopul de a decide care sunt metodele optime n procesul evalurii unui proiect, echipa de evaluare ar putea alctui o list a posibilelor metode i analiza aceste metode din perspectiva avantajelor i dezavantajelor pe care le prezint.
Nici o metod de evaluare / monitorizare nu este universal, ecare este potrivit pentru un studiu sau altul. Metodele de evaluare pot cantitative sau calitative, dar pot utilizate i n combinaie. De exemplu, deseori metodele calitative sunt aplicate pentru a aduga mai mult informaie de profunzime datelor statistice obinute prin metode cantitative. O evaluare poate utiliza att metode cunoscute i tradiionale, ct i metode adaptate la specicul temei studiate sau combinaii de metode. Tabelul de mai jos prezint unele diferene dintre metodele cantitative i calitative.
Metodele cantitative Descriu ci? i ct de mult?. Utilizeaz predominant ntrebri nchise. Furnizeaz date numerice i cer o interpretare similar. Necesit eantioane relativ mari de persoane, deseori alese aleatoriu. Necesit cunotine i abiliti de lucru cu datele statistice. Rezultatele pot generalizate pentru ntreaga populaie din care a fost selectat eantionul. Culeg rspunsuri mai superciale la subiecte sensibile.
Metodele calitative Descriu cum? i de ce?. Utilizeaz predominant ntrebri deschise. Furnize az date despre percepii, convingeri, opinii, valori care pot interpretate din diferite perspective. Permit un numr mai mic de participani selectai intenionat. Necesit cunotine i abiliti de lucru cu informaii calitative. Rezultatele nu pot generalizate i sunt caracteristice doar pentru participani. Ofer rspunsuri mai profunde la subiectele sensibile.
40
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Este important a analiza dac metodele selectate sunt indicate pentru a obine informaia necesar i realizabile din diferite puncte de vedere al posibilitilor tehnice, al timpului necesar, al abilitilor membrilor echipei de evaluare. Echipa va selecta metodele care vor furniza un volum mare de informaii utile, sunt relativ uor de aplicat i avantajoase din perspectiva costurilor i timpului.
Pentru a selecta metodele potrivite, este important a lua n consideraie i alte aspecte: Ce tip de informaie (calitativ, cantitativ sau ambele) necesit ntrebrile din studiu? Avei nevoie de opinii individuale sau de grup? Cum prefer s comunice persoanele implicate (oral, n scris sau de exemplu, prin jocul de rol)?
Exist mai multe tipologii ale metodelor de evaluare, care se bazeaz pe diferite criterii. n tabelul de mai jos sunt incluse cteva clasicri ale metodelor de evaluare prezentate n partea a doua a acestui ghid.
Etapa studiului la care sunt aplicate De colectare
-
Istorioare Studiul de caz Desenul impactului Linia istoric a timpului Harta social Analiza cmpului de inuene Chestionarul Votarea pe scala cu fee zmbitoare Interviul Discuii focus-grup (DFG) Asaltul de idei (brainstorming) Bilanul Agenda Calendare sezoniere Armaiile Joc pe roluri Analiza SWOT
De analiz
Individuale
-
Cantitative
De raportare
-
Impersonale
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
41
Capitolul
MONITORIZAREA I EVALUAREA
Pe parcursul ntregului proces de evaluare echipa trebuie s decid dac utilizeaz metode individuale sau de grup. Metodele care implic o singur persoan permit obinerea unor informaii detaliate, iar analiza acestora ofer o privire general asupra temei studiate. Metodele bazate pe grupuri de participani produc informaii de perspectiv colectiv, incluznd arii de consens i de divergene. De asemenea, metodele de grup necesit ntr-o msur mai mare abiliti de facilitare din partea colectorului de date. Acest tabel ilustreaz o serie de avantaje i de riscuri ale metodelor individuale i de grup.
Avantaje - Ghidarea mai uoar a discuiei - Obinerea de informaii detaliate - Ofer informaii care, de obicei, pot structurate ca s e analizabile statistic - Ofer ocazii de nvare, deoarece sunt mprtite experienele membrilor grupului - Dac sunt planicate ecient, pot surprinde opinii foarte diverse, inclusiv ale persoanelor marginalizate - Indic ariile n care exist convergene i divergene de opinii Riscuri - Consum mult timp, n cazul cnd vrem s obinem informaii de la mai multe persoane - Nu sunt potrivite pentru a studia consensul de opinii - Este dicil analiza cost efect - Persoanele pot inuenate de dinamica sau compoziia grupului, ceea ce pune la ndoial validitatea informaiilor - De obicei, subiectele sensibile sunt mai dicil de abordat - Necesit un bun facilitator - Necesit o selecie atent a participanilor, pentru a reprezenta toate vocile necesare pentru realizarea evalurii
Individuale
De grup
42
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
explicarea scopului discuiei i rolului acesteia pentru evaluare; asigurarea condenialitii rspunsurilor; stabilirea unui contact interpersonal cu participanii; obinerea informaiei necesare, respectnd regulile metodei; oferirea de suport persoanelor care au diculti n discutarea unor subiecte, n special cnd snt abordate teme sensibile; oferirea ocaziilor de a adresa ntrebri, de a face concluzii, comentarii nale (n special n cazul metodelor calitative) n funcie de metod, utilizarea echipamentului necesar pentru nregistrarea rspunsurilor (reportofon, caiet i pix, notarea pe formularul chestionarului); stocarea informaiilor colectate.
Selectarea i instruirea operatorilor de teren este o etap care nu trebuie ignorat. E bine s ne asigurm c operatorii de teren se simt n largul lor, utiliznd metoda. De multe ori, acetia au nevoie de un seminar, n care s e incluse explicaii ale metodei, demonstrarea procedurii de aplicare, exerciii practice i discutarea dicultilor aprute.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
43
Capitolul
MONITORIZAREA I EVALUAREA
Operatorii de teren trebuie s e informai despre obiectivele evalurii i responsabilitile pe care le au n cadrul acesteia, pentru a ghida participanii s rspund la ntrebrile pe care le abordeaz studiul. De asemenea, este important ca ei s cunoasc procedurile de aplicare a metodei i nregistrare a informaiei, pe care urmeaz s le utilizeze. O alt abilitate important a operatorilor este a stabili relaii de ncredere i deschise cu persoane necunoscute i deseori foarte diferite. De obicei, aceasta nseamn s e sociabil, prietenos, curios i un bun asculttor. Totodat, operatorul trebuie s pstreze o atitudine neutr n ceea ce privete tema cercetat, pentru a nu inuena rspunsurile oferite de participani. Expresia feei i vocea operatorului de teren trebuie s e neutre, fr vreo aluzie la opinia sa personal. O alt caracteristic necesar este energia (productivitatea), deoarece comunicarea intens este deseori obositoare, iar lucrul n teren poate aduce diverse situaii dicile care trebuie depite prompt. i aspectul exterior al operatorilor poate avea importan pentru desfurarea reuit a evalurii. S-a constatat c aspectul serios al acestora mrete disponibilitatea respondenilor de a sinceri i inueneaz pozitiv credibilitatea studiului. De asemenea, respondenii sunt mai deschii atunci cnd observ o asemnare cu operatorul datorat vrstei, sexului, pregtirii profesionale, statutului acestuia etc. Pentru facilitarea sarcinii operatorilor, li se pune la dispoziie un set de materiale:
regulile (instruciunile) pe care trebuie s le urmeze n procesul de colectare i stocare a datelor: introducerea; crearea unei atmosfere confortabile pentru participani; descrierea, pas cu pas, a sarcinii; sugestii pentru depirea eventualelor diculti n comunicarea cu participanii la evaluare; instrumentele cu ajutorul crora operatorii vor obine informaiile necesare, de exemplu: ghid de ntrebri pentru discuia focus-group, sugestii pentru ecientizarea culegerii datelor etc. resursele necesare, de exemplu: reportofon, caiet pentru notie, numr necesar de copii ale chestionarului, materiale pentru participani (hrtie, carioca) etc.; schemele pentru stocarea datelor.
44
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
De obicei, chestionarele conin o introducere pe care respondenii sunt rugai s o citeasc. n cazul interviului, a discuiei focus-group sau a metodelor participative se recomand prezentarea oral a urmtoarelor aspecte: numele operatorului i a organizaiei care realizeaz evaluarea, o scurt prezentare a scopului evalurii, durata aproximativ a discuiei, asigurarea condenialitii, sublinierea faptului c participarea este voluntar.
Exemplu de introducere Bun ziua, m numesc Arina Munteanu i activez n cadrul Grupului de Iniiativ Promovarea Ideilor Tinerilor. Noi facem un sondaj despre ziarele elaborate de tineri, pentru a aa care sunt, n opinia cititorilor, punctele lor tari i slabe. A vrea s v adresez cteva ntrebri n legtur cu aceasta. Discuia noastr va dura aproximativ 30 de minute, iar rspunsurile dvs. vor rmne anonime. Suntei de acord s participai? Putem discuta acum sau ai dori s amnm discuia pentru o alt zi?
Pn a ncepe colectarea informaiilor pentru studiu, este important s ne asigurm c respondentul se simte confortabil, nu este grbit, nu se simte ameninat sau incomod. Chiar dac procedura dureaz doar cteva minute, ar mai bine ca i colectorul i respondentul s ia loc. Pentru a spori confortul respondentului, este bine ca ncperea n care are loc interviul sau chestionarea s e bine luminat i clduroas. Este bine ca la discuie s nu asiste alte persoane n afar de respondeni, pentru ca ultimii s se simt ct mai liber.
nregistrarea datelor colectate poate realizat n mod diferit, n funcie de metoda folosit. Unele metode necesit completarea de chestionare, tabele, altele nregistrarea audio sau video, scrierea rspunsurilor pe e sau luarea de notie detaliate. Adesea pentru nregistrarea datelor se recurge la un asistent. Deoarece operatorul de teren faciliteaz discuia i sarcina lui este a adresa ecare ntrebare, a facilita discuia de grup sau a stimula participanii s realizeze sarcina propus, i va dicil s ia notie n acelai timp. n acest caz, asistentul va nregistra rspunsurile participanilor, fr s intervin n discuii. Toate rspunsurile orale i comentariile oferite de respondeni (nregistrate audio sau prin notie), trebuie transcrise cuvnt cu cuvnt.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
45
Capitolul
MONITORIZAREA I EVALUAREA
Pentru a face posibil analiza ulterioar a informaiilor obinute de operatorii de teren, toate datele trebuie stocate ca s e accesibile pentru persoanele care vor lucra asupra lor. O schem ecient pentru stocarea datelor:
conine spaiu pentru informaii generale despre activitatea operatorului (numele, data i localitatea unde se efectueaz colectarea datelor, sursa de informaii, metoda utilizat); prezint clar ntrebrile de evaluare; ofer suci ent spaiu pentru a introduce rspunsurile oferite de respondeni la ecare dintre ntrebrile studiului.
Iat un exemplu de schem pentru stocarea datelor. Atunci cnd schema este completat la calculator, spaiul rezervat pentru introducerea informaiei se mrete automat. Exemplu
46
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Procesul de evaluare / monitorizare se bazeaz, ntr-o mare msur, pe documentele elaborate de echipa de implementare a proiectului pe parcursul desfurrii acestuia. Cnd se realizeaz monitorizarea unui program, proces sau a unei activiti, stocarea ecient a informaiilor obinute pe parcurs este crucial, deoarece trebuie s asigure o urmrire exact a schimbrilor produse n timp i a factorilor care le-au determinat. Este important a pstra datele obinute ntr-un studiu de evaluare / monitorizare i n forma lor original, adic aa cum au fost colectate chestionare completate, hri elaborate, e cu idei, registre, rapoarte ale membrilor echipei etc., precum i n format electronic. Toate materialele care documenteaz ntreg studiul de evaluare trebuie s e pstrate o perioad de timp, ca s poat prezentate, la solicitare, participanilor la studiu, factorilor de decizie sau altor persoane interesate.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
47
Capitolul
MONITORIZAREA I EVALUAREA
Analiza datelor unui studiu de evaluare / monitorizare const n examinarea atent a informaiei (idei, fapte, impresii, opinii), claricarea ei, identicarea elementelor de baz, clasicarea pe categorii, tabelarea sau recombinarea observaiilor acumulate n orice alt mod, pentru a rspunde scopului propus.
Axarea analizei pe ntrebrile evalurii
Oricare ar natura datelor, ncepei analiza prin revenirea la intenia studiului de evaluare. Profunzimea sau intensitatea analizei este determinat de scopul evalurii. Uneori, scopul este restrns i o analiz elaborat nu este necesar. De exemplu, dac v-ai propus s mbuntii un program de activiti, ai putea s organizai informaia identicnd punctele tari i slabe ale programului i sugestiile de mbuntire.
Insistena asupra scopului nu nseamn c nu suntem deschii fa de alte aspecte ale studiului. Ghidarea dup scop ne ajut s evitm situaia cnd suntem att de captivai de lucrurile pe care le am dintr-un studiu, nct ne pierdem n amnunte.
3. ncercai s privii constatrile ntr-un context mai larg i identicai anumite legturi n cadrul informaiilor, care v ajut s prezentai un tablou mai amplu i s oferii unele explicaii. Ai putea compara rezultatele cu ceea ce v ateptai s aai, cu anumite standarde existente n domeniul respectiv sau cu rezultatele altor studii. 4. Gndii-v ce ar trebui fcut pe viitor pentru mbuntirea domeniului evaluat i formulai cteva recomandri.
Sugestii pentru analiza datelor calitative Iat descrierea unei tehnici, numit i metoda mesei ncptoare. Aceasta v va ajuta s realizai pasul nr. 2 descris mai sus. Pentru a o aplica, vei avea nevoie de: sal n care s v putei desfura toate materialele i unde acestea pot rmne nemicate pn la sfritul analizei;
transcrieri; foarfece; carioca; coli mari de hrtie; band adeziv; tabl sau perete pe care s putei lipi hrtie.
ncepei prin a face 2 copii ale ecrei transcrieri, una pentru lucru cea pe care o vei tia, iar alta va rmne intact. 1. nainte s le tiai, citii rapid transcrierile. Aceasta v va aminti care este tema principal i lucrurile care s-au discutat n studiu. 2. Iat cteva procedee care v vor ajuta s identicai sursa citatelor cu care vei opera: * Numerotai ecare rnd al transcrierii, aa vei localiza rapid orice citat. * Imprimai transcrierile pe hrtie de culori diferite, marcndu-le astfel dup tipul de participani. De exemplu, elevii albastr, profesorii verde. * Trasai cu carioca o linie pe partea stng a ecrei pagini a transcrierilor. Variai culoarea liniilor n funcie de grupul de participani. 3. Aranjai transcrierile ntr-o ordine de lucru dup categoriile de participani sau dup unele caracteristici demograce ale participanilor. De exemplu, dac ai organizat discuii focus-group cu elevii i profesorii, vei lucra mai nti cu toate transcrierile uneia dintre categorii.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
49
Capitolul
MONITORIZAREA I EVALUAREA
4. Punei cteva coli de hrtie pe perete, mas, podea sau tabl. Scriei cte o ntrebare care a fost adresat participanilor n partea de sus a ecrei coli. 5. Tiai transcrierile n buci, conform ideilor expuse n ele. Urmeaz s punei pe categorii ecare comentariu. 6. Citii ecare comentariu i rspundei la urmtoarele ntrebri: Pasul 1. Participantul a rspuns la ntrebarea care a fost pus? Dac DA, trecei la pasul 3. Dac NU, trecei la pasul 2. Dac NU TII, dai-l la o parte i vei reveni asupra lui. Pasul 2. Acest comentariu reprezint un rspuns la o alt ntrebare adresat? Dac DA, trecei-l la ntrebarea respectiv. Sugestie: Nu trebuie s presupunei c ntrebarea va urmat de rspunsuri. Uneori, participanii vor oferi rspunsuri la alte ntrebri puse mai devreme sau la ntrebri care nc nu au fost adresate. Atunci cnd se ntmpl aa, plasai comentariul n locul adecvat. Dac NU, trecei la pasul 3. Pasul 3. Comentariul spune ceva important despre subiectul discuiei? Dac DA, lipii-l pe coal sub ntrebarea respectiv. Dac NU, lsai-l la o parte. Sugestie: Folosii mai puin band adeziv, pentru c mai trziu s-ar putea s vrei s mutai citatele.
Pasul 4. Se aseamn acest comentariu cu ceea ce s-a spus mai devreme?
Dac DA, ncepei s grupai aceste citate, s formai o categorie, n care includei lucrurile care se aseamn. Dac NU, ncepei s formai o nou categorie.
n acest mod, facei comparaii i luai decizii referitor la ecare comentariu.
Pasul 5. Dup ce ai decupat transcrierile, revedei citatele nefolosite, pentru a vedea dac se potrivesc categoriilor create.
50
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
7. Asigurai-v c toate citatele care spun lucruri asemntoare se a la un loc. Rearanjai-le pn cnd vei mulumit. Poate c vrei s cerei prerea altor persoane despre felul cum ai obinut categoriile. 8. Scriei un rezumat pentru ecare pagin cu comentarii, n care s descriei cum a rspuns ecare grup de participani la acea ntrebare. De exemplu, vei obine 2 rezumate unul despre opiniile elevilor referitor la o ntrebare, iar altul despre opiniile profesorilor la acelai subiect. 9. ncercai s comparai rezumatele. Prin ce se aseamn? Prin ce se deosebesc? Descriei ceea ce observai. Mai trziu poate vei dori s oferii o interpretare a lucrurilor sau s facei unele recomandri. n timpul acestui proces, va trebui s decidei ct importan s acordai anumitor comentarii sau subiecte. De obicei, se iau n considerare civa factori: Frecvena. Suntem ateni la ct de des se spun anumite lucruri, dar este greit s presupunem c lucrurile care sunt menionate cel mai des, sunt i cele mai importante. Se poate ntmpla, de exemplu, ca un comentariu de importan major s e fcut o singur dat n cadrul unei discuii focus-group. Trebuie s cunoatei multe lucruri despre tema studiat pentru a putea identica o remarc valoroas. Precizia. De obicei, se acord mai mult importan comentariilor precise care ofer detalii. Implicarea emoional. Acordm mai mult valoare comentariilor sau subiectelor care i implic emoional pe participani. Rspndirea. Frecvena i rspndirea snt lucruri asemntoare, dar diferite. Rspndirea se refer la cte persoane diferite au spus un anumit lucru. Frecvena arat de cte ori s-a spus un anumit lucru. De exemplu, un subiect poate menionat de multe ori, dar s e adus n discuie de o singur persoan. 10. Dup ce ai terminat acest nivel al analizei, putei continua cu includerea interpretrilor sau / i a recomandrilor echipei de evaluare. Chiar dac raportul unei evaluri prin metode calitative nu este att de riguros n delimitarea rezultatelor obinute i analizei lor, este important ca prezentarea studiului s e realizat n aa fel, nct orice cititor s poat face distincia ntre acestea.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
51
Capitolul
MONITORIZAREA I EVALUAREA
Identicarea categoriilor
Analiza datelor de natur calitativ se bazeaz pe identicarea categoriilor. Modul n care clasicm lucrurile pe categorii depinde de scopul nostru. Evaluatorii trebuie s reecteze la utilitatea categoriilor pe care le aleg. De cele mai multe ori, acestea sunt determinate de obiectivele evalurii.
Reexivitatea evaluatorilor
n evalurile calitative despre evaluatori se spune c sunt precum un fel de instrument pentru colectarea i analiza informaiilor. Aceasta nseamn c, prin opiniile lor ei ar putea inuena analiza datelor. Pentru a evita direcionarea interpretrilor n sensul unor opinii preconcepute referitoare la tema evalurii, cei care analizeaz datele trebuie s e contient de propriile convingeri, valori, opinii, idei vizavi de tema respectiv. Uneori evaluatorii au intuiii referitoare la ceea ce pot aa atunci cnd analizeaz informaiile i trag concluzii imediat ce gsesc primul argument care le susine ideea. Pentru a evita concluziile pripite, punei-v ntrebri care s v pun la ndoial ideea, cutai dovezi care nu v susin punctul de vedere sau care ofer informaii contrare, cerei prerea altor persoane, i dispus s renunai la o interpretare i s acceptai i alte opiuni.
52
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
53
Capitolul
MONITORIZAREA I EVALUAREA
ale participanilor la studiu ca: vrsta, situaia economic, studiile, aria de reziden (urban sau rural), sexul etc. De cele mai multe ori sunt utilizate doar cteva dintre categoriile enumerate. Este necesar de decis care anume caracteristici snt relevante pentru obiectivele i indicatorii proiectului. Gndii-v c rezultatele obinute sunt de la eantionul ntreg. Dar dac acest eantion ar mprit n cteva grupuri diferite (n baza rspunsurilor oferite la anumite ntrebri), ar putea s difere rezultatele de la un grup la altul? Spre exemplu, este posibil ca brbaii i femeile s rspund diferit la una i aceeai ntrebare? 4. Analizai concomitent cte dou ntrebri ale studiului de evaluare. Gndiiv la ecare variabil din studiu mpreun cu care variabil poate analizat? Pentru a decide, apelai la ntrebrile pe care le abordeaz evaluarea. Acestea v vor ajuta s organizai informaiile. 5. Gsii o modalitate de a include ntr-un tabel ct mai multe rezultate statistice calculate (medii, frecvene, rate). Aceasta va contribui la prezentarea sintetic a constatrilor evalurii. 6. n cazul ntrebrilor care au fost abordate i n alte evaluri sau cercetri cantitative, comparai rezultatele obinute cu cele din studiile respective. Ignorai diferenele mai mici de 5%, ele se pot datora erorilor de eantionare. Dac depistai diferene mai mari de 20%, este posibil c unele dintre rezultate s nu e valide.
54
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Teoretic, prima metod este mai rapid, dar practic nu, deoarece las loc greelilor. Cea de-a doua metod este mai ecient, deoarece presupune s facei cte un grup de chestionare pentru ecare variant de rspuns la aceeai ntrebare. Aceasta nseamn c pentru ecare ntrebare analizat, chestionarele trebuie de ecare dat re-grupate. n acest mod i greelile pot descoperite la timp, n procesul numrrii rspunsurilor. De exemplu, pentru a numra rezultatele la ntrebarea Ce sex avei?, va trebui s formai 2 grupuri de chestionare masculin i feminin, sau chiar 3, n cazul cnd vor i chestionare n care respondenii nu vor rspunde la aceast ntrebare. Cnd ai format grupurile, numrai cte chestionare se conin n ecare din ele, totodat vericnd dac le-ai grupat corect. Suma totalurilor obinute dup numrarea tuturor grupurilor de chestionare formate ar trebui s coincid cu numrul total de chestionare completate. Dup ce ai aranjat sub form de tabel datele, adic rspunsurile numrate, continuai n acelai mod cu urmtoarea ntrebare din chestionar. Tabelul de mai jos prezint un alt exemplu de distribuie a frecvenei, conform sexului participanilor la studiu.
n cazul ntrebrilor din chestionar, care ofer posibilitatea de a alege cteva variante de rspuns, este mai dicil de numrat manual rezultatele. n asemenea cazuri, chestionarul unuia i aceluiai respondent ar trebui s nimereasc concomitent n 2 sau 3 grupuri diferite. De exemplu, la ntrebarea Ce limbi strine cunoatei?, unii respondeni ar putea da mai multe
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
55
Capitolul
MONITORIZAREA I EVALUAREA
rspunsuri. Una dintre soluii este s formm grupuri diferite pentru ecare variant de combinaie a rspunsurilor: engleza, franceza, germana; engleza i franceza; engleza i germana; etc. O alt cale ar formarea a cte dou grupuri de chestionare pentru ecare variant de rspuns: n primul grup incluznd respondenii care cunosc limba englez, iar n al doilea pe cei care nu o cunosc. Calcularea procentajelor arat proporia activitilor, obiectelor, persoanelor care posed o anumit caracteristic n cadrul eantionului total. Procentajele sunt utilizate deseori pentru a prezenta starea curent sau schimbrile produse n timp ntr-un anumit domeniu. Iat un exemplu de distribuie procentual conform vrstei i sexului participanilor la un studiu.
Grup de vrst conform sexului Pn la 25 de ani ntre 25 i 44 de ani Peste 45 de ani Total
Calcularea mediei este utilizat pentru a sintetiza rezultatele studiului. Rezult din mprirea sumei rspunsurilor numerice la o anumit ntrebare la numrul de rspunsuri / participani. De exemplu, n cazul ntrebrilor care necesit o exprimare mai nuanat a opiniei (1 = nu sunt de acord, 2 = sunt parial de acord, 3 = sunt de acord), este mai clar dac spunei c media pentru o anumit ntrebare este de 2.4, dect dac spunei ci respondeni au ales s rspund 1, ci 2 sau 3. Media aritmetic are proprieti matematice care o fac util pentru realizarea multor procedee statistice.
56
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
57
Capitolul
MONITORIZAREA I EVALUAREA
Urmtoarele lucruri sunt importante n acest sens:
Cu ct un raport este mai scurt, cu att este mai probabil s e citit. Cu ct este mai lung raportul, cu att mai mult timp dureaz elaborarea lui, ceea ce genereaz riscul ca rezultatele prezentate s nu mai e actuale. Dac este prea scurt, raportul ar putea s nu includ toat informaia necesar pentru a lua anumite decizii n domeniul cercetat sau pentru studiile viitoare din domeniu. Cu ct mai multe aspecte are evaluarea i cu ct este mai mare numrul de participani la aceasta, cu att mai voluminos va raportul. Dac raportul va util mai multor categorii de persoane, poate elaborat o variant general (mai scurt) i una mai specic (mai lung), destinat anumitor grupuri de persoane. Rapoartele scrise opereaz cu 3 elemente de baz: cuvinte, cifre i grace. De multe ori, unul dintre acestea predomin. Pentru a ct mai explicite i mai atractive, rapoartele trebuie s le includ pe toate ntr-un mod echilibrat, aproximativ n aceeai msur. Cele mai importante constatri pot prezentate n diverse moduri, pentru a nelese de mai multe persoane. Deseori este necesar a comenta rezultatele prezentate prin cifre.
Exemplu de schi pentru un raport scris Pagina de copert. Menioneaz titlul, persoanele sau organizaia care primesc sau preiau raportul, numele evaluatorilor, data cnd este prezentat. Sumarul executiv. Se plaseaz dup copert i descrie contextul i motivul pentru care s-a organizat evaluarea, enumer principalele constatri, concluzii i recomandri. De multe ori, are 2-3 pagini i ar trebui s poat citit independent de cellalt text. Ofer orice informaie important pentru ca cititorul s neleag rezultatele prezentate, importana i utilitatea studiului. Este deosebit de important pentru persoanele care ar putea s nu aib timp pentru a citi ntreg raportul. Cuprinsul. Ajut cititorii s se descurce cu rapoartele mai lungi, dar nu e necesar n cazul celor mai scurte. Scopul i metodele. Descrie scopul evalurii i prezint pe scurt desfurarea ei. Complexitatea de prezentare a metodologiei depinde de publicul pentru care e destinat raportul. De cele mai multe ori, cititorii sunt interesai de numrul i tipurile de participani, locul n care s-a desfurat i metodele folosite. Toate acestea trebuie redate pe scurt, iar ntrebrile propriu-zise ale cercetrii pot incluse n anex.
58
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Rezultatele / constatrile. Acest compartiment trebuie organizat n funcie de ideile cele mai importante pentru cititori. n multe cazuri, dac informaia este redat n ordinea n care a fost colectat, ea nu este att de interesant i poate avea multe repetri. De aceea, este preferabil structurarea rezultatelor dup cele mai importante teme i constatri ale evalurii. Scopul principal al unui raport este a oferi cunotine, a ajuta pe cineva s neleag anumite aspecte, a transmite informaii. Decidei care dintre informaiile pe care le deinei pot noi, importante, valoroase pentru public. Concluzii i recomandri. Aceast seciune cuprinde un rezumat al ideilor eseniale emise de participani i arat consecinele care se impun n legtur cu problemele dezbtute. Recomandrile constituie sugestii referitoare la modul n care pot folosite rezultatele. Se consider c oferirea de recomandri este opional. Datorit faptului c a lucrat mult timp asupra datelor obinute n studiu, echipa de evaluare este n poziie bun s ofere recomandri referitor la aciunile care trebuie ntreprinse n domeniul respectiv. Totui, unii sunt de prerea c cititorii trebuie s deduc din rezultatele prezentate care ar aciunile potrivite pe viitor. O variant de compromis, dar care este mult mai ecient, este aceea n care evaluatorii i cititorii elaboreaz n comun recomandrile pentru domeniul studiat. n acest scop, imediat ce sunt gata rezultatele studiului, poate desfurat un atelier de lucru n cadrul cruia persoanele interesate s discute constatrile prezentate i s formuleze recomandri de viitor. Dac decidei s includei recomandri n raportul de evaluare, asigurai-v c acestea sunt clare, concise i directe. ntr-un raport de evaluare, recomandrile ar putea viza:
modaliti de mbuntire a felului n care a fost gestionat proiectul (planicare, luare de decizii, dezvoltare de politici, necesitatea de asisten tehnic sau de a dezvolta capaciti etc.); aciuni necesare pentru a spori eciena i ecacitatea proiectului; sugestii pentru optimizarea procesului i a metodologiei de evaluare / monitorizare; tematici pentru cercetri de viitor.
Anexe. Aici se includ informaii despre participani date socio-demograce, modul n care au fost selectai, dar fr a oferi detalii care ar putea identica persoanele. Mai pot incluse detalii despre metodele utilizate i copii ale instrumentelor de colectare (chestionar, ghid de interviu, metode participative).
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
59
Capitolul
MONITORIZAREA I EVALUAREA
includei citate scurte, pentru a nu plictisi cititorii; prezentai doar cele mai relevante i ilustrative citate; redai comentariile participanilor prin caractere deosebite de cele utilizate pentru restul textului.
Exemplu Tinerii implicai n evaluare au armat c una dintre schimbrile semnicative care s-a produs cu ei n rezultatul participrii la proiect este formarea unei atitudini optimiste fa de viitor i locul / rolul propriu n cadrul societii. Avnd convingerea c lucrurile pot schimbate, ei nu ezit s ia atitudine i abordeaz constructiv fenomenele i aciunile din comunitate care i vizeaz direct sau indirect.
Sunt mai optimist, am cptat ncredere n mine, sunt mai curajoas; Am nvat s u mai optimist, mai ndrzne, mai descurcre; nainte de a m implica eram altfel, acum sunt o re optimist, curioas, receptiv, am depit nite bariere de comunicare; Optimist i mai activ n societate.
Sursa: Tinerii Evalueaz Participarea, raport de evaluare a participrii tinerilor n Republica Moldova, EYE Moldova, UNICEF 2004.
61
Capitolul
MONITORIZAREA I EVALUAREA
Exemplu NIVELUL DE INFORMARE GENERAL A TINERILOR DESPRE FENOMENUL HIV/SIDA Tabel 1.1. Esena fenomenului HIV/SIDA
ntrebare/Rspuns Poi avea virusul HIV n snge i s nu tii despre aceasta O persoan care arat sntos poate avea HIV SIDA scade rezistena organismului la infecii Da 75,3% 73,5% 66,4% Nu 16,6% 15,1% 15,2% Nu tiu 6,6% 10,4% 16,8% Nr 1,4% 1% 1,7% Total 100% 100% 100%
Dup cum se observ n tabelul 1.1., tinerii prezint o cunoatere de nivel mediu, evident insucient, al naturii virusului i bolii. din ei apar informai despre perioada de incubare a virusului, totui mai puini recunosc efectul imunodecient al acestuia. Proporia rspunsurilor nu tiu la ntrebrile privind informarea denot goluri n cunotinele despre esena fenomenului. n general, respondenii cu vrsta de peste 22 ani din acest studiu au oferit cele mai corecte rspunsuri. Nivelul lor de informare se poate datora faptului c aceste persoane i fac studiile la universiti sau sunt profesori. Grupul de vrst 19-22 ani este urmtorul corect, dei insucient, informat, dup care urmeaz tinerii de16-18 ani i cei de 12-15 ani. Subiecii de sex masculin apar, n general, mai bine informai. Aceast situaie se poate datora mai multor fenomene: curiozitate mai mare a bieilor, acces mai mare la informaie, care circul mai uor n mediul lor, afectare mai mic de tabu-uri n acest domeniu.
Respondenii din orae dau dovad de un nivel mai bun al cunotinelor generale despre HIV/SIDA, iar localitile din centrul republicii arat o viziune mai realist, dect nordul i sudul.
Sursa: HIV/SIDA i adolescenii: cunotine, opinii i atitudini, cercetarea informrii, a resurselor informaionale i a atitudinilor tinerilor din Republica Moldova privind HIV/SIDA, CIDDC 2003
62
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Prezentarea oral
Prezentrile n faa publicului, cu ajutorul programelor soft (ca powerpoint), au devenit destul de rspndite. Dar i proiectoarele cu slide-uri sunt utile. Dac posibilitile tehnice sunt limitate, poate folosit tabla sau o coal mare de hrtie. De obicei, prezentarea nu nlocuiete raportul scris, dar contribuie la diseminarea informaiei. Varianta complet a raportului poate nmnat publicului care particip la prezentare. Aa o prezentare poate dura 30-60 minute, cu demonstrarea a 20-30 de imagini cu tabele, grace i puin text. La ea pot prezeni n jur de 40 de persoane. Dup prezentarea propriu-zis, se poate organiza o discuie, cnd participanii pot adresa ntrebri, iar echipa de evaluare va rspunde la ele. Prezentarea poate efectuat de cteva persoane, n acest mod informaia este perceput mai uor, deoarece publicul nu se plictisete. n cadrul prezentrilor trebuie artate cele mai importante constatri i concluzii. Pentru aceast form de prezentare a unei evaluri, sunt importante abilitile de prezentare ale evaluatorilor.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
63
Capitolul
MONITORIZAREA I EVALUAREA
Atelierele
Acestea constituie spaii foarte eciente pentru ca participanii (pn la 15 persoane) s neleag i s poat interpreta rezultatele unei evaluri n termeni practici. n timp ce alte tipuri de prezentri se bazeaz pe capacitatea publicului de a asimila un volum mare de informaie ntr-un timp relativ scurt, atelierele pot avea o durat de cteva ore sau cteva zile, n funcie de complexitatea evalurii. n cadrul lor, persoane interesate, cum sunt implementatorii de proiecte, factorii de decizie, actorii comunitari etc., pot analiza posibilitile de aplicare n practic a rezultatelor evalurii. Uneori, aceste persoane au nevoie de ajutorul membrilor echipei de evaluare pentru a nelege corect rezultatele prezentate i a identica cele mai bune soluii.
64
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
mbuntirea proiectului
Raportul de evaluare subliniaz punctele tari i slabe ale proiectului i sugereaz soluii pentru problemele identicate. Este important nu doar faptul dac proiectul i-a atins obiectivele propuse. Aplicarea n practic a constatrilor evalurii se manifest i prin elaborarea aciunilor de forticare a proiectului. Echipa de implementare a proiectului poate s utilizeze concluziile i leciile nvate din raport pentru mbuntirea activitii sale ulterioare. Planul de aciuni n acest sens este mai ecient dac are o durat stabilit n timp i desemneaz persoanele responsabile pentru anumite activiti concrete.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
65
Capitolul
MONITORIZAREA I EVALUAREA
Toi cei care sunt vizai ntr-o form sau alta de evaluare, au dreptul de a informai i consultai referitor la obiectul ei.
Deoarece a participa sau nu la o evaluare este dreptul oricrei persoane, pentru a lua aceast decizie, ea are nevoie de o anumit informaie referitor la natura studiului. Se recomand ca, nainte de nceperea investigaiei, subiecii implicai s e informai ct mai amnunit despre obiectivele evalurii, membrii echipei de evaluare, participanii la procesul de evaluare, msura n care evaluarea solicit dezvluirea unor aspecte ale vieii personale, modul n care vor nregistrate informaiile, modul n care datele vor utilizate i care sunt posibilele benecii i riscuri de pe urma participrii. n nici o mprejurare evaluatorul nu trebuie s induc n eroare asupra temei i obiectivelor evalurii. Acest acord din partea actorilor comunitari ofer i un suport pentru efectuarea evalurii, deoarece faciliteaz accesul la diferite persoane i instituii. n acest scop, sunt utile att explicaiile verbale referitoare la studiu, ct i scurtele prezentri n scris ale acestuia.
Principala sarcin a evaluatorilor este asigurarea bunstrii zice, emoionale i sociale a tuturor participanilor la studiu, n special, a copiilor.
66
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Pe parcursul evalurii, ncepnd cu etapa de colectare a datelor, trebuie evitat orice fel de etichetare a persoanelor (de exemplu, denumiri ca grupproblem). Este important ca toi participanii implicai s se simt valoroi i nu victime sau parte a problemei. Pentru aceasta, ei trebuie s e ascultai i respectai pentru toate opiniile exprimate. De asemenea, trebuie create condiii favorabile pentru ca ei s neleag c sunt liberi s vorbeasc doar att ct vor, indiferent de subiect. Este important ca membrii echipei de colectare a datelor s acorde maxim atenie strii emoionale a participanilor, ndeosebi n situaiile cnd sunt discutate subiecte foarte sensibile sau cnd tematica evalurii are tangene cu diverse probleme sociale: srcia, abandonul, marginalizarea, violena, etc. n cazul unor reacii emoionale negative, se poate organiza o activitate care s-i ajute s depeasc aceast stare. Evaluatorii vor avea grij ca, dup comunicarea cu ei, persoanele implicate s nu rmn indispuse, cu o stare emoional dezechilibrat. Membrii echipei de colectare a datelor trebuie s e pregtii i pentru situaia n care unele persoane i vor mprti anumite experiene neplcute din via. Oricare ar strategia pe care o va adopta operatorul de teren, aceasta trebuie s e orientat spre protecia respondentului. Astfel, se poate discuta cu acesta despre posibilitile de a aciona n situaia relatat de el. De asemenea, el poate ncurajat s se adreseze unei persoane de ncredere din comunitate, care poate s-i ofere ajutor i suport. n asemenea cazuri este foarte important s nu se creeze condiii pentru agravarea situaiei persoanei respective. De aceea, specialitii recomand re-adresarea cazurilor dicile ctre organele de resort doar cu acordul participanilor la studiu.
Asigurarea condenialitii
Anonimatul este un drept fundamental al participanilor la evaluare. Asigurarea anonimatului respondenilor este o condiie pentru garantarea credibilitii evalurii.
Puini oameni i-ar exprima opiniile adevrate, detaliile din viaa personal sau emoiile n legtur cu o anumit problem, tiind c numele lor ar aprea n nite publicaii la care ar avea acces un public larg. Acesta reprezint i preocuparea multor copii care sunt implicai n evaluri, n special, atunci cnd se a n situaii de via mai dicile i i doresc ca unele persoane (prini, profesori etc.) sau chiar nimeni s nu ae ce au spus n cadrul evalurii.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
67
Capitolul
MONITORIZAREA I EVALUAREA
De aceea, este foarte important ca participanii la studiu s e asigurai c identitatea lor nu va descoperit. Persoanele implicate trebuie anunate c luarea de notie i nregistrarea declaraiilor lor este o parte extrem de important din evaluare. Aceast aciune este explicat prin faptul c evaluatorii i doresc s nu piard nici o idee din cele expuse de participani.
Este important s se rspund adecvat i sincer la eventualele ntrebri din partea participanilor, legate de beneciile lor de pe urma participrii la evaluare.
A propune unor persoane s participe ntr-o evaluare, nseamn a le trezi anumite ateptri fa de utilizarea rezultatelor acesteia i mbuntirea situaiei personale. Pentru unii oameni ar putea dicil s neleag c problemele lor sau ale comunitii n care triesc nu se vor rezolva imediat dup realizarea evalurii. De aceea, este important de spus c efectele unei evaluri sunt relativ ndeprtate n timp. Rezultatele evalurii vor ajunge la persoanele care au putere de decizie i vor utilizate ca atare. Nu facei promisiuni personale sau din partea unei organizaii, care nu sunt realizabile sau nu vor realizate prin aceast evaluare. De multe ori, pentru participani este important s tie c mai multe persoane din ar, care se a n condiii similare, vor benecia de pe urma evalurii realizate. n acelai timp, trebuie evitat pesimismul. Uneori, nivelul ateptrilor de viitor merit s e ridicat, n special n cazul copiilor, deoarece ncurajarea acioneaz motivant asupra comportamentului.
Recompensa oferit unei persoane este o apreciere a investiiei sale de efort i timp pentru realizarea evalurii.
n unele comuniti oamenii comunic liber i deschis cu un evaluator, fr a avea nevoie de vreo recompens. Aceasta este adevrat, n special, dac organizaia care efectueaz sau naneaz evaluare este cunoscut i dac respondenii vd o legtur ntre a-i exprima opiniile i mbuntirea
68
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
serviciilor din comunitate. n alte comuniti oamenii consider c este resc s obin o recompens pentru faptul c ofer unele informaii i investesc timpul lor liber. Exist i cazuri cnd persoanele participante se pot simi mituite prin oferirea de cadouri doar pentru faptul c i mprtesc opiniile. n cazul copiilor i tinerilor, recompensarea este, de asemenea, un semn c sunt tratai cu seriozitate, ca parteneri egali. Deoarece banii n calitate de recompens sunt considerai un element manipulator, copiii participani n evaluri ar putea benecia de anumite cadouri. Este destul de dicil s ghiceti exact ce ar stimula ecare respondent. De aceea, atunci cnd se decide asupra stimulentelor, cadourilor, inei cont de urmtoarele:
s e uor pentru a transportat de persoana care colecteaz informaii; s e sucient de interesant / util / atractiv pentru a stimula cooperarea; s aib o valoare medie, pentru a nu provoca rspunsuri distorsionate, cauzate de tendina de a produce o impresie plcut.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
69
Capitolul
Materiale
Fie cu armaii (anex), carnet, pix
Timp
20 minute
Procedur
Aceast metod presupune completarea unor propoziii standardizate, cu care participanii pot de acord sau nu. Determinai mai nti propoziiile pe care le vei include n . Completarea elor poate realizat n cadrul unui atelier de evaluare, de ctre ecare participant n mod individual sau n grupuri mici. Adulii i tinerii pot lucra mpreun la completarea acestei e sau pot lucra separat, dar completnd ele simultan i n prezena unui facilitator. Completarea elor poate avea loc i prin pota electronic, dar trebuie s v asigurai c ele vor returnate. Oferii participanilor cte o . n anex gsii un exemplu de standardizat cu propoziiile care trebuie completate de ctre participanii la evaluare. Tema ei propuse ca exemplu este participarea tinerilor, ns putei elabora asemenea armaii la tema pe care o evaluai dvs. Cnd alctuii a, avei grij s lsai sucient spaiu pentru rspunsurile respondenilor. Dup ce ai colectat ele, urmeaz analiza lor, care va desfurat mpreun cu membrii echipei de evaluare dup atelierul propriu-zis.
70
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Ocupaia__________________________________________________
Te rugm s completezi urmtoarele armaii cu cuvinte proprii. Nu te gndi prea mult, scrie primele cuvinte care i vin n minte. Poi sigur / sigur c nimeni nu va aa rspunsurile tale. 1. Drepturile tinerilor sunt ____________________________________ 2. Obligaiile tinerilor sunt ____________________________________ 3. Tinerii pot participa de la vrsta de ___________________________ 4. Tinerii nu ar trebui s _______________________________________ 5. Tinerii ar trebui s _________________________________________ 6. Tinerii ar trebui s participe la ________________________________ 7. Tinerii nu ar trebui s participe la _____________________________ 8. Opiniile tinerilor sunt ______________________________________ 9. Atunci cnd tinerii iau decizii, rezultatul este ___________________ 10. Adulii au responsabilitatea s ______________________________
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
71
Capitolul
Materiale
Agende, pixuri
Timp
Pe parcursul unei perioade stabilite n cadrul proiectului.
Procedur
ncepei completarea agendei chiar de la nceputul proiectului. Decidei mpreun cu grupul / echipa de implementare cine va nregistra datele. Agendele pot mai mult sau mai puin structurate i nu sunt n mod necesar bazate pe indicatori, dar pot descrie teme generale. Ele pot concentrate pe o singur tem / activitate sau pot cuprinde mai multe tematici. Informaiile pot documentate n scris, nregistrate pe caset video sau audio, fotograi. Pot incluse de asemenea i diagrame. Agendele pot scrise avnd la baz discuiile de grup, de exemplu ca anexe a proceselor verbale. n mod alternativ, acestea pot scrise n mod individual de persoanele interesate de proiect. Agendele pot apoi folosite n timpul edinelor sau dezbaterilor n echip. Colectarea datelor, analiza lor i apoi prezentarea concluziilor pot necesita i alte metode, precum interviurile, linia istoric a timpului, discuiile focus-group i compilarea nregistrrilor audio / video / fotograilor. O copie a agendei va rmne la persoana care a nregistrat datele i care poate compara ce s-a schimbat n timp i din ce motive au avut loc aceste schimbri.
Sugestii
Aceast metod este util pentru a atrage atenia la detalii care ar putea trece neobservate. Explic cum s-a produs o schimbare. Metoda este accesibil pentru tineri, deoarece ei nii pot decide cnd i cum vor nregistra datele.
Agendele pot furniza informaii detaliate i de calitate, dar care trebuie corect formulate i introduse cu regularitate. Coninutul agendelor trebuie analizat foarte atent. Prin urmare, este util a decide n prealabil ce fel de notie trebuie fcute.
72
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Materiale
Coli mari de hrtie, carioca color, band adeziv
Timp
1 or 10 minute
Procedur
Ajutai participanii s formeze grupuri mici, de 3-5 persoane, apoi explicai atent metoda. Funcia de evaluare. Prezentai participanilor schema cmpului de inuene i rugai-i s scrie n cmpul din stnga situaia de la nceputul proiectului n trecut, iar n cmpul din dreapta starea proiectului n prezent. Apoi rugai-i s analizeze factorii (de exemplu, resursele) care au ajutat proiectul s evolueze pn la situaia actual i s-i noteze pe sgeile orientate n sus. Pe sgeile orientate n jos participanii vor scrie obstacolele care au inuenat aceast evoluie. Funcia de planicare a proiectului. n loc de descrierea situaiei din trecut i prezent, participanii descriu prezentul i apoi scopurile de viitor ale proiectului i, de asemenea, identic resursele care i vor ajuta s le ating i obstacolele care i pot mpiedica. n dreptul celor dou cmpuri ale trecutului i prezentului sau prezentului i viitorului, va indicat o perioad estimativ. n timpul activitii, facilitatorul poate merge de la grup la grup pentru a se asigura c participanii nu se ndeprteaz de ntrebarea-cheie i s acorde ajutor acolo unde este necesar. Dup ce completeaz schema, ecare grup prezint rezultatele n grupul mare, apoi urmeaz o discuie.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
73
Capitolul
Exemple de ntrebri: Pentru evaluare: Cum s-au schimbat tinerii n urma participrii la proiect? Pentru planicare: Cum ar putea Centrul Comunitar s favorizeze accesul copiilor la programele sale?
Sugestii
Realizarea unor liste cu inuenele pozitive i negative este util pentru analiza proiectului. Lucrul n grupuri mici stimuleaz discuiile i ideile noi. Ar putea necesar prezena mai multor facilitatori cte unul pentru ecare grup, dar aceasta se decide n funcie de experiena i numrul participanilor.
74
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
4. ANALIZA SWOT
Tipul metodei De grup, calitativ Scop
Identicarea punctelor tari, punctelor slabe, oportunitilor i riscurilor unui proiect sau unei activiti.
Materiale
Coal de hrtie, carioca, lipici, carnet, pix
Timp
15 minute
Procedur
Rugai participanii s formeze grupuri mici de 4-5 persoane. Prezentai-le metoda i explicai-le semnicaia ecrui termen. Ce nseamn puncte tari, puncte slabe, oportuniti, riscuri ?
Puncte tari Puncte slabe Oportuniti Riscuri Lucrurile bune din cadrul unui proiect sau a unei activiti; aspectele cu care participanii se mndresc. Lucrurile care nu au mers prea bine. Idei despre cum pot nfruntate punctele slabe i consolidate punctele tari. Lucrurile care constrng sau amenin oportunitile.
Punei la dispoziia ecrui grup cte o coal de hrtie i carioca. Propunei participanilor s despart foaia n patru pri, iar apoi s discute i s noteze ct mai multe elemente posibile pentru ecare seciune. Explicai-le c punctele tari i punctele slabe se refer la aspectele interne ale grupului, ale proiectului sau activitii, pe cnd oportunitile i riscurile se pot referi att la aspectele interne, ct i la cele externe. Dup ce participanii au ncheiat analiza, ecare grup este invitat s prezinte rezultatele n faa tuturor participanilor. Asistentul moderatorului va nota comentariile tinerilor. Pot organizate mai multe analize SWOT cu diferii actori implicai n proiect. Apoi le putei compara i discuta despre deosebirile i asemnrile experienelor i oportunitilor existente.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
75
Capitolul
Punctele tari
Avem un grup de tineri care este dornic s se implice n activitatea Consiliului Local al Tinerilor. coala din localitate este dispus s ne ofere un spaiu pentru ctivitate.
Punctele slabe
Nu tim cum s organizm activitatea Consiliului Local al Tinerilor. Nu avem bani pentru proiecte. Majoritatea actorilor comunitari sunt mai puin interesai de activitile tinerilor.
Oportuniti
Avem echipament oferit de casa de cultur pe care putem s-l folosim pentru proiect. Noul primar susine proiectele destinate tinerilor. Centrul Regional de Resurse ofer granturi pentru Consiliile Locale ale Tinerilor.
Riscuri
Unii membri ai comunitii consider c tinerii nu ar trebui s participe n procesele de luare a deciziilor. Am putea s nu ctigm grantul.
Sugestii
Aceast metod este util pentru a ncuraja implicarea mai multor persoane, de exemplu, n cadrul unui proces de planicare strategic. Analiza SWOT poate util n transformarea unor greeli sau punctele slabe n puncte tari prin intermediul unui proces de nvare constructiv. Analiza SWOT este un punct de pornire pentru autoevaluarea de grup. O analiz SWOT poate desfurat ca un asalt de idei n cadrul unui atelier. n baza acestei analize, putei face o list de aciuni necesare pentru rezolvarea unei probleme sau continuarea unui proiect, activiti. Exemplu de list de aciuni: Contactai primarul din localitate pentru a discuta despre strategia local pentru tineret. Organizai o edin cu tinerii i ali membri ai comunitii. Luai legtura cu Centrul de Resurse pentru a v oferi asisten.
76
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Materiale
Carioca, coli mari de hrtie
Timp
10 minute
Procedur
Anunai tema asaltului de idei i ntrebarea, apoi rugai grupul s se gndeasc la aceasta. ncurajai participanii s gndeasc critic i creativ. Apoi, rugai participanii s spun, ecare pe rnd, succint ideea sa. La aceast etap, ideea ecruia trebuie luat n consideraie i scris pe o coal de hrtie sau pe tabl. Nu permitei participanilor s comenteze ideile altora, ci doar s le asculte. Odat ce au fost notate toate ideile, ncepei dezbaterea. De asemenea, rspunsurile participanilor pot grupate pe categorii sau puse n ordinea prioritilor. Exemple de ntrebari: Ce nseamn pentru voi participarea? Numii cel puin 3 succese pe care le-a obinut grupul vostru n urma participrii la acest proiect.
UNICEF/Pirozzi
Sugestii
De obicei, participanilor le este dicil s nu comenteze ideile celorlali, atunci cnd sunt prezentate. Stabilii, de la bun nceput, regula conform creia, toate ideile expuse n timpul asaltului de idei vor acceptate, iar discuia va avea loc dup ce toi i vor exprima opinia. Unii participani pot s domine n timpul activitii. Pentru a evita o asemenea situaie, putei distribui tuturor participanilor e, pe care ecare va scrie ideea sa. La fel, i poi ruga s fac un asalt de idei n sub-grupuri.
De una singur, aceast metod nu este sucient. De obicei ea este folosit n combinaie cu alte metode, de exemplu, pentru a ncepe o discuie focus-group.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
77
Capitolul
Materiale
Fie colorate, carioca neagr pentru ecare participant, band adeziv sau lipici
Timp
15-20 de minute
Procedur
Oferii participanilor e de dou culori, de exemplu verde i rou. Rugai-i s scrie cu carioca neagr: ce a fost bine pe ele verzi i ce ar trebui mbuntit pe cele roii. Reamintii-le s scrie lizibil, cte o singur idee pe (vezi regulile de la metoda vizualizarea prin e). Ei pot utiliza mai multe e, dac au mai multe idei. Cnd toat lumea a ncheiat, ele sunt lipite pe tabl / perete / o coal de hrtie, iar facilitatorul le citete cu voce tare, cernd s e explicate ele neclare i mulumind participanilor pentru critica lor constructiv. Facilitatorul utilizeaz aceast informaie pentru a mbunti atelierul n zilele ce urmeaz.
Sugestii
Aceast metod se recomand ca metod de evaluare a unei zile de activitate n timpul unui atelier de cteva zile. Cnd citii ele, ncepei cu ce ar putea mbuntit (ele roii). Iar apoi ncheiai pe o not pozitiv cu ceea ce a fost bine (ele verzi), acest fapt va dispune pozitiv grupul. Participanii ar putea obosii la nele zilei i s nu e dispui pentru nc o activitate. n acest caz, bilanul zilei poate realizat n dimineaa urmtoare, cu toate c ideile nu vor la fel de proaspete, n schimb participanii vor mai relaxai.
78
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
7. CALENDARE SEZONIERE
Tipul metodei Calitativ Scop
nregistrarea datelor pe diferite perioade de timp (sezon, an, lun i chiar sptmn) pentru a arta schimbrile ciclice n cadrul unui proiect; A identica dac au fost sau nu nlturate obstacolele.
Timp
Pe parcursul proiectului
Procedur
Mai nti se stabilete perioada care va monitorizat (sptmni, luni, sezoane sau ani). Acest fapt va stabilit n funcie de indicatorii selectai, dei este indicat s nu e monitorizai prea muli indicatori. Calendarul poate reprezentat orizontal sau circular. Calendarele circulare nu sunt potrivite pentru analize care dureaz mai muli ani. Calendarul n sine poate folosit pentru a aduna date. n mod alternativ, dac datele sunt colectate pe alte ci, atunci pentru ecare interval de timp informaia adunat va completat la rubrica corespunztoare n calendar, astfel metoda calendarului ind o form de nregistrare a informaiei. Dup cteva nregistrri de date, calendarul va arta progresul i, n aa fel, va stimula discuii pentru a nelege care sunt schimbrile i de ce au loc. Cu toate acestea, relevana unor astfel de schimbri va depinde n totalitate de ceea ce dorii s monitorizai.
Sugestii
Metoda calendarului este ideal pentru monitorizarea perioadelor de timp specice, de exemplu, un sezon. Oricum, calendarele sezoniere pot s nu prezinte neaprat data precis.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
79
Capitolul
Materiale
Copii ale chestionarelor
Timp
Elaborarea, pilotarea i revizuirea chestionarului poate dura mai multe zile, n funcie de complexitatea evalurii i de mrimea chestionarului. Aplicarea chestionarului poate dura de la 15 minute la cteva ore, n funcie de numrul i tipul ntrebrilor.
Procedur
Un chestionar reprezint o list structurat de ntrebri. Calitatea informaiei pe care o vei obine din chestionare este direct proporional cu calitatea formulrii ntrebrilor. Cum se ntocmete un chestionar? La nceputul oricrui chestionar trebuie s e clar explicat scopul acestuia, iar respondentul trebuie asigurat de condenialitatea rspunsurilor lui. Chestionarul include, de asemenea, o seciune pentru statistic i pentru gruparea respondenilor (de exemplu: numele, ocupaia, vrsta, sexul, localitatea, numr de telefon etc.) Formuleaz apoi ntrebrile ntr-o consecutivitate logic. ntrebrile pot nchise, cu variante de rspuns, cnd respondentul este rugat s aleag una sau mai multe variante dintre cele propuse, sau pot deschise, cnd respondentul rspunde cu propriile cuvinte. Scala este deseori utilizat n chestionare. Respondentul este rugat s aprecieze o armaie propus, exprimndu-i opinia prin marcarea unui nivel de pe scal. Scalele cu patru niveluri precum: acord total; acord; dezacord; dezacord total oblig respondentul s aleag o anumit poziie fa de armaie. La scalele cu cinci nivele ntre acord i dezacord se adaug neutru (sau nu tiu). n ambele cazuri rezultatele pot analizate i prezentate cantitativ. Este foarte important s adugm i varianta Nu tiu, pentru a nu fora respondentul s aleag o variant care nu-i convine.
80
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Se recomand s verici, de ecare dat, claritatea ntrebrilor prin pilotarea chestionarelor pe un eantion al populaiei care urmeaz a chestionat. La pilotare, roag participanii s ofere feedback privind durata completrii chestionarului i neclaritile existente n chestionar. O bun pilotare a chestionarului va mbunti calitatea acestuia: limbajul, consecutivitatea ntrebrilor, mrimea lui etc. Dac nu vei face o pilotare a chestionarului, riscai s compromitei ntreaga evaluare! La nal, mulumii respondenilor pentru participare.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
81
Capitolul
ntrebrile trebuie s e clar formulate. Folosete un limbaj ct mai simplu. Mrimea ideal a unei ntrebri este de maximum 20 de cuvinte. Evit jargoanele! Evit formulrile complicate sau negative. Evit termenii inexaci cum ar n general, de obicei, des, rar, tipic rspunsurile ar putea ambigue. Fii atent ca ntrebrile s nu e ndrumtoare, adic s nu sugereze rspunsul. Aranjeaz ntrebrile ntr-o ordine logic; n msura n care este posibil, cele mai simple ntrebri s e primele. Fii atent ca primele ntrebri s nu inueneze rspunsurile la ntrebrile ulterioare.
Redacteaz chestionarul ct mai atractiv din punct de vedere vizual, cu subtitluri clare, aerisit etc. Pe ecare pagin indic titlul i numrul paginii.
Alternative
Chestionarul de grup: n unele situaii, chestionarele pot completate n grup, ca o activitate; participanii pot discuta i alege un rspuns comun. Analiza participativ a rezultatelor: persoanele interesate de proiect i respondenii pot implicai n centralizarea i analizarea rspunsurilor. n acest scop poate organizat un atelier.
82
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
9. DESENUL IMPACTULUI
Tipul metodei Calitativ, individual Scop
Ilustrarea schimbrii provocate sau care poate provocat de anumite evenimente din trecut, prezent sau viitor; Stimularea creativitii tinerilor pentru a oferi ct mai multe detalii despre un eveniment sau proces.
Materiale
Hrtie A4, 5 seturi de carioca color (rou, albastru, verde, negru), band adeziv, reportofon sau carnet i pix, aparat de fotograat (dup posibiliti).
Timp
45 de minute
Procedur
ncepei cu un moment de relaxare i reecie (putei asculta o muzic relaxant). Sugerai participanilor s se gndeasc la vieile lor, ncepnd cu cele mai timpurii amintiri. Aducei-v aminte de momentele fericite i cele dicile care au avut loc n viaa voastr. Gndii-v ce v-a inuenat s devenii aa cum suntei astzi. Apoi asistentul poate mpri participanilor carioca i foi A4, iar facilitatorul i i va ruga s deseneze un lucru care le-a schimbat viaa i s semneze la nal desenul, notnd nd prenumele i vrsta. Unica regul este ca participanii s utilizeze cel puin in trei culori n desenul pe care l fac. Regula celor trei culori va asigura crearea unor desene vii care, n caz contrar, au tendina s e monocromatice. Spunei-le participanilor s nu-i fac griji n privina abilitilor artistice. Cnd toi au ncheiat, invitai ecare participant s-i prezinte desenul. Rugai participanii s fac i i un scurt comentariu pe marginea desenului pentru a-l explica (nu mai mult de 1-2 minute). Prezentrile trebuie nregistrate pe reportofon sau nscrise atent pe foi, cuvnt cu cuvnt, de la persoana 1, de ctre asistent. nregistrarea comentariilor ce nsoesc ecare desen este absolut obligatorie pentru a le putea utiliza ca surs de date pentru evaluare.
Exemple de ntrebri: Desenai un eveniment care v-a schimbat viaa, un moment-cheie care v-a fcut s i aa cum suntei astzi. Artai printr-un desen cum v-a schimbat participarea la proiect.
Sugestii
Dac vei omite exerciiul de relaxare de la nceput, rezultatele acestei metode vor mai superciale. Acesta ncurajeaz participanii s reecteze asupra schimbrilor care s-au produs cu adevrat.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
83
Capitolul
Materiale
Carnet i pix, reportofon.
Timp
ntre 1-2 ore
Procedur
Planicarea. Mai nti trebuie claricat foarte bine scopul discuiei focusgroup. Scopul nu este atingerea consensului, ci explorarea i lrgirea diverselor perspective. O discuie focus-group ecient depinde i de componena grupului. Participanii trebuie s aib cel puin o caracteristic comun care s uneasc grupul, dar care are legtur cu tema evalurii. n acest sens, putei verica din timp participanii prin telefon sau scrisori. Este bine ca participanii s nu se cunoasc foarte bine. Mrimea ideal a unui grup este ntre 6 i 12 participani: sucient pentru a avea o bun dinamic a grupului i pentru ca ecare s vorbeasc, s-i exprime prerea. Este bine a aa interesele participanilor nainte de sesiune. Dac grupul nu este interesat, probabil discuia nu v-a productiv Facei toate aranjamentele administrative, necesare pentru desfurarea discuiei. De exemplu, asigurai-v c a fost ales un loc convenabil pentru ntlnire, c este asigurat transportul etc. Lista de control pentru organizarea discuiilor focus-group Determinai componena grupului
Participanii au acelai nivel de cultur general? Participanii au aceeai experien n subiectul n cauza? Este important separarea participanilor dup vrst, sex, statut etc.? Subiectul necesit grupuri mici, intime?
84
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Pregtii un set de ntrebri care ar provoca o discuie productiv. Uneori cinci sau ase ntrebri bine formulate, privind att coninutul, ct i procesul unui proiect, sunt suciente. Utilizai numai ntrebri deschise, acestea ncurajeaz participanii s dezbat i s discute cu propriile lor cuvinte. Evitai propoziii care ncep cu Ct de mult...?, pentru c acestea tind s limiteze rspunsurile. Evitai ntrebrile nchise la care se poate rspunde prin Da sau Nu. Nu folosii prea des ntrebarea De ce?, pentru c este prea direct i deseori pune participanii n defensiv. ntrebrile trebuie s decurg n mod resc una dup alta, participanii nu trebuie s aib impresia c li se pun nite ntrebri bine structurate, dar s simt c ntreaga sesiune este o discuie. Repartizai cte jumtate de or pentru ecare ntrebare. Discuia propriu-zis. ncepei discuia cu un salut, prezentnd tema discuieei i scopul cu care s-a organizat discuia focus-group. Anunai grupul c va nregistrat n timpul discuiei i cerei consimmntul participanilor pentru aceasta. Garantai anonimatul i a condenialitatea celor discutate. Atunci cnd se prezint, participanii i pot da nume ctive dac doresc, pentru a-i proteja intimitatea. Este bine s le menionai acest lucru nainte de a ncepe. Stabilii mpreun cu participanii sau anunai regulile de discuie: discuia va dura maxim 2 ore; se va vorbi clar i concis, aa nct ecare s-i poat exprima opinia; valoreaz sinceritatea i prerea ecruia; scopul nostru nu este s ajungem la un consens, ci s facem un schimb de idei referitor la tema abordat; se va vorbi pe rnd, respectndu-ne reciproc; dac ceva nu este clar, ntrebrile sunt binevenite; Rolul moderatorului: Orientarea grupului pe procesul de ndeplinire a sarcinii; Adoptarea unei poziii neutr; participanii sunt experii, nu facilitatorul;
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
85
Capitolul
Exemple de ntrebri: Ce credei despre ...? Ce v-a plcut cel mai mult la ...? Cum v-a ajutat...? Cum credei, care este impactul ...? Cum ai caracteriza ...? Tehnici pentru stimularea discuiei: Repetarea ntrebrilor; Repetarea ultimei replici exprimate; Sugerarea ideii c moderatorul nu cunoate multe despre subiect i adresarea unor ntrebri specice pentru a aa detalii; Pauza n ateptarea rspunsului o poziie meditativ a capului sau o privire ce denot ateptare; Repetarea rspunsului; Ct mai multe ntrebri de tipul Cnd?, Ce?, Unde?, Care? i Cum? Comentarii neutre, de exemplu, Altceva?, nc? sau De ce v simii aa?
Sugestii
Metoda poate aplicat n activitile de evaluare, n special, n grupurile specice de populaie. Atunci cnd analizai datele, ncercai s identicai ideile i conceptele de baz pentru a le organiza ntr-un tabel. Rapoartele narative pot completate cu citate. Consultai sugestiile pentru transcrierea discuiei focus-group, prezentate n cadrul metodei interviul.
86
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Materiale
Coli mari de hrtie, carioca color, band adeziv, reportofon, carnet i pix, sal.
Timp
1 or
Procedur
Alegei cteva proiecte pe care grupul le cunoate. Rugai participanii s formeze grupuri mici a cte 4-5 persoane conform proiectelor. Sugerai echipelor s nceap cu un asalt de idei i s ntocmeasc o list a elementelor de baz pentru desfurarea proiectului, apoi s fac un altul pentru a vedea ce anume lipsete. Propunei apoi grupurilor s deseneze cte o hart a comunitii, indicnd instituiile, asociaiile i resursele existente pentru proiect. Cnd grupurile au ncheiat lucrul, invitai participanii s fac o prezentare a rezultatelor n grupul mare. Prezentrile grupurilor sunt nregistrate pe reportofon sau se iau notie.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
87
Capitolul
Exemple de ntrebri: Desenai o hart a activitilor n care au fost implicai tinerii i indicai n ce msur s-au implicat acetia Desenai o hart descriind toate elementele importante ale mediului n care se desfoar proiectul dumneavoastr.
Sugestii
Este important ca grupurile care realizeaz hrile sociale s e diverse dup sex, vrst, etnie etc., pentru ca s existe mai multe puncte de vedere. Diferite grupuri vor oferi diferite perspective asupra situaiei, chiar dac realizeaz harta aceleiai comuniti sau proiect. Acest lucru se ntmpl pentru c valorile i prioritile participanilor sunt diferite. Aceast tehnic poate utilizat la orice nivel al proiectului. n cadrul evalurii realizarea hrii n grupuri mici stimuleaz discuia i poate de ajutor n procesele de planicare i de luare a deciziilor.
Alternativ
Diagrama Venn. Decupai cercuri din hrtie colorat, de diferite mrimi i distribuii-le grupurilor. Rugai-i s le plaseze pe o coal de hrtie n conformitate cu statutul (importana) diferitor instituii, structuri comunitare i resurse (cercurile mai mari vor reveni elementelor mai importante). Gradul de suprapunere dintre cercuri va arta ct de intens interacioneaz grupurile. Aceasta este o bun tehnic pentru analiza percepiilor persoanelor interesate de proiect asupra relaiilor din comunitate.
88
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
12. INTERVIUL
Tipul metodei Individual, calitativ Scop
Colectarea unor informaii verbale relevante pentru evaluare.
Materiale
Ghidul de interviu, carnet i pix sau reportofon.
Timp
20-60 de minute pentru desfurarea unui interviu
Procedur
ncepei pregtirea de interviu prin elaborarea ghidului de interviu care conine un set de ntrebri la tema evalurii i v va ajuta s abordai toate punctele-cheie i s nu lsai interviul s devieze de la subiect. Rezervai timp sucient pentru realizarea ghidului de interviu. Pe acesta nu se fac notie, pentru c lungimea rspunsurilor nu poate anticipat i nici nu trebuie limitat. Nu se recomand mai mult de zece ntrebri (cu ct mai puine, cu att mai bine). Ghidul de interviu poate prezentat intervievatului cu puin timp nainte, pentru a-i oferi posibilitatea s-i organizeze gndurile nainte de interviu.
Cum se desfoar interviul? ncepei prin a v prezenta i a anuna scopul interviului. Asigurai intervievatul de condenialitatea rspunsurilor lui. Stabilii o relaie de ncredere cu respondentul pentru ca acesta s-i mprteasc experiena i opiniile sale. Dac utilizai un reportofon, cerei permisiunea respondentului de a-l nregistra. Uneori reportofonul poate inhiba discuia. ncepei cu ntrebri uoare, deschise, apoi continuai cu ntrebrile mai specice, conform ghidului. Orice ntrebare mai dicil sau mai sensibil trebuie lsat pentru nele interviului, cnd comunicarea dintre cei doi este consolidat la maximum. Cel mai important lucru pe care l putei face, este s convingei respondentul c-l ascultai activ i c suntei i foarte interesat de ceea ce spune. Nu uitai de importana comunicrii nonverbale! Nu inei minile i braele ncruciate i meninei un contact vizual adecvat. Planicai din timp cum vei nscrie i analiza informaia. Notiele trebuie fcute de la persoana nti, iar ideile sau descrierile trebuie nregistrate cuvnt cu cuvnt, sub form de citat. Informaia trebuie nscris exact aa cum este auzit i nici ntr-un caz nu se admite ltrarea prin prisma valorilor celui care conduce interviul. Instrumentul de baz al intervievatorului este ntrebarea i este foarte bine ca acesta s e contient de tipul ntrebrii pe care o adreseaz.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
89
Capitolul
Exemple de ntrebri: Folosete n primul rnd ntrebrile deschise (de exemplu: Povestete-mi despre colaborarea grupului de educatori de la egal la egal cu administraia colii) Adreseaz apoi ntrebri provocatoare (de exemplu: De ce zici c a fost o colaborare ecient? Evit ntrebrile nchise acestea limiteaz discuia (de exemplu: Grupul vostru de educatori de la egal la egal desfoar activiti n coal?); ntrebrile multiple sunt confuze (de exemplu, Cum colaboreaz grupul vostru cu coala, cu Primria i cu ali actori comunitari?); Evit ntrebrile care sugereaz rspunsul (de exemplu, Educatorii de la egal la egal colaboreaz ecient cu administraia colii?). Dup interviu urmeaz analiza datelor obinute. Analiza datelor calitative necesit mult timp. Alocai de dou ori mai mult timp pentru analiza datelor dect pentru interviu.
Sugestii
Cel mai bine este s realizai interviul fa-n fa, dar, de asemenea, el poate realizat i prin telefon. Un intervievator bun este:
Un asculttor activ, abil n comunicarea interpersonal; Respectuos fa de ideile i valorile intervievatului; Interesat s nvee de la intervievat; Contient de importana comunicrii nonverbale; Abil n a face oamenii s vorbeasc i i poate ncuraja n acest sens; Cu experien n luarea notielor / nscrierea informaiei; Atent la limbajul corpului i la tonul vocii (limbajul corpului este important i la telefon: oamenii aud cnd zmbeti!).
90
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
13. ISTORIOARELE
Tipul metodei Calitativ, individual Scop
Colectarea de istorioare pe o anumit tematic din viaa participanilor; Obinerea a ct mai multe informaii necesare pentru realizarea evalurii care s completeze datele generale, calitative i cantitative.
Materiale
Reportofon sau un carnet i pix.
Timp
20-40 de minute, n funcie de istorioar i respondent.
Procedur
Aceast metod este realizat prin intermediul unor ntrebri deschise pentru a ncuraja participanii s descrie ct mai amnunit i s pun accent pe detaliilecheie, relevante evalurii. Aceste ntrebri se cuprind ntr-un ghid de interviu, elaborat de echipa de evaluare (vezi metoda interviul). nainte de desfurarea propriu-zis a interviului, se creeaz o atmosfer prietenoas i de ncredere, explicnd intervievatului scopul interviului. Tot ceea ce relateaz persoana implicat, este nregistrat, de aceea se cere intervievatului permisiunea de a-l nregistra pe reportofon / casetofon sau de a lua notie conform spuselor sale. n timpul interviului, intervievatul este rugat s vorbeasc despre propriile experiene, gnduri i sentimente. Istorioarele constituie o modalitate foarte bun de a aa direct de la participani mai multe detalii despre proiect i despre impactul acestuia. Metoda ofer o dimensiune personal, uman raportului de evaluare, care altfel ar putea prea sec.
Exemplu de ntrebare pentru ghidul de interviu: Spui c participarea la acest proiect a reprezentat o schimbare major n viaa ta. A vrea s te rog s vorbeti despre cum te-ai implicat n acest proiect i ce a nsemnat asta pentru tine. La nal intervievatului i se poate propune s audieze istorioara n ntregime. Interviul este apoi transcris cuvnt cu cuvnt de pe nregistrare.
Sugestii
Pentru toate instrumentele / tehnicile calitative de colectare a datelor este important s planici din timp cum vei analiza datele. Pentru a primi rspunsuri detaliate i complete despre diverse situaii din viaa participanilor, este bine s le acordai timp sucient pentru reecie. Acest lucru poate realizat prin aplicarea la nceput a unei alte metode, de exemplu Desenul impactului. Tinerii vor mai deschii i mai predispui s mprteasc apoi detalii din viaa lor.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
91
Capitolul
Materiale
Sal, carnet, pix, reportofon
Procedur
Explicai participanilor metoda i ntrebai-i apoi dac doresc s participe la activitate. Rugai tinerii s pregteasc un joc pe roluri / o scenet pentru a arta modalitile n care ei interacioneaz cu adulii n cadrul proiectului. Sugerai-le s pregteasc dou scenete una pozitiv i alta negativ, dar pot alege s prezinte doar una dintre ele. Sceneta nu trebuie s dureze mai mult de 5 minute, iar pentru pregtire oferii participanilor 10 minute. Dac grupul este mare i dispunei de puin timp, grupul poate mprit n dou sau trei subgrupuri. n timpul pregtirii scenetei nu supravegheai grupurile. Privii prezentarea scenetei, fr a interveni sau a comenta ceva, dar lund notie. Dup ce s-a ncheiat sceneta, aplaudai i luai loc lng participani. ncepei o sesiune de ntrebri i nregistrai rspunsurile tinerilor cu reportofonul. ncercai s aai ce schimbri au avut loc n urma activitilor din cadrul proiectului. Exemple de ntrebri: Despre ce a fost sceneta? Cine erau personajele? Ceea ce ai prezentat n scenet s-a ntmplat cu adevrat? Sceneta este tipic pentru un dialog dintre tineri i aduli? Cum s-au simit personajele n timpul derulrii evenimentelor? Ce ai dori s schimbai n scenet? Cum credei c putei realiza aceste schimbri? La sfritul discuiei mulumii participanilor.
92
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Materiale
Tabl / coli mari de hrtie, carioca color, band adeziv.
Timp
55 de minute
Procedur
Alegei cteva proiecte cu care participanii sunt familiarizai. Ajutai participanii s formeze grupuri mici a cte 4-5 persoane, n care s se regseasc reprezentani ai proiectelor pe alese pentru evaluare. Rugai ecare grup s deseneze o linie a timpului i s nregistreze pe ea evenimentele importante care au avut loc pe durata proiectului: s marcheze cele mai importante momente i data cnd a avut loc ecare. Pentru aceasta ei pot folosi cuvinte, simboluri, imagini (sau, cel mai bine, toate trei) inventate de ei. Fiecare grup va alege un reprezentant care va prezenta linia timpului pe care au realizat-o n grupul mare. Rugai raportorii s fac o prezentare concis pentru ca s se ncadreze n 3 minute. Apoi invitai grupurile s prezinte rezultatele. Pentru a putea utiliza datele, este foarte important ca asistentul s nregistreze prezentrile pe reportofon sau s ia notie ct mai exacte. Exemplu de ntrebare: Descriei evoluia proiectului vostru prin desenarea unei linii istorice a timpului, marcnd cele mai importante realizri i datele concrete ale acestora.
Sugestii
Linii ale timpului pot realizate pentru diferite teme.
Alternativ
Linia impactului. Aceast metod este o combinaie dintre dou: Linia timpului i Desenul impactului. Participanii deseneaz n mod individual cum au evoluat evenimentele n timp.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
93
Capitolul
Materiale
Dou coli mari de hrtie, carioca, abibilduri pentru ecare participant (cte unul pentru ecare ntrebare cercetat).
Timp
30 de minute
Procedur
Mai nti, alegei subiectele ce urmeaz a evaluate. Pregtii din timp un set de ntrebri standard. ntrebrile trebuie formulate sub form de armaii la care participanii pot rspunde dup scala urmtoare: acord total; acord; neutru; dezacord; dezacord total; nu tiu. Adaptai ntrebrile i asigurai-v c grupul cunoate tema evalurii. Pregtii din timp un exemplu pentru a le explica participanilor ct mai bine procesul. Desenai o schem cu armaiile ce urmeaz a prezentate grupului, ecare rspuns ind reprezentat de fee zmbitoare (vezi schema anexat). Nu uitai s scriei sub ecare fa zmbitoare semnicaia ei (acord total, acord etc.) Plasai schema la nlimea tuturor membrilor grupului i citii armaiile, explicnd eventualele neclariti pe care le au participanii. Oferii ecrui participant cte o bulin adeziv pe care s-o utilizeze pentru ecare armaie. Rugai participanii s voteze unul cte unul, exprimndu-i opinia personal. Calculai apoi rezultatele sau propunei unui sau mai multor participant s le calculeze: acord total=5 puncte; acord=4 puncte; neutru=3 puncte; dezacord=2 puncte; dezacord total=1 punct; nu tiu=0 i votul nu se ia n calcul. Calculai media pentru ecare ntrebare i mpreun cu grupul interpretai rezultatele.
Exemple de armaii: 1. n opinia mea, proiectul este ecient. 2. Grantul mic a contribuit la consolidarea capacitilor Consiliului Local al Tinerilor de a implementa proiecte n comun cu alte Consilii. 3. Tinerii consilieri colaboreaz ecient cu autoritile publice locale pentru a soluiona problemele din comunitate.
94
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Sugestii
Este posibil ca unii participani s voteze concomitent pe mai multe coloane sau s omit un rnd. n acest caz rezultatele nu sunt valide. Pentru a evita aceast situaie, putei da ecrui participant un cod personal (ex.: o liter A, B, C etc.) i s-i rugai s scrie pe bulina adeziv codul lor, astfel ecare va ti care este abibildul lui. n acest caz, dac cineva greete, vei putea invita persoana respectiv s mai voteze o dat. Pentru a studia diferenele de opinie dintre diferite grupuri, putei ruga participanii s formeze grupuri mici (de exemplu fete i biei, diferite grupuri de vrst, diferite proiecte, diferite regiuni etc.). Oferii ecrui sub-grup buline adezive de culori diferite. Apoi calculai mediile aparte pentru ecare grup de participani la evaluare. Dac nu dispunei de buline adezive, putei distribui ecrui participant cte un creion sau carioca pentru a vota. Rugai-i s voteze doar o singur dat pentru ecare ntrebare.
Alternativ
Metoda poate aplicat pentru mai multe grupuri cu ntrebri standard alctuite de echipa de evaluare. ns este posibil i varianta cnd participanii din ecare grup vor propune ntrebrile care i preocup pe ei pentru a evaluate. n al doilea caz va mai dicil s generalizai anumite rezultate. Anexa. Scala cu fee zmbitoare.
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
95
Capitolul
Materiale
Carnet, pixuri, reportofon
Procedur
La nceput se denete scopul i tipul de informaii pe care dorii s le colectai prin metoda studiului de caz. Apoi decidei modul de selecie a indivizilor, grupurilor sau organizaiilor care vor constitui subiectul studiului de caz. Decidei cum vei obine informaia. Dac studiai un grup, s-ar putea s intervievai civa membri ai acestuia, apoi s analizai rspunsurile lor i s subliniai asemnrile i deosebirile. Dac dorii s facei un studiu de caz despre o organizaie, gndii-v mai nti ce persoane vei intervieva, pentru a obine o imagine general a situaiei. Dac facei un studiu de caz despre o localitate, atunci vei avea nevoie de informaie suplimentar, pe lng interviurile pe care le vei face. Elaborai un ghid de interviu care v va ajuta s colectai informaia. Toate rspunsurile intervievailor vor notate, precum i oricare alte lucruri pe care le observai.
Exemplu de studiu de caz: Cum ai colectat resurse pentru a completa fondul de carte al bibliotecii colare? Primarul satului s-a artat dispus s ne ajute, personal ne-a donat 500 de lei. La scurt timp Primria a fcut o donaie de carte n valoare de 1600 de lei. Aceasta ne-a ncurajat i am devenit mai insisteni n cutarea resurselor. Am scris nite apeluri pe care le-am aat prin sat pentru a sensibiliza stenii. Am mers i la un ir de ageni economici. Muli au rspuns la apelul nostru. Preotul a fcut colii o donaie de carte. Am fcut cunoscut problema noastr i Primarului raionului, care a donat 500 de lei pentru procurare de carte. Am folosit i o alt modalitate de a colecta fonduri. n holul colii am pus un borcan cpcit, n care se adunau contribuiile elevilor i profesorilor. Fiecare putea s vad banii care se adunau i n felul acesta am asigurat transparena aciunii. n continuare vom contacta diferite edituri pentru a le solicita suportul n completarea fondului de carte al bibliotecii noastre.
Sursa: Tinerii n aciune! 15 istorii de succes, CIDDC, UNICEF, Guvernul SUA, Radda Barnen, Chiinu 2003.
Sugestii
Este recomandat ca studiul de caz s e aplicat mpreun cu alte metode, de exemplu chestionarul.
96
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
Materiale
Carioca, e de una sau mai multe culori (n funcie de numrul ntrebrilor) de dimensiunile aproximative 90 x 210 mm
Timp
20 minute
Procedur
Aceast metod este asemntoare cu asaltul de idei. Diferena este c ideile participanilor nu sunt notate pe o coal de hrtie, ci ecare participant i noteaz ideile sale pe o . Pe o coal mare de hrtie se scrie ntrebarea adresat grupului i se aeaz n faa auditoriului. Distribuii ecrui participant cteva e i carioca de culoare neagr. Dac avei mai multe ntrebri, folosii e de diferite culori pentru diferite ntrebri. Explicai pentru ce ntrebare este ecare culoare. Exemplu de ntrebare: Notai pe ele de culoare roz obstacolele pe care le-ai ntlnit n publicarea ziarului pentru tineri, iar pe ele albastre modalitile prin care le-ai depit. Dac unii participani ai mai multe idei, ei pot lua mai multe e adiional. Explicai participanilor cum se completeaz ct mai ecient ele:
pe o se scrie o singur idee; se scrie lizibil i apsat, cu litere mari, care s poat citite de la distan; se folosete ntreaga suprafa a ei; se scriu punctat ideile-cheie, n loc de paragrafe lungi; se scriu maximum 3 rnduri pe ecare ; un singur cuvnt pe este insucient pentru a exprima o idee;
Dup ce participanii i-au scris ideile, ele sunt colectate de moderator sau ecare lipete a sa pe un perete cu o fie de band adeziv. Moderatorul citete cu voce tare toate ele, vericnd dac sensul ecrei e este clar pentru toi. Dac o nu este clar, persoana care a scris-o este rugat s vin cu claricri. Explicaia se adaug pe sau persoana completeaz alt .
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i
97
Capitolul
Apoi ele sunt clasicate. Rugai participanii s propun denumiri pentru ecare grup de idei. Denumirea ecrui grup de idei se scrie pe o de alt culoare.
Sugestii
Fiele pot clasicate spontan i intuitiv, n timp ce sunt colectate. ncurajai participanii s faciliteze gruparea elor. Ei v pot ajuta s citii ele cu voce tare sau s le clasicai. La fel ca i n cazul asaltului de idei, aceast metod nu este sucient de una singur. De obicei ea este folosit n combinaie cu alte metode, de exemplu, pentru a realiza o hart comunitar sau o analiz a cmpului de inuene.
98
G H I D p e nt r u t i n e r i i p ro fe s i o n i t i c a re l u c re a z c u t i n e r i i