Monitorizare și evaluare
Videoclipul nu pornește? Urmărește-l direct pe YouTube.
Să ne imaginăm un program de cursuri pentru șomeri, cu cifre ipotetice. La final, raportul arată impecabil. Bugetul a fost cheltuit integral. S-au ținut toate cele cincizeci de cursuri. O mie de oameni au primit diplome. Doar o întrebare lipsește din raport: câți dintre ei și-au găsit de lucru datorită cursurilor? Raportul nu minte. Doar că răspunde la altă întrebare decât cea care contează.
Aici stă diferența dintre monitorizare și evaluare. Monitorizarea răspunde la întrebarea „facem ce am spus că facem?”. Se face continuu, pe parcurs, de obicei chiar de instituția care aplică politica. Urmărește banii cheltuiți, activitățile, termenele și ce a ieșit direct din activități. Evaluarea răspunde la alte două întrebări: „a funcționat?” și „de ce?”. Se face la momente fixate dinainte și se uită la efectele asupra oamenilor, nu doar la activități.
Amintiți-vă de cele trei feluri de indicatori din lecția 05.01. Monitorizarea lucrează mai ales cu indicatorii de realizare: câte cursuri, câte cereri procesate, câți bani plătiți. Evaluarea urcă spre indicatorii de rezultat și de impact: câți oameni s-au angajat, cu cât le-au crescut veniturile. Avem nevoie de amândouă. Fără monitorizare, nu știm dacă politica a fost aplicată cu adevărat, iar un eșec de implementare poate fi luat drept un eșec al ideii. Fără evaluare, putem aplica perfect o idee care nu funcționează.
Și de ce contează întrebarea „de ce?”. Să revenim la cursurile pentru șomeri. Să presupunem că puțini participanți și-au găsit de lucru. Poate că ideea era greșită: în regiune nu existau locuri de muncă pentru meseriile predate. Poate că ideea era bună, dar cursurile au fost ținute prost sau prea târziu. Sau poate că, în același an, o fabrică mare s-a închis. Fiecare explicație duce la o decizie diferită: renunțăm, reparăm aplicarea sau încercăm altundeva. O evaluare care spune doar „nu a mers”, fără „de ce”, nu ne ajută să alegem.
Prima regulă practică: indicatorii se aleg când se proiectează politica, nu când se scrie raportul final. Există două motive. Primul: dacă nu măsurați situația de dinainte, nu aveți cu ce compara. Al doilea: indicatorii aleși la final tind să fie, întâmplător sau nu, exact cei care arată bine. Iar când un indicator devine țintă, oamenii învață să-l facă să arate bine, nu să rezolve problema. Este ideea legilor lui Campbell și Goodhart, din lecția 07.04. De aceea e bine să urmăriți mai mulți indicatori, care se controlează unul pe altul.
A doua regulă: un indicator fără plan de colectare este o dorință. Pentru fiecare indicator, scrieți de unde vin datele, cine le colectează, cât de des, care este valoarea de pornire și cât costă colectarea. Cât mai mult din date ar trebui să vină din ce există deja: registre administrative, date produse chiar de procesul nou. Un sondaj special e uneori necesar, dar costă și trebuie bugetat de la început, nu căutat în ultimul an.
A treia regulă privește cine evaluează. Aici intră din nou stimulentele din lecția 03.04. O instituție care își evaluează propriul program are tot interesul să găsească un succes. Bugetul ei, reputația conducerii și locurile de muncă ale echipei depind de răspuns. Chiar și un evaluator extern, plătit de aceeași instituție și sperând la următorul contract, poate fi tentat să îndulcească concluziile. Nu e vorba de rea-credință, ci de stimulente.
Ce se poate face? Publicați întrebările, metoda și indicatorii înainte de evaluare. Alegeți un evaluator care nu câștigă nimic dintr-un anumit rezultat: o curte de conturi, o universitate, un institut, un consiliu fiscal. Lăsați datele, anonimizate, accesibile și altor cercetători, ca oricine să poată reface calculele. Și publicați raportul, oricare ar fi concluzia. Un rezultat negativ este și el informație valoroasă: vă spune ce să nu repetați. Mai rămâne o problemă, mai greu de rezolvat prin reguli: multe evaluări sunt făcute corect și apoi nu le citește nimeni. De aceea e bine ca o evaluare să fie legată de o decizie concretă, de exemplu de prelungirea sau oprirea programului, cum vom vedea în lecția 10.04.
Să ne întoarcem la chiriile studenților. Pachetul nostru are mai multe piese, iar fiecare are nevoie de indicatorii ei. Pentru monitorizare, urmărim lucruri simple: câte vouchere s-au plătit și cât durează procesarea unei cereri, câte modificări de urbanism s-au adoptat, stadiul căminelor deja finanțate, lucrările la liniile de transport.
Pentru evaluare, folosim cei cinci indicatori stabiliți în studiul de caz. Primul și cel mai important este ponderea studenților din afara orașului care cheltuie pe locuință peste 40% din venit. Pentru el nu există încă o serie oficială, așa că trebuie măsurat întâi nivelul de pornire, în anul universitar 2026/2027, printr-un sondaj făcut la fel în toate cele patru orașe. Urmează chiria medie în jurul campusurilor, numărul de locuințe noi autorizate și finalizate în zonele vizate, timpul mediu de navetă și timpul de autorizare. Ultimul vine direct din platforma de urmărire a cererilor din lecția 09.05.
Cine evaluează? Nu direcția de urbanism care aplică noile reguli și nici biroul care plătește voucherele. Evaluarea se face după doi-trei ani, de o echipă fără interes în rezultat, cu metoda anunțată dinainte. Pentru voucher, comparația se face cu cele trei orașe unde nu s-a aplicat pilotul. Liberalizarea urbanistică se aplică însă în toate cele patru orașe, așa că acolo comparăm zonele vizate cu tendința lor de dinainte și cu zonele în care regulile nu s-au schimbat. De ce e nevoie de astfel de comparații vedem chiar în lecția următoare.
Lecția de design: alege indicatorii, sursa datelor și evaluatorul în ziua în care proiectezi politica, nu în ziua în care scrii raportul. Iar cel care evaluează să nu fie cel care are de câștigat dintr-un anumit rezultat.
În lecția următoare ne punem cea mai grea întrebare din tot cursul: cum știm că o politică a funcționat?
Testează-ți cunoștințele: Monitorizare și evaluare (7 întrebări)