Metode de evaluare, pe înțeles
Videoclipul nu pornește? Urmărește-l direct pe YouTube.
În 1992, statul american New Jersey a mărit salariul minim. Pennsylvania, vecinul de peste râu, nu l-a mărit. Doi economiști, David Card și Alan Krueger, au văzut aici o ocazie rară. Au întrebat restaurantele fast-food de o parte și de alta a graniței dintre cele două state câți oameni angajează, înainte și după creștere. Rezultatul lor a aprins una dintre cele mai lungi dezbateri din economie. Astăzi însă nu ne interesează în primul rând rezultatul, ci metoda.
În lecția 10.02 am văzut că orice evaluare se lovește de aceeași problemă. Ca să știm efectul unei politici, trebuie să știm ce s-ar fi întâmplat fără ea. Acest scenariu, contrafactualul, nu îl putem observa niciodată direct. Putem doar să-l aproximăm, cu un grup de comparație cât mai asemănător. Vă propun patru metode prin care cercetătorii fac asta, explicate fără nicio formulă.
Prima este experimentul randomizat. Tragerea la sorți decide cine intră în program și cine nu. Pentru că decide hazardul, cele două grupuri seamănă, în medie, în toate privințele. Seamănă inclusiv în lucruri pe care nu le putem măsura, cum ar fi motivația sau sprijinul familiei. Dacă după un an grupurile diferă, diferența vine de la program.
Așa se testează medicamentele. În politici publice, metoda e potrivită mai ales când locurile sunt oricum limitate, iar tragerea la sorți devine cel mai corect mod de a le împărți. Are și limite. Nu poți trage la sorți cine primește o lege sau un drum. Experimentele cer timp și bani. Iar un efect obținut pe câteva sute de oameni se poate micșora când programul se extinde la o țară întreagă, cum am discutat în lecția 09.04.
A doua metodă este exact cea a lui Card și Krueger: diferența în diferențe. Măsurăm cât s-a schimbat rezultatul în grupul afectat de politică. Măsurăm cât s-a schimbat, în aceeași perioadă, într-un grup neafectat. Schimbarea din grupul neafectat ne arată ce s-ar fi întâmplat oricum, de exemplu din cauza economiei sau a sezonului. Efectul politicii este diferența dintre cele două schimbări.
Totul se sprijină pe o ipoteză: fără politică, cele două grupuri ar fi evoluat la fel. O putem verifica parțial, uitându-ne la mai mulți ani de dinainte. Dacă liniile mergeau paralel, avem un motiv de încredere. Studiul despre New Jersey arată și de ce metoda nu e magie. Alți cercetători au folosit alte date, din registrele de salarii ale restaurantelor, și au ajuns la concluzii diferite. Rezultatul depinde de calitatea datelor și de cât de bună este comparația.
A treia metodă se numește discontinuitatea de regresie. Să luăm un exemplu ipotetic. O universitate dă o bursă tuturor studenților cu media cel puțin 9. Un student cu 8,98 și unul cu 9,02 sunt practic la fel. Doar unul dintre ei primește însă bursa. Dacă, la prag, rezultatele sar brusc, saltul acela este efectul bursei.
Metoda are câteva condiții. Rezultatul este valabil doar în jurul pragului, nu și pentru studenții cu media 7. Și avem nevoie de destui studenți aproape de prag, altfel comparația se face pe prea puțini oameni. Iar pragul nu trebuie să poată fi manipulat. Dacă mediile de 8,98 sunt rotunjite discret la 9, comparația se strică.
A patra categorie sunt experimentele naturale. Uneori, hazardul sau o regulă externă creează singure grupuri comparabile. O universitate care trage la sorți locurile în cămin când cererile depășesc oferta. O regulă care se aplică doar celor născuți după o anumită dată. O graniță administrativă care desparte două zone aproape identice. Întrebarea de control rămâne aceeași: chiar este întâmplătoare împărțirea în grupuri?
Nicio metodă nu e perfectă. Fiecare are ipoteza ei, iar un evaluator cinstit o spune pe față și o testează. Cifrele ne spun dacă a funcționat. Interviurile cu beneficiarii și cu funcționarii ne spun de ce.
Să ne întoarcem la chiriile studenților. Voucherul de chirie pornește ca proiect-pilot într-un singur oraș, cel cu cea mai mare presiune măsurată. Celelalte trei orașe devin grupul de comparație. Indicatorul central rămâne ponderea studenților din afara orașului care cheltuie pe locuință peste 40% din venit.
Cu cifre ipotetice: în orașul-pilot, ponderea scade de la 50 la 42 la sută, adică cu 8 puncte. În celelalte orașe scade, în medie, de la 48 la 45 la sută, adică cu 3 puncte. O comparație simplă înainte-după i-ar atribui voucherului toate cele 8 puncte. Diferența în diferențe îi atribuie doar 5. Celelalte 3 s-ar fi întâmplat oricum. Pentru cineva care trebuie să decidă dacă prelungește voucherul, diferența dintre 8 și 5 puncte nu este un detaliu. Poate schimba verdictul analizei cost-beneficiu.
Avem și câteva capcane. Am ales orașul-pilot tocmai pentru că presiunea era maximă. Poate că era un vârf de moment, care ar fi scăzut oricum. De aceea măsurăm indicatorul în toate cele patru orașe din 2026/2027, înainte de pilot. O singură măsurătoare ne dă însă doar punctul de plecare. Ca să vedem dacă tendințele erau paralele, avem nevoie de mai mulți ani: pentru chirii avem date din trecut, iar pentru ponderea peste prag ar fi ideal încă un sondaj înainte ca pilotul să pornească. Urmărim și chiria medie din jurul campusurilor, ca să vedem dacă o parte din voucher a ajuns la proprietari. Mai e un detaliu: liberalizarea urbanistică pornește în toate cele patru orașe. Dacă pornește peste tot în același ritm, efectul ei apare în ambele grupuri și se scade din comparație. Dacă un oraș o aplică mult mai repede decât celelalte, comparația se strică, așa că urmărim și calendarul ei. Iar dacă bugetul nu ajunge pentru toți cei eligibili, o tragere la sorți între ei ar fi și corectă, și un experiment randomizat gata făcut.
Lecția de design: alege metoda de evaluare înainte să pornești politica, nu după. Hotărăște cu cine compari, strânge datele de dinainte și scrie ipoteza de care depinde rezultatul. După ce politica a început, multe dintre aceste alegeri nu mai sunt posibile.
În lecția următoare vedem cum legăm evaluarea de soarta politicii: o regulă care expiră dacă nu dovedește că funcționează.
Testează-ți cunoștințele: Metode de evaluare, pe înțeles (7 întrebări)