A funcționat?
Videoclipul nu pornește? Urmărește-l direct pe YouTube.
Aveți o răceală. Luați un medicament și, după o săptămână, vă simțiți bine. Medicamentul a funcționat? Poate. Dar o răceală obișnuită trece oricum, de obicei în aproximativ o săptămână. Ca să știți dacă pastila a contat, nu ajunge să vă uitați la cum v-ați simțit înainte și după. Trebuie să vă întrebați cum v-ați fi simțit fără ea. Exact aceeași întrebare stă în centrul evaluării oricărei politici publice.
Economiștii îi spun contrafactual: ce s-ar fi întâmplat cu aceiași oameni, în aceeași perioadă, dacă politica nu ar fi existat. Efectul unei politici este diferența dintre ce s-a întâmplat cu adevărat și acest contrafactual. Problema este că contrafactualul nu se vede niciodată. Nu putem trăi același an de două ori, o dată cu politica și o dată fără ea. Tot ce putem face este să-l estimăm cât mai bine. Recunoașteți ideea din lecția 01.04: efectul unei politici ține și de ceea ce nu se vede.
Cea mai frecventă greșeală are un nume: eroarea înainte-după. Comparăm situația de după politică cu cea de dinainte și punem toată diferența pe seama politicii. Dar între cele două momente se întâmplă multe altele. Economia crește sau intră în criză. Prețurile se mișcă. Oamenii se mută. O tendință care exista deja continuă. Dacă indicatorul scădea oricum, o comparație înainte-după va atribui politicii un succes care nu-i aparține. Și invers: o politică bună poate părea un eșec dacă a venit într-un an prost, în care fără ea lucrurile ar fi stat și mai rău.
Iată un exemplu ipotetic, cu o capcană mai subtilă. O primărie montează camere de supraveghere în intersecțiile cu cele mai multe accidente de anul trecut. Anul următor, accidentele de acolo scad. Dar intersecțiile au fost alese tocmai pentru că avuseseră un an neobișnuit de prost. Multe dintre ele ar fi revenit oricum spre nivelul lor obișnuit, care era mai mic. Statisticienii numesc fenomenul regresie spre medie. Camerele pot fi utile, dar comparația înainte-după le umflă meritul.
Prima soluție la care ne gândim este un grup de comparație: oameni care nu au primit politica. E un pas bun, dar ascunde o capcană, pe care am întâlnit-o în lecția 02.03: selecția. Să luăm cursurile pentru șomeri din lecția trecută. Cei care se înscriu de bunăvoie sunt adesea cei mai motivați, cei mai bine informați. Poate că s-ar fi angajat oricum mai repede decât ceilalți. Dacă îi comparăm cu cei care nu s-au înscris, nu măsurăm efectul cursului. Măsurăm, în bună parte, diferența dintre oamenii care au ales să participe și cei care nu au ales.
Așa că, pentru orice grup de comparație, puneți trei întrebări. Cine a decis cine primește politica: oamenii înșiși, un funcționar, o regulă, tragerea la sorți? Ar fi fost grupurile diferite și fără politică? Și s-a mai întâmplat ceva, în aceeași perioadă, doar unuia dintre grupuri? Cel mai curat răspuns îl dă tragerea la sorți, despre care am vorbit în lecția 09.04. Când ea nu e posibilă, există alte metode, pe care le explicăm în lecția 10.03.
Să spunem cinstit și de ce eroarea înainte-după rezistă atât de bine. Nu ține doar de neștiință. Ține și de stimulente. Un decident care a lansat o politică are tot interesul să o prezinte ca pe un succes, iar comparația înainte-după îi oferă adesea exact asta. Momentul de pornire poate fi ales convenabil: un an de criză, după care orice revenire pare meritul politicii. Ca alegător sau jurnalist, de fiecare dată când auziți „după ce am introdus măsura, cifra a scăzut”, întrebați: și ce s-a întâmplat, în aceeași perioadă, acolo unde măsura nu a existat?
Să ne întoarcem la chiriile studenților. Să presupunem că, la doi ani după pornirea pilotului cu vouchere, primim vestea: în orașul-pilot, chiriile au scăzut. Sună excelent. Ce dovedește? Aproape nimic, deocamdată.
Gândiți-vă la ce mai putea face chiriile să scadă. Căminele finanțate prin PNRR intră în funcțiune. Se finalizează blocuri începute cu ani în urmă. Numărul tinerilor scade ușor în următorii ani și mult după 2040, așa cum am văzut la scenariul de referință, în lecția 02.05. O recesiune poate reduce cererea. Mai multe cursuri hibride pot ține studenți acasă. Și, mai ales, ne așteptam ca un voucher să crească chiriile, nu să le scadă, pentru că adaugă cerere. Dacă chiriile au scăzut, explicația trebuie căutată, cel mai probabil, în altă parte.
Deci cum vom ști dacă pilotul a funcționat? Am pregătit răspunsul din momentul proiectării. Am măsurat nivelul de pornire în toate cele patru orașe, cu același sondaj. Comparăm cum s-au schimbat ponderea studenților peste prag și chiriile în orașul-pilot cu cum s-au schimbat, în aceeași perioadă, în celelalte trei orașe. Nu comparăm nivelurile, pentru că orașele sunt diferite. Comparăm schimbările. Pe această idee se bazează metoda diferenței în diferențe, din lecția următoare. Iar dacă bugetul nu ajunge pentru toți, tragem la sorți între solicitanții eligibili din orașul-pilot și comparăm povara chiriei la cei care au primit voucherul cu povara celor care nu l-au primit. Și am scris dinainte ce înseamnă succes: ponderea studenților care cheltuie peste 40% din venit pe locuință scade mai mult în orașul-pilot decât în orașele de comparație, fără ca acolo chiriile să crească vizibil mai repede. Pentru că am scris-o înainte, nu o mai putem muta după ce vedem rezultatele.
Lecția de design: când cineva îți spune că o politică a funcționat, întreabă „comparat cu ce?”. Iar când proiectezi o politică, alege încă de la început cu cine o vei compara.
În lecția următoare vedem, cu grafice și fără formule, cum estimează cercetătorii contrafactualul atunci când nu-l pot vedea.
Testează-ți cunoștințele: A funcționat? (6 întrebări)