Si può affermare che la maggior parte degli economisti – o più in generale degli scienziati sociali – abbiano due principali obiettivi per la loro ricerca. Per prima cosa, sono interessati ad analizzare le relazioni causali: nonostante la complessità del mondo sociale ed economico, stabilire dei nessi causali è infatti al cuore di tutte le scienze sociali. Ad esempio gli economisti cercano di capire relazioni causali come il ritorno dell’educazione, le frizioni del mercato del lavoro, il ruolo dell’informazione sulle decisioni finanziarie, l’impatto della tecnologia sulla produttività. In secondo luogo, gli scienziati sociali sperano che le nuove conoscenze acquisite, basate su teorie ed evidenze empiriche, possano generare cambiamenti e miglioramenti nel mondo reale, attraverso politiche e regolamentazioni più efficaci, mercati più efficienti, miglioramenti del benessere sociale ecc.

Tuttavia, isolare le cause dai loro effetti non è affatto semplice, ed è stato l’oggetto di decenni di tentativi metodologici. Il principale ostacolo al quale ci si confronta nel tentativo di misurare una relazione causale, al di là della mera correlazione, è quello di individuare il controfattuale. In effetti, per misurare l’impatto di una situazione o di un intervento, è necessario paragonare due “stati del mondo”. Uno in cui la situazione o l’intervento esiste e uno in cui non esiste. Quest’ultimo è il controfattuale e permette di rispondere alla domanda “che cosa sarebbe successo se l’intervento non fosse stato realizzato?”. La differenza negli esiti tra il fattuale (ciò che osserviamo) e il controfattuale rappresenta l’impatto che può essere attribuito all’intervento in maniera causale, in quanto tutto il resto del contesto è uguale per costruzione. Questo tipo di esercizio non è realizzabile nel mondo reale, dove solo uno stato del mondo può essere osservato (ad esempio se un un soggetto è esposto o meno ad un intervento). Per lungo tempo gli economisti hanno prodotto modelli teorici per poi testarli sui dati del modo reale attraverso diverse metodologie empiriche. Questo permetteva di rivendicare relazioni causali, dopo aver fatto un certo numero di ipotesi teoriche sul controfattuale.

Dall’inizio degli anni ‘90 un numero crescente di economisti ha provato a superare il problema del controfattuale prendendo in prestito la metodologia degli esperimenti in laboratorio per trasferirli dalle scienze fisiche a quelle economiche. Il laboratorio offre infatti un ambiente controllato dove i soggetti vengono assegnati a “diversi stati del mondo”, permettendo quindi la creazione di controfattuali corretti. L’assegnazione casuale dei soggetti a gruppi di trattamento o di controllo permette – se il campione è sufficientemente ampio – di analizzare situazioni dove i diversi gruppi sono identici sotto tutti gli aspetti, tranne che per quelli legati al trattamento. Questo significa che tutte le differenze nei risultati possono essere attribuite al trattamento in maniera causale, escludendo così ogni altro fattore di confondimento. Tuttavia, un assunto fondamentale che condiziona l’analisi dei dati di molti esperimenti in laboratorio è che i risultati riscontrati all’interno del laboratorio possano essere generalizzabili anche al di fuori del laboratorio, ovvero nel mondo reale. A differenza dei risultati di laboratorio per le discipline fisiche, i risultati sui comportamenti umani possono essere influenzati da molti fattori che rendono il laboratorio sistematicamente diverso dal mondo reale. Con l’obiettivo di fornire condizioni più naturali e validità esterna agli esperimenti in laboratorio, gli economisti hanno cominciato a svolgere esperimenti sul campo usando la randomizzazione nel contesto del mondo reale.

Dagli inizi degli anni 2000 si assiste ad una crescita esponenziale dell’uso di esperimenti sul campo, detti randomized controlled trials (RCTs), sia nei paesi in via di sviluppo che in quelli sviluppati. Il successo degli esperimenti sul campo si basa su due fattori principali: una nuova enfasi sulle politiche basate sull’evidenza empirica, anche grazie alla spinta di organizzazioni come la World Bank, e sull’esigenza di trovare fonti di variazione esogena per validare le teorie economiche nel mondo reale, da parte degli economisti. L’uso degli esperimenti sul campo per la valutazione degli impatti delle politiche è aumentato moltissimo nell’ultimo decennio, in particolare nel settore dello sviluppo internazionale. Ciò è stato spinto da istituzioni come la World Bank e da donatori come DFID e Bill&Melinda Gates Foundation allo scopo di giustificare le loro spese e per misurare l’impatto effettivo dei loro progetti.

L’introduzione di valutazioni d’impatto rigorose attraverso gli RCTs è stato decisivo per il miglioramento di alcuni progetti, ma anche, più in generale, perché ha permesso di cambiare il modo in cui le istituzioni disegnano i programmi di sviluppo. Le valutazioni delle politiche attraverso gli RCTs permettono infatti di stimare rigorosamente quel che funziona o meno, fornendo al contempo informazioni sulla costo-efficacia di diverse possibili opzioni che puntano allo stesso obiettivo. La valutazione rigorosa degli impatti dei programmi aiuta anche le agenzie d’implementazione a chiarire meglio la teoria del cambiamento insita nei loro interventi, permettendo di concentrarsi sulla causalità e sulla misura del processo che porta dagli interventi agli impatti. Gli RCTs hanno permesso di analizzare numerose questioni legati a diversi tipi di politiche, come gli effetti degli input scolastici sull’apprendimento, l’adozione di nuove tecnologie in agricoltura, gli incentivi per i lavoratori, i trasferimenti di denaro condizionati o meno, il microcredito, ecc.

Una questione che spesso emerge con la valutazione dei programmi, così come per gli esperimenti in laboratorio, è la misura in cui i risultati siano replicabili e generazzibili in altri contesti. Può un programma svolto in Benin avere gli stessi impatti di un programma simile implementato nelle communità Andine? O, in altre parole, che lezione generale possiamo trarre dagli impatti di un particolare programma realizzato in un contesto specifico? Per estendere la validità esterna degli studi di impatto, i ricercatori si sono concentrati sulla rappresentatività delle situazioni, piuttosto che sulla rappresentatività dei contesti, cercando di analizzare i meccanismi che generano gli impatti. In altre parole, i ricercatori cercano di concentrarsi sulle forze che generano cambiamenti particolari, ossia quelli legati al comportamento umano, e non solo al particolare contesto oggetto dello studio. In misura sempre maggiore le valutazioni d’impatto “standard” si sono evolute muovendosi dalla mera analisi di quel che funziona o meno a veri e propri “esperimenti sul campo”, per testare le teorie economiche. Questo è stato sicuramente un occasione unica per lo stereotipo accademico per scendere dalla torre di avorio, e sporcarsi le mani nella complessità della realtà e dell’applicazione, in modo da supportare le decisioni politiche più direttamente. Questo, ha portato a una vera e propria esplosione di questo tipo di lavori in molti ambiti della letteratura economica.

Le due priorità per gli economisti citate all’inizio dell’articolo sembrano essere soddisfatte grazie agli esperimenti di campo:

variazioni esogene a piacimento, ottenute grazie agli RCTs, da usare per provare le teorie economiche, e la possibilità di influenzare il decision making grazie ai risultati ottenuti. Sembra un sogno!

Una situazione dove tutti trovano benefici: economisti e decisori politici. Tuttavia come in tutti i sogni, ad un certo punto la sveglia finisce per suonare… e ci tocca considerare tutta una serie di aspetti per capire meglio il ruolo che giocano gli esperimenti di campo per le scienze economiche e per la presa di decisioni politiche.

Come prima cosa, la struttura di incentivi che vale per i ricercatori e per chi applica i programmi non è la stessa. I ricercatori sono per lo più interessati ad esplorare le relazioni economiche, il comportamento umano, le funzioni di produzione etc.. mentre chi gestice direttamente i programmi vuole sapere se il numero ideale di studenti per classe è 25 o 30, se una campagna di sensibilizzazione sull’AIDS riduce effettivamente la sua incidenza etc.. Si impara certamente sempre qualcosa di nuovo e di utile mentre si analizzano gli impatti di un progetto, ma è facile che alcuni progetti non vengano ritenuti abbastanza interessanti per essere valutati da ricercatori, nonostante la volontà dell’istituzione di farlo.

In secondo luogo, svolgere valutazioni d’impatto o esperimenti di campo attraverso gli RCTs è costoso. Chi dovrebbe pagare? Attualmente, solo un numero limitato di istituzioni implementatrici usano fondi propri per valutare i loro programmi. Nonostante il valore dell’esercizio di apprendimento e i possibili miglioramenti in termini di costo-efficacia dei propri interventi, in molti contesti (almeno in Europa e sicuramente in Italia), dimostrare gli impatti rigorosi e l’efficacia degli interventi non paga in termini di visibilità per attrarre nuovi fondi. Al momento, la struttura degli incentivi non sembra quindi premiare la valutazione d’impatto. La maggior parte delle istituzioni che svolgono valutazioni d’impatto sembrano infatti piuttosto usare fondi esterni messi a disposizione da donatori e fondazioni internazionali. Tuttavia, queste risorse finanziarie sono di solito convogliate tramite i ricercatori che scrivono le proposte di finanziamento. Ecco quindi il problema: esistono molto probabilmente numerosi progetti con un altissimo interesse per la politica ma un bassissimo interesse per la ricerca che rischiano di non essere valutati per mancanza di fondi.

Se uno crede nell’imperativo morale che i soldi pubblici dovrebbero essere spesi nel miglior modo possibile per generare impatti, allora …

qualcosa deve cambiare.

Sicuramente potrebbe aiutare una spinta dall’alto (istituzioni internazionali , governi e donatori) verso la cultura dell’evidence-based policy-making, ad esempio premiando le agenzie e gli istituti che svolgono valutazioni d’impatto. Questo potrebbe indurre le istituzioni implementatrici a svolgere valutazioni d’impatto sulle attività di core business, e potrebbe incentivarle ad assegnare sempre più risorse interne a questo tipo di attività. Non solo, potrebbe anche portare alla nascita di un mercato di professionisti della valutazione – non necessariamente legati al mondo accademico e alla necessità di pubblicare bene – ma comunque capaci di gestire l’intero processo di valutazione e di adattarlo al contesto specifico. Sarebbe un’ottima opportunità per gli economisti per contribuire concretamente allo sviluppo della società!

Un sogno ancora più grande sarebbe quello in cui:

  1. Il mondo accademico svolge esperimenti sul campo in ambiti promettenti per la ricerca ed espande la conoscenza del comportamento umano, delle istituzioni e dei mercati, nonchè dei meccanismi dietro il successo di alcune politiche
  2. Tutte le istituzioni sono incentivate ad investire risorse interne per imparare come risultare più efficaci ed efficienti rispetto ai propri obiettivi.
  3. Nuovi posti di lavoro per gli economisti e per i professionisti della valutazione!!!