Scarica Il processo di valutazione (Palumbo) e più Sintesi del corso in PDF di Scienze Sociali solo su Docsity! IL PROCESSO DI VALUTAZIONE [AUTORE: MAURO PALUMBO] [Riassunto del libro “IL PROCESSO DI VALUTAZIONE” (Prof. Maurizio Esposito).] • Esame di “METODOLOGIA DELLA PIANIFICAZIONE” (9 CFU). • CORSO DI LAUREA MAGISTRALE IN “POLITICHE SOCIALI E SERVIZIO SOCIALE” – UNIVERSITA’ DEGLI STUDI DI CASSINO E DEL LAZIO MERIDIONALE. PREMESSA La pratica della valutazione si sta diffondendo sempre di più in Italia grazie alla spinta di molti fattori che la stanno rendendo autonoma dalle discipline accademiche e dagli ambiti professionali dov’era nata, dandole maggiore peso e visibilità. Oggi, non viene messo in discussione solo l’operato degli enti pubblici, ma tutte quelle situazioni asimmetriche di potere, di cui quotidianamente il cittadino tende a richiedere una legittimazione dei produttori di servizi diversa da quella della correttezza procedurale. Nella società contemporanea si diffonde il principio della centralità dell’utente/utente, a sua volta molto legato a quello della qualità del servizi: da qui lo sviluppo di carte dei servizi, di codici deontologici, di standard minimi di risultato. Tra le cause dell’affermarsi della valutazione, vi è la crisi fiscale dello Stato, che vuole maggiori capacità di allocare in modo ottimale le risorse. Vicino alla crisi fiscale dello Stato va segnalato l’avanzare del processo di trasferimento di competenze alle Regioni ed alle Autonomie Locali. Quando sono molti i soggetti istituzionali che concorrono alla definizione degli interventi, quando si allunga la catena tra erogatori di risorse, decisori del loro uso specifico, diventa necessario sia produrre documenti formali (piani e programmi) che specifichino le ragioni ed i contenuti delle scelte, sia azioni di ricerca (le valutazioni) che diano conto dell’efficacia e dell’efficienza della spesa stessa. Il vero motivo dell’importanza della valutazione sta nella crescente complessità sociale, che rende sempre meno credibile la possibilità di conoscere e padroneggiare tutti i fattori importanti per il successo di un intervento e di poterne prevedere in modo affidabile gli esiti. Questo manuale cerca di dare una prima risposta all’esigenza di definire l’ambito tematico specifico della valutazione. Dagli approcci viene fuori un contrasto tra un impianto legato al modello positivista ed uno caratterizzato da diversi gradi di costruttivismo. Il primo ritiene che vi sia una realtà, esterna all’osservatore, che può essere studiata in modo oggettivo; che le leggi esistano e vadano scoperte dallo studioso, la cui neutralità è un sottoprodotto della sua competenza e della sua correttezza scientifico-professionale. Il secondo evidenzia il carattere costruito e non dato dalla realtà, l’impossibilità d’invocare principi di neutralità, oggettività, separazione tra “soggetto osservatore” e “oggetto osservato”. Oggi nessuno scienziato sociale aderisce del tutto al 1° modello; però, vi è una maggiore convergenza sulle critiche alle sue pretese di oggettività che non sui principi da adottare nella scienza post-positivista e post-empirista. Il problema si pone soprattutto nella pratica professionale, dove è esperienza comune il maggiore appeal che un approccio oggettivista ha rispetto ad uno centrato su un costruttivismo più o meno spinto. Il primo, infatti, ha un effetto rassicurante sia sul committente che sugli stakeholder e sugli stessi partner del valutatore; mentre, il secondo genera sempre il timore della confutabilità dei risultati, della soggettività degli strumenti e dei dati, dell’approssimazione delle conclusioni. ________________________________________________________________________________________________ 1° CAPITOLO: TRE APPROCCI PRINCIPALI ALLA VALUTAZIONE: DISTINGUERE E COMBINARE Dalla cronologia alla tipologia: le molte facce della valutazione Vi sono vari approcci alla valutazione: questa molteplicità è una ricchezza di strumenti di cui si può servire il valutatore, che si dovrà esercitare nello sceglierli. Criteri per una cronologia: valutazione e politica Lo sviluppo della valutazione è ricollegabile a 3 grandi periodi: 1) Il 1° che va dalla metà degli anni ’60 alla metà degli anni ’70: è quello dove tutto è iniziato. Insieme alle grandi sperimentazioni sociali nascono l’approccio positivista-sperimentale e quello pragmatista; ci si preoccupa della capacità della valutazione di dimostrare l’impatto dei programmi; 2) Il 2°, che va dalla metà degli anni ’70 alla metà degli anni ’80: viene chiamato “pessimismo dei programmi e scontro della valutazione”. Qui si hanno le prime reazioni negative a quelli che vengono chiamati “gli effetti adattano alle politiche del New Public Management. Esso è uno strumento nelle mani del management pubblico, che vuole sapere quanto sta producendo il suo servizio, o nelle mani di un’amministrazione centrale che vuole confrontare servizi simili offerti da diverse strutture. Sempre secondo Scriven, coloro che parlano della qualità dei servizi riferendosi a standard, norme ISO, accreditamenti ecc., si riferiscono al merit, e si limitano a fare una formative evaluation per il management, e non riescono a fare anche una valutazione orientata al consumatore, che dovrebbe essere goal free, e basata su giudizi di worth. 3. L’approccio “costruttivista – del processo sociale” Questo approccio si rifà ad una serie di modelli. Da un lato, la discussione sui paradigmi avviata con la “quarta generazione della valutazione” di Guba e Lincoln; dall’altro, i contributi attenti alla valutazione come attività che si riferisce ad un processo sociale e si svolge in un contesto politico ogni volta mutevole con cui i valutatori interagiscono. Inoltre, tutti quei modelli che insistono sulla finalità della valutazione di sviluppare le capacità degli utilizzatori, siano essi stakeholders o beneficiari, come l’empowerment evaluation, la valutazione orientata all’utilizzatore. Al di là delle differenze, tutti questi modelli hanno in comune un’attenzione al contributo dei vari autori, ed a cosa un programma diventa mentre viene attuato, molto più che a come è stato disegnato. Esso viene applicato non solo quando si ha a che fare con situazioni nuove e con programmi pilota, ma anche perché si pensa che non esistano altri criteri di successo che quelli che vengono definiti all’interno della situazione specifica. Ciò vuol dire che la definizione di cosa sia un successo, è un concetto che si forma in un momento successivo al varo del programma: è quando lo si vede come affronta i problemi, lo si confronta con altre situazioni e si sente l’opinione dei vari stakeholders che si può formulare un giudizio su cosa funziona bene o male. La valutazione deve tener conto del fatto che ogni volta che si attua un programma, esso cambia a contatto col contesto: i problemi sentiti dai vari stakeholders saranno diversi, e le conclusioni raggiunte per un programma non potranno essere generalizzate ad altre situazioni dove vengono attuati programmi simili. Un programma va analizzato nel suo contesto sociale ed istituzionale. Per far ciò, ci si serve di analisi di casi, di interviste in profondità, ma non solo: potranno essere utili anche strumenti d’indagine quantitativa se colgono un aspetto che gli attori ritengono centrale. La cosa importante è che le parti siano coinvolte in una valutazione partecipata, che il processo sia seguito nelle sue varie fasi da valutatori che interagiscono con gli stakeholders, e che in presenza di interessi e posizioni in conflitto, i valutatori possano assumere ruoli di “arbitri”, di “negoziatori”, di “facilitatori”. Quest’approccio ha il fine conoscitivo della valutazione, sia nel senso che esso tende a comprendere la situazione tramite le interpretazioni che ne danno gli attori, a definire i problemi, a chiarire ciò che si può ottenere coi programmi; sia nel senso del potenziamento delle capacità dei beneficiari di usare il programma per gestire meglio le proprie attività e favorire un processo di apprendimento. Differenze (e somiglianze) tra questa e altre tipologie Questa tipologia ha delle affinità con altre che sono state proposte in vari momenti di questa storia vecchia di 30 anni. Basti pensare alla tipologia di Ernest House, che riconduce i modelli principali di valutazione all’atteggiamento verso il principio di giustizia, ritenuto un criterio di valutazione molto importante del principio di verità, e distingue tra valutazioni basate su un principio “etico-utilitarista” e valutazioni basate su un principio “pluralista-intuizionista”, ispirate al principio “justice as fairness” di Rawls. Altri punti di contatto vi sono tra la nostra tipologia e quella di Scriven, che considera come discriminante l’atteggiamento verso i valori, e distingue diversi approcci che possono rientrare tra questi principali: le posizioni relativiste (come quelle dei positivisti), per cui i valori sono quelli del cliente. Distinguere e combinare Approcci e metodi Ogni approccio ha una propria logica, una propria coerenza interna e, quindi, ha bisogno di strumenti d’indagine adeguati. Non esistono strumenti che abbiano una validità generale, che siano buoni per tutti gli usi. La tesi principale è che ogni approccio userà alcuni metodi soltanto, scegliendoli tra i metodi macro e micro, ed adattandoli alle proprie esigenze. Infatti, possiamo pensare che l’approccio “positivista-sperimentale” userà metodi di analisi macro per un’indagine sull’andamento di un programma; che l’approccio “pragmatista - della qualità” userà metodi macro e micro; e che l’approccio “costruttivista – del processo sociale” userà metodi di analisi comparata e metodi micro di studi del caso e di valutazione partecipata. È pura illusione quella che esista un approccio giusto poiché adeguato alla situazione da valutare. Semmai, possiamo dire che l’uso combinato di vari approcci è legato al modo in cui si formula la domanda di valutazione, che può essere diversa per gli stessi tipi di programmi, poiché dipende dal contesto e dalle particolari condizioni dove si sta implementando un programma. Equità tra approcci Mettendo su uno stesso piano diversi approcci, senza riconoscere nessun primato, abbiamo favorito quegli approcci che di solito sono considerati più deboli. L’approccio costruttivista, che parla tanto di pluralismo e di complessità, continua ad essere considerato inferiore a quello positivista-sperimentale. Quello che succede è che o si pensa che solo metodi hard sono validi, e quindi il 3° approccio non viene neanche considerato, o si ammette l’utilità dei metodi qualitativi, li si considera come qualcosa di meno valido. Metodi misti e pluralismo Bisogna farsi una domanda: “basta distinguere?”. Nei nostri paesi, dove le politiche pubbliche locali/nazionali usufruiscono di partnership europee, dove in ogni situazioni insiste un insieme diverso di programmi e progetti, è necessario poter usufruire di tutta la tavolozza degli approcci, poter combinare metodi e strumenti teorici di diversa origine. Spesso ciò avviene in modo spontaneo, nel formulare disegni di ricerca che accostano analisi d’impatto, questionari di soddisfazione degli utenti magari con interviste a testimoni privilegiati. La combinazione è diventata il problema al centro dell’attenzione, che viene concettualizzato nell’idea di pluralismo. Tra le varie forme di pluralismo degli approcci, i filoni più interessanti sono 2: il 1° è quello dei metodi misti, il 2° è quello di alcuni sviluppi teorici che hanno interessanti contaminazioni tra approcci. L’idea dei metodi misti nasce dall’osservazione dei pregi e dei limiti di ognuno di essi ed offre come soluzione la loro complementarietà: si tratta della triangolazione dei metodi. Essa si è fatta avanti per superare l’impasse di uno scontro troppo aperto. Uno sviluppo interessante in questa direzione è la diffusione dei metodi di valutazione partecipata, che non viene vista solo come forma di empowerment di stakeholders e beneficiari, ma anche come metodo utile per la riuscita dei programmi. Ma l’idea più promettente è quella della “contaminazione degli approcci”: non si tratta di nuovi approcci poiché non hanno nuove pietre di paragone ed usano quelle già in uso nei 3 approcci principali. La valutazione basata sulla teoria Per Carol Weiss, la “black box” significa che si danno per scontate le assunzioni del programma sul perché ci dovrebbe essere un certo cambiamento. Aprire la scatola nera vuol dire capire che in ogni situazione il legame tra input ed un risultato può essere ottenuto tramite diverse strade, oltre a non essere ottenuto. L’attività del valutatore consiste per lo più nel formulare le diverse assunzioni che possono sottendere perché un intervento dovrebbe portare un certo risultato. Logicamente, nelle ipotesi di cambiamento tutto sembra poter funzionare e non si prevedono ostacoli, mentre il valutatore sa che i nessi causali non sono automatici e potrebbero spezzarsi per varie ragioni che dipendono dall’ambiente socio-economico ed istituzionale e dai comportamenti degli attori: proprio qui il valutatore può giudicare sulla validità delle singole assunzioni, confrontare l’una con l’altra e proporre cambiamenti dei programmi. In questo modo di ragionare, ci sono vari spunti pluralisti: s’inizia coi metodi per generare le teorie dei programmi. Per Weiss, bisogna fare il massimo uso di ragionamento logico, intuito professionale e saggezza e poi usare il lavoro collettivo di valutazione per testare sotto condizioni operative realistiche. Poi si continua col rapporto con gli stakeholders: le valutazioni basate sulla teoria non si occupano solo di cosa fanno i programmi, ma anche di come rispondono i partecipanti. La valutazione realistica Essa, proposta da Pawson e Tilley, prende le mosse dalla critica alla “causalità sequenziale” dell’approccio positivista e le contrappone la “causalità genetica”. Nel 1° caso, si vuole dimostrare che un risultato è stato ottenuto dopo aver somministrato un input, e se ciò viene provato con un’analisi controfattuale, che riesce ad escludere ipotesi rivali, lo si ritiene generalizzabile ad altre realtà. Nella causalità genetica, invece, si sforza di capire come sia stato possibile che a quell’input sia seguito il risultato, e si cerca una risposta nella formula “risultato = meccanismo + contesto”. Confronto tra causalità sequenziale e causalità genetica per Pawson e Tilley Causalità sequenziale (sperimentazioni sociali; Campbell) Causalità genetica (Pawson e Tilley; la tradizione realista di Sayer) Un’ipotesi viene provata se si può stabilire che il risultato è solo l’effetto dell’input Risultato = somma meccanismo + contesto Il contesto non conta, anzi per generalizzare non se ne deve tener conto Il contesto conta Un programma funziona quando se ne prova la generalizzabilità La generalizzabilità non ha senso, anzi è la colpa dell’idea che niente funziona Un programma è una teoria di cambiamento Un programma è un suggerimento che qualcuno che ne ha le potenzialità può raccogliere La molteplicità dei meccanismi è concepita come presenza di ipotesi rivali, ma poi ce ne deve essere una che prevale, che è quella giusta In ogni situazione sono possibili più meccanismi, che si adattano a più contesti Per rilevare la causalità, un disegno di valutazione deve riguardare tanti casi, da accorpare per avere un’unica risposta Per rilevare la causalità, un disegno di valutazione dovrebbe riguardare tanti contesti dove sia possibile identificare i diversi meccanismi (casi da confrontare) Si concentra sul metodo Si concentra sulla teoria Non è interessata al processo ed alle persone È interessata al processo. I diversi gruppi di persone creano il contesto Punta alla triangolazione dei metodi È per il pluralismo dei metodi In un certo senso, potremmo dire che la pietra di paragone usata da Pawson e Tilley è più vicina a quella del costruttivismo: scoprire il meccanismo nel contesto vuol dire capire cosa “funziona meglio dove”, è cosa che si scopre col lavoro a contatto gli stakeholders. Pawson e Tilley sostengono che nell’indagine su meccanismo e contesto si devono usare tutti i metodi possibili, ma essi affermano che in ogni situazione sono possibili più meccanismi, che si adattano a più contesti. Questi sostengono che un programma non è una teoria di cambiamento che, in base alla valutazione ricevuta, porterà i decisori a comportarsi di conseguenza, ma è un suggerimento che qualcuno che ne ha le potenzialità può raccogliere. Conclusioni La valutazione non è un processo che deve essere fatto in determinati modi in base al tipo di programma, alla fase del programma ed all’interesse che un particolare committente può avere. L’oggetto della valutazione non è qualcosa di già dato, ma lo si deve costruire tra i vari attori, in un processo che parte dalla stessa domanda di valutazione. In ogni situazione, infatti, committente, valutatore (esterno ed interno) ed altri stakeholders decidono quali sono gli aspetti critici da sottoporre a valutazione, e quali domande formulare di conseguenza. ________________________________________________________________________________________________ 2° CAPITOLO: VALUTAZIONE: PUNTI FERMI E QUESTIONI APERTE beneficiari dell’intervento. c) Rispetto alle procedure, la formulazione del giudizio: • Viene realizzata tramite attività di comparazione rese possibili da azioni che hanno obiettivi cognitivi relativi all’oggetto, agli autori ed ai destinatari dell’intervento, al contesto dove avviene. • E sono sviluppate all’interno di un processo coerente; • Queste azioni sono condotte in base a procedure previste dalla metodologia della ricerca delle scienze sociali; le procedure prevedono anche modi di raccolta, elaborazione ed analisi dei dati ispirate alle scienze sociali. Quindi, la valutazione è un insieme di attività coordinate, di tipo comparativo, basate sulla ricerca delle scienze sociali ed ispirate ai suoi metodi, che ha per oggetto interventi intenzionali e poiché dotati di razionalità strumentale, con l’intento di produrre un giudizio su di essi in base al loro svolgersi o ai loro effetti. L’OGGETTO. L’oggetto della valutazione non esiste senza un contesto decisionale che produce un’azione, un intervento, un insieme d’interventi. Tale contesto viene ricondotto da molti autori all’ambito pubblico. La primaria giustificazione di questa scelta sta nel fatto che le organizzazioni pubbliche non sono sottoposte al controllo del mercato, che dà invece a quelle private le informazioni necessarie per la valutazione delle loro strategie d’azione. Qui è difficile concordare, in primis per la costante crescita delle attività del terzo settore, poco esposto ai feedback che derivano dal mercato e caratterizzato da responsabilità verso la società che possono suggerire il ricorso ad attività di valutazione. In secundis per l’attenzione continua che anche le organizzazioni private mostrano verso la valutazione di aspetti del loro operato sui quali il mercato non dà adeguate informazioni. Le politiche pubbliche sono un oggetto molto ampio e complesso. LE FINALITA’. La finalità primaria della valutazione è quella di dare un giudizio sul suo oggetto. La sua primaria vocazione è di essere utile e di essere usata. Dare un giudizio presuppone la definizione di criteri rispetto a cui fare la valutazione; anzi il carattere valutativo di quest’attività può confliggere con la sua pretesa di scientificità. Il giudizio che caratterizza la valutazione va fornito sotto condizioni tali da non inficiare la scientificità dell’analisi e dello stesso processo che porta a tale giudizio: cioè deve essere fondato su criteri coerenti rispetto alle finalità, all’oggetto ed al contesto ed assegnato con procedure scientifiche. I vari attori sociali che sono portatori di interessi rispetto alla politica da valutare, in primis i decisori che l’hanno prodotta o adottata e che spesso sono i committenti del valutatore, sono anche i contitolari del potere-dovere di definire i criteri in base ai quali il giudizio va fornito. LE PROCEDURE. Il valutatore non per forza sviluppa direttamente l’attività di ricerca su cui pure si basa la sua valutazione: ad es., è il caso dell’attività di selezione dei progetti, svolta in base a criteri definiti da altri e sulla base di informazioni già contenute nelle proposte da selezionare. Quindi, la valutazione si può configurare come un processo dove spesso sono inserite diverse attività di ricerca, ognuna col proprio disegno e le proprie tecniche e strategie di raccolta ed analisi dell’informazione. Il processo, però, non si esaurisce in esse, poiché include anche attività che non sono riconducibili all’attività di ricerca. La ricerca valutativa è l’applicazione sistematica delle procedure della ricerca sociale alla valutazione della concettualizzazione, del disegno, dell’implementazione e dell’utilità dei programmi d’intervento sociale. Frudà la definisce come una metodologia orientata da concettualizzazioni proprie supportata da tecniche di analisi e da strumentazioni multidisciplinari. L’attività di ricerca viene resa necessaria dal fatto che le informazioni su cui basare un giudizio non sono di regola subito disponibili, né facilmente reperibili senza un’attività di ricerca. Non va dimenticato che la valutazione riguarda interventi che hanno quasi sempre effetti su soggetti terzi: quindi, il decisore non sempre potrà godere di una conoscenza diretta degli esiti di tali interventi. Sono in atto, sia in Italia che in altri Paesi europei, processo di consolidamento della figura professionale del valutatore, legati anche al progressivo emergere di un campo disciplinare specifico. La professionalità del valutatore deve, comunque, includere competenze di metodologia della ricerca nelle scienze umane, ance se non si esaurisce in queste. I confini della valutazione Il problema si pone per il monitoraggio, parola che viene usata con significati estesi. Le varie definizioni di quest’ultimo sono concordi sul fatto che si svolge durante l’attuazione del programma, ma sono molte eterogenee nel considerarlo sovrapposto almeno in parte alla valutazione. Nella pratica professionale, poi, la confusione spesso è ancora maggiore. Il monitoraggio è un sistema di raccolta d’informazioni che possono essere usate anche per la valutazione , ma questa, a differenza del monitoraggio, deve riferire i risultati agli obiettivi o ai bisogni, quindi permettere un giudizio critico sulla politica in esame, in vista di un suo eventuale miglioramento. Stame nota che la valutazione è basata su 2 componenti chiave: la 1° è formata dalla raccolta/analisi dei dati necessari per il processo decisionale; la 2° consiste nelle premesse valutative o negli standard. È importante non confondere il concetto di valutazione con quelle di audit e di monitoraggio. • Audit: accertamento dei fatti e dei processi di base rispetto al livello di attività, e della spesa ad essa associata, durante i singoli progetti. • Monitoraggio: controllo costante del progetto-programma dall’inizio alla fine. La valutazione comprende i compiti dell’audit e del monitoraggio, ma si spinge oltre nella misura in cui essa implica l’interpretazione ed il giudizio. Alla base delle confusioni tra i 3 concetti sta il fatto che la valutazione affronta 3 tipi di quesiti: • di tipo descrittivo: relative non solo agli input ed agli output del programma o dell’intervento, ma anche ai suoi risultati: • di tipo normativo: come accade quando ci si chiede se un programma sta operando in accordo con la sua impostazione iniziale, ovvero se un servizio viene reso nel rispetto degli standard previste o imposti da norme e regolamenti; • di tipo causale: quando ci si chiede se un programma/intervento ha raggiunto i risultati che si prefiggeva e quali siano le ragioni degli scostamenti registrati. Possiamo dire che i sistemi di monitoraggio hanno come obiettivo quello di misurare in modo continuo gli input e gli output delle politiche in termini di risorse e di attività mobilitate o di risultati previste ed ottenuti. Sotto questo aspetto, si possono definire come sistemi informativi strutturati in una prospettiva valutativa: il loro compito è di produrre informazioni, non di emettere giudizi. Stame afferma che “il monitoraggio è un sistema di raccolta d’informazioni sugli input ed il loro uso, sui tempi di esecuzione e sul grado di realizzazione degli output attesi, per costruire una base dati dalla quale trarre indicatori significativi”. Esso dovrebbe permettere un feedback per le attività di controllo di gestione. Le informazioni raccolte nel monitoraggio di un programma possono essere usate anche nella valutazione. Quindi, il monitoraggio è un’attività value free, che fornisce dati alla valutazione, ma non s’identifica con questa. A sua volta, la valutazione è un’attività che si avvale anche dei dati di monitoraggio, ma la cui base informativa non si esaurisce in questi. PUNTI DI VISTA CRITERI DI GIUDIZIO PROFESSIONALIT A’ RICHIESTE AUDIT Legittimità e regolarità (conformità a norme e regolamenti) Chiari e conosciuti in anticipo (budget, regolamenti, standard professionali) Conoscenza in profondità dei criteri prestabiliti (es. giuridici o finanziari) MONITORAGGIO Solidità della gestione; produce analisi regolari dello sviluppo del programma Obiettivi operativi da raggiungere Competenze in materia organizzativa, gestionale , di costruzione di sistemi informativi VALUTAZIONE Risultati ed impatti prodotti sulla società Obiettivi da definire con precisione (raramente sono chiari, quantificati, verificabili, subito utilizzabili) Capacità di ottenere la collaborazione degli interlocutori. Capacità di ricerca sul campo Le principali finalità attribuire al monitoraggio sono: 1) il controllo dei flussi d’attività del programma; 2) il controllo del grado di raggiungimento degli obiettivi o degli standard dei servizi erogati. Il monitoraggio si concentra per lo più sugli output e sugli eventuali primi risultati del programma o dell’intervento e può prevedere l’attivazione di meccanismi di correzione degli eventuali scostamenti tra programmato e realizzato; 3) la raccolta sistematica nelle informazioni necessarie per un corretto svolgimento delle attività. Le finalità della valutazione Vi sono varie finalità della valutazione; la dimensione cronologica è alla base di molte tipologie della valutazione. La valutazione manageriale è rivolta all’ottimizzazione dell’uso delle risorse pubbliche; al suo interno il valutatore è un metodologo, che trova la sua legittimazione sul terreno della scientificità del suo approccio. Questa concezione mostra delle affinità con quella della razionalità sinottica in ambito programmatorio. Il suo superamento porta alla concezione democratica, dove viene accentuato il ruolo della valutazione come supporto alla capacità di controllo delle assemblee elettive e dei cittadini sull’attività dei governi. La concezione pluralistica si collega strettamente all’emergere di forme di programmazione partecipata e negoziata; in questi casi, il concorso dei soggetti implicati nel processo decisionale ed attuativo diventa più attivo ed il valutatore deve fornire elementi di informazione e riflessione usabili da una pluralità di soggetti, che concorrono anche a definire i criteri di giudizio da adottare e la gerarchia dei problemi da sottoporre alla valutazione. MANAGERIALE DEMOCRATICA PLURALISTICA PROGETTO GLOBALE Ottimizzazione delle risorse pubbliche Coinvolgere i cittadini e relazionare ad essi Modo collettivo di risolvere i problemi DEONTOLOGIA Valutatori indipendenti (esperti) Giudizio dei rappresentanti eletti Giudizio dei soggetti implicati nell’azione STANDARDS Oggettività Rendere pubblico l’approccio Imparzialità L’evoluzione delle competenze e delle attività della pubblica amministrazione, nel tempo, ha seguito una scansione che ha visto il passaggio dallo “Stato arbitro” allo “Stato interventista”, tipico dei moderni regimi di welfare, la cui crisi ha portato ad un’accentuazione della partecipazione non tanto alla programmazione, quanto alla realizzazione e gestione dei servizi. Questo fenomeno ha, da un lato, dato spazio alle figure professionali di tipo tecnico rispetto a quelle giuridico-amministrative, ma, dall’altro, ha anche richiesto competenze capaci di gestire le procedure della L’uso concettuale, invece, presuppone una teoria dell’azione che si costruisce durante la valutazione. Quindi, essendo basato su una migliore conoscenza del funzionamento concreto dei programmi, esso serve ad aumentare la loro efficacia. Weber e la valutazione Weber dice che “ogni riflessione pensante sugli elementi ultimi dell’agire umano fornito di senso, è vincolata alle categorie di scopo e di mezzo”. Dalle sue parole possiamo ricavare un elenco dei contributi che la scienza può dare al processo decisionale: a) La distinzione tra le categorie di scopo e di mezzo: poiché la scienza è scienza di mezzi e non di fini, una loro confusione non permette di assegnare ai 2 campi (della scienza e della politica) le questione di loro pertinenza. b) La valutazione della coerenza mezzi-fini, da cui possiamo far discendere sia l’approccio “obiettivi-risultati”, sia la valutazione di processo. c) L’analisi di efficienza. d) L’analisi di coerenza tra i mezzi richiesti e gli scopi che si prefigge il decisore. e) L’analisi costi-benefici. f) L’analisi di coerenza tra finalità (o valori ultimi) e quelli leggibili negli obiettivi di una scelta politica. g) L’analisi di efficacia esterna: cioè la prefigurazione delle conseguenze, volute o meno, delle scelte fatte. ________________________________________________________________________________________________ 4° CAPITOLO: VALUTAZIONE E PROCESSI DECISIONALI Le politiche pubbliche: un quadro di riferimento Oggetto della valutazione possono essere programmi, interventi, servizi di tipo pubblico o privato. Soffermandoci sull’ambito pubblico, la valutazione può riguardare un singolo intervento, un insieme articolato d’interventi, un programma o un servizio, un’intera politica pubblica. Logicamente, strumenti e tecniche di valutazione cambiano in base all’oggetto. Analizzando le definizioni di politica pubblica proposte in letteratura, vengono fuori 3 elementi costitutivi: 1) la titolarità della politica, che deve appartenere ad un soggetto pubblico; 2) le sue caratteristiche interne, cioè il fatto che una politica pubblica sia formata da un programma coordinato di valori, fini e pratiche, ovvero da una sfera specifica di attività governativa che comprende un particolare insieme di legislazione, organizzazione e risorse; 3) gli scopi che si prefigge : essa deve essere rivolta alla soluzione di un problema o alla risposta di una domanda. La politica pubblica viene definita come un corso intenzionale d’azione seguito da un’istituzione governativa o pubblica per risolvere una questione d’importanza pubblica. La definizione di politica pubblica include non solo il processo decisionale, ma anche la sua fase attuativa, poiché essa è sia un processo che un prodotto. Quindi, possiamo definire le politiche pubbliche come un insieme coordinato di azioni, ispirate da una o più finalità ed indirizzate verso 1 o più obiettivi di cui è titolare un soggetto pubblico . Secondo Schneider e Ingram, le politiche pubbliche sono caratterizzate: • da un’azione intenzionale, rivolta ad affrontare problemi; • dal fatto che l’azione sia intrapresa da un soggetto pubblico, o da agenzie che siano comunque a questo riconducibili; • l’azione deve essere guidata da regole che specifichino chi deve fare cosa, come, quando e perché; • l’azione deve essere supportata da strumenti che diano motivazioni agli individui in modo che assumano i comportamenti desiderati; • deve essere presenti una teoria causale che leghi le azioni degli attuatori ai comportamenti delle popolazioni obiettivo e questi ai risultati attesi. Molto importante è il tipo di politiche pubbliche. Anche qui le proposte avanzate dai politologi sono molte, poiché generate da criteri diversi, come i processi decisionali che le producono, i loro contenuti, le caratteristiche delle “arene politiche” dove sono poste. Lowi tiene conto del modo in cui sono strutturate le varie “arene di potere” dove prendono forma le politiche, particolarmente del carattere assunto al loro interno dagli interessi in gioco sulla base dell’ambito e della possibilità di applicazione del potere di coercizione che forma il carattere distintivo del potere politico rispetto agli altri tipi di potere esistenti nella società contemporanea. Lo stesso Lowi distingue tra 4 tipi di politiche, 3 dei quali di estremo interesse per la valutazione: 1. politiche distributive, che assegnano a destinatari bene individuati, benefici, prestazioni ben definiti, mentre i costi sono occultati, poiché ricadono sulla fiscalità generale; 2. politiche redistributive, tramite cui l’autorità pubblica permette l’accesso a certi vantaggi a categorie specifiche, prevedendo una copertura dei costi diversificata in base ai soggetti; 3. politiche regolative, dove l’azione pubblica è rivolta a dettare norme autoritative che vincolano il comportamento dei soggetti destinatati: si tratta di provvedimenti che obbligano a fare o vietano di fare; 4. politiche costituenti: hanno un ambito esteso di applicazione ed una bassa probabilità di uso rapido del potere coercitivo. Di regola, sono svolte da attori politici e definiscono le regole generali di funzionamento di un sistema. Ai fini della valutazione, è importante distinguere tra le prime 3, poiché richiedono gradi diversi di attenzione nella definizione del quadro di riferimento da considerare e nelle strategie di ricerca da usare. La corrispondenza tra vari tipi di politiche e di arene decisionali getta anche una diversa luce sugli stakeholder e sul loro ruolo nel processo di valutazione. Nelle “politiche distributive” si corre il rischio d’includere negli stakeholder solo i potenziali beneficiari e destinatari delle politiche stesse, e non coloro che ne pagano i costi. Va detto che le politiche sono una costruzione sociale e, al tempo stesso, un tipo ideale. Una costruzione sociale poiché non vi sono in natura, né ogni intervento pubblico viene realmente collocato all’interno di un contesto decisionale ed operativo dotato di un alto livello di coordinazione. Politiche pubbliche e valutazione L’oggetto della valutazione è formato da: • politiche pubbliche, programmi o interventi; • che rispondo ad esigenze o bisogni collettivi; • complessi sotto il profilo sia del processo decisionale che di quello dell’implementazione; • che mirano ad incidere su popolazioni di riferimento più o meno vaste, ma comunque “altre” rispetto ai decisori; • usando a tal fine procedure e strutture operative specifiche ed un set d’incentivi rivolti ad ottenere un comportamento conforme a quello atteso. Politiche pubbliche, programmi o interventi. Sono oggetti che non si escludono a vicenda, dal momento che quasi tutte le politiche pubbliche sono programmate. Va considerato come politica pubblica qualsiasi insieme coordinato d’azioni di cui sia titolare o contitolare un soggetto pubblico: quindi, anche i casi dove la gestione viene affidata a soggetti privati e quelli in cui un Ente pubblico partecipa alla definizione/realizzazione di un insieme d’interventi in modo coordinato con altri soggetti. Il carattere pubblico di una politica rende possibile, almeno in via teorica, la riconducibilità alle competenze istituzionali dei decisori, da cui discendono anche le finalità dell’intervento ed i percorsi o vincoli nell’azione. Abbiamo detto che il carattere pubblico di una politica, cioè la possibilità di imputarla ad un soggetto pubblico, getta una prima luce sulle sua finalità, o per lo meno sugli scopi/obiettivi che dovrebbe perseguire. A questo punto, finalità e competenze sono quasi sovrapposte, dal momento che le competenze corrispondono ai poteri di cui dispone la mano pubblica in relazione al suo diritto/dovere d’intervenire in un certo ambito. L’assenza o la mancata esplicitazione degli obiettivi aumenta il margine di manovra del valutatore, ma gli complica anche la vita, poiché gli impone un lavoro supplementare di relazione-negoziazione con committente e stakeholder, siccome egli deve giustificare in modo convincente le proprie scelte, per non cadere in facili ed immotivate accuse di soggettivismo. Quando si valutano servizi gestiti direttamente da un ente pubblico, si consiglia di considerare le dichiarazioni di tali soggetti alla luce delle finalità dell’ente stesso, per poi valutarne il grado di coerenza e di sovrapposizione. Si può osservare che nella valutazione dei servizi, accade che le finalità e gli obiettivi siano poco specificati in modo formale, ma stanno nelle strategie d’azione degli operatori. Qualora la politica venisse analizzata dal punto di vista dei valori sociali vigenti in un determinato campo, potrebbero nascere dei conflitti col mandato stesso della valutazione. I percorsi ed i vincoli all’azione riguardano il fatto che la natura istituzionale di un ente pubblico, la delimitazione delle sue competenze, i principi organizzativi che ne derivano predeterminano o vincolano, nei fatti, l’attività di questi soggetti. Questi vincoli, spesso, sono rigidi per quel che riguarda i modi d’azione, anche se oggi assistiamo ad una crescente flessibilità nei modi d’intervento pubblico nel caso dei servizi (es. erogazione diretta di servizi, acquisto degli stessi sul mercato o dal Terzo settore). Il fatto che si tratti di una politica pubblica, poi, dovrebbe permetterne la trasparenza: cioè, i principali passaggi che da finalità generali e da obiettivi strategici portano ad obiettivi ed azioni specifiche dovrebbero essere definiti in modo pubblico, quindi controllabile. Per essere valutabile, una politica deve evidenziare il proprio schema logico-giustificativo, che in caso contrario deve essere ricostruito dal valutatore. La trasparenza del processo decisionale forma un prerequisito per la valutazione, ma anche una conseguenza della sua pratica. Masoni fa una distinzione tra “trasparenza interna” all’organizzazione (che comprende anche la comunicazione tra il complesso gestionale ed il livello politico di direzione amministrativa) e “trasparenza esterna” (che si riferisce al fatto che le scelte devono essere chiare e documentate per chi ha il diritto di sapere). Che rispondono ad esigenze o bisogni collettivi. Il riferimento ad esigenze e bisogni di una collettività forma un importante elemento, poiché presiede alla traduzione delle finalità di una politica in obiettivi e dà un criterio per valutare la coerenza della sua articolazione in specifiche linee d’intervento. I bisogni sono strutturati, e costituiscono un’astrazione rispetto al continuo fluire delle esigenze dei membri di una collettività. È tramite la definizione delle politiche che si forma una domanda sociale, che si può configurare come tale. Ad es., la domanda di posti di lavoro a cui le politiche occupazionali tentano di dare risposta. Un altro es. è formato dai bisogni di tipo socio-sanitario, che vengono segmentati in sociali e sanitari in base ai vari soggetti pubblici titolari di competenze in questi 2 ambiti. I bisogni vanno visti come il risultato di una coproduzione dei decisori e dei destinatari delle politiche, mediata dal comune sistema socio-culturale di appartenenza e dalle procedure operative, grazie alle quali la definizione dei bisogni prende corpo. Rossi, Freeman e Lipsey, dopo aver rilevato la difficoltà di stabilire cosa siano i bisogni, propongono come definizione temporanea quella di una costruzione sociale negoziata tra un insieme di agenti sociali dotati di responsabilità sui programmi e sulle politiche sociali ed un insieme di richiedenti e di loro difensori, che dicono che un problema esiste e che vuole un intervento. 3 sono gli attori di un processo decisionale classico: 1) I decisori, che detengono tale potere/responsabilità in ragione della loro posizione nell’organizzazione; 2) I tecnici , che sono capaci di applicare alla realtà di loro competenza le acquisizioni della scienza o le procedure amministrative; 3) I cittadini, che formano l’oggetto delle decisioni e manifestano i loro bisogni in modo passivo. Si tratta di 2 diversi aspetti, che molti autori trattano in modo autonomo. Il 1° aspetto, relativo all’implementazione, riguarda il fatto che alla realizzazione degli interventi deliberati viene assegnato uno specifico apparato, che può essere formato da un singolo funzionario impegnato anche in altre attività, fino ad agenzie specializzate, interne o esterne alla P.A. formate apposta. Le analisi fatte hanno evidenziato che gli incaricati di attuare una politica sono ben lontani dall’assumere il ruolo asettico e meccanico di esecutori. In una 1° fase, l’analisi dell’implementazione segue un’impostazione legata alla concezione top-down del processo attuativo; cioè presuppone che un programma segua una logica lineare, in base alla quale, una volta fissati gli obiettivi, questi vengano messi in atto da operatori specializzati. Gli errori d’implementazione vengono analizzati con lo scopo di evidenziare gli scostamenti da un processo attuativo appropriato, col fine di apportare le correzione necessarie. Altre variabili importanti nel modello top-down sono: • la quantità di risorse che il programma è capace di mobilitare; • le comunicazioni inter-organizzative e la capacità di controllo; • le caratteristiche dell’agenzia di attuazione, le condizioni economiche, politiche e sociali al contorno. Si tratta di un approccio che privilegia la visione istituzionale delle politiche pubbliche. La principale preoccupazione dell’approccio top-down è di assegnare all’analisi del processo attuativo la finalità d’individuare interventi correttivi che riconducano gli attuatori sulla retta via. In seguito, è stata proposta una concezione diversa e più realistica del processo attuativo, in base ad un approccio bottom up, che rovescia l’assunto del modello precedente: cioè che una buona messa in opera richiede alle unità periferiche, erogatrici dei servizi, la conformazione alle prescrizioni delle unità centrali, responsabili delle decisioni e dei programmi. Si parte dall’assunto secondo cui la performance non dipende dalla conformazione, ma da altri fattori non previsti e non manipolabili dai decisori. La politica è il risultato di operazioni attuative che formano il prodotto di processi decisionali articolati, e la loro riconduzione agli obiettivi iniziali va fatta tramite un percorso a ritroso. L’approccio bottom up mette al centro dell’attenzione la ricostruzione degli effetti delle politiche in termini d’impatto; l’analisi delle reti di relazioni che avvengono tra decisori e beneficiari delle politiche; il comportamento reale dei burocrati investiti dei compiti attuativi. Invece, per quanto riguarda il set d’incentivi che il programma usa col fine di ottenere il comportamento atteso dai soggetti interessati, va osservato che ciò rimanda ad una teoria del programma e ad una teoria dell’azione, in base alla quale questi incentivi vengono considerati adeguati per avere il comportamento atteso. ________________________________________________________________________________________________ 5° CAPITOLO: PROGRAMMARE E VALUTARE IN UNA SOCIETA’ COMPLESSA Premessa I processi decisionali in ambito pubblico dovrebbero essere caratterizzati dalla logica della programmazione, cioè da una coerenza tra finalità, obiettivi, mezzi usati e risultati attesi. Tra i presupposti della “razionalità sinottica”, ci sono le assunzioni secondo cui è possibile costruire un quadro conoscitivo adeguato alle scelte da fare; i decisori hanno un repertorio di risposte adatto alle domande che vogliono accogliere. L’impostazione lineare del processo decisionale e valutativo è superata dalla complessità sociale che caratterizza la realtà contemporanea. Si tratta di una complessità dove operano processi come: • l’aumento delle variabili in gioco nel determinare i comportamenti degli attori sociali; • la diminuzione della capacità euristica delle “variabili strutturali” o “di appartenenza” sui comportamenti individuali; • l’aumento del numero degli operatori istituzionali che agiscono nella sfera sociale, economica e politica; • la velocità con cui si diffonde il cambiamento nelle varie sfere di attività dell’uomo. Dall’unirsi di questi processi discende una realtà sociale a più basso tasso di prevedibilità. La causa principale della complessità specifica dei sistemi sociali sta nella riflessività degli attori sociali, cioè nel fatto che essi incorporano nella loro azione rappresentazioni dotate di senso delle ragioni e degli effetti dell’azione stessa e, in più, sviluppano riflessioni intorno agli esiti delle azioni svolte in precedenza ed alla luce di tali riflessioni orientano il loro agire futuro. Giddens parte dalla constatazione secondo cui “il bandolo del problema è che la natura riflessiva della vita sociale invalida ogni esplicazione del cambiamento sociale in termini d’insieme semplice e sovrano di meccanismi causali”. A ciò si aggiunge il fatto che non vi è un meccanismo di organizzazione o riproduzione sociale identificato dagli analisti sociali; non è più praticabile la tesi secondo cui un maggior sapere intorno alla vita sociale significa un maggior controllo sul nostro destino. Poiché la conoscenza di questo mondo contribuisce al suo carattere instabile, si giunge alla conseguenza paradossale che l’aumento delle conoscenze sulla società produce il decremento, invece che l’aumento, delle possibilità di prevedere i comportamenti. Quindi, non solo attori sociali diversi, interpretando in diversi modi gli stessi dati di contesto, potranno agire in diverso modo, ma lo stesso attore sociale potrà modificare le proprie azioni, dinanzi agli stessi dati di contesto, in base al bilancio tratto dall’esperienza passata. Per questi motivi nelle scienze di sistemi, non si può giungere a leggi causali, ma solo a leggi tendenziali, generalizzazioni. Seguendo questa riflessione, si giunge alla conclusione che l’unico apporto possibile delle scienze sociali ai processi decisionali sia quello di illuminare il contesto della decisione. Va ricordata la funzione di riduzione della complessità evidenziata dalla teoria sistemica di Luhmann. Qui, per un sistema decisionale di Luhmann della complessa realtà dove opera è pre-condizione per l’efficacia della sua azione, poiché l’offuscamento di certi aspetti dell’azione contribuisce a determinarne una specie di auto-protezione dei sistemi d’azione. I modelli di analisi dei processi decisionali Weiss afferma che la valutazione, al pari della ricerca, si sviluppa all’interno di processi decisionali reali, coi quali deve fare i conti. L’analisi del processo decisionale è importante per tutto il percorso della valutazione, ma soprattutto per le sue fasi iniziali e finali. L’interesse per la valutazione cambia in base a se il decisore sia preoccupato solo delle eventuali carenze delle analisi che supportano le scelte, cioè usi la ricerca sociale e la valutazione come armi della lotta per rafforzare le proprie posizioni o per indebolire quelle degli avversari. Quindi, sia i presupposti della valutazione, che le sue conseguenze assumono connotazioni diverse in base al modello di processo decisionale realmente operante nel contesto di riferimento della valutazione. Il modello della razionalità assoluta In questo modello, la decisione consiste nell’adottare mezzi che permettano di raggiungere fini dati nel modo migliore possibile. I presupposti su cui si basa il modello sono: • un decisore individuale o collettivo deve identificare un problema di politica su cui c’è il consenso tra gli stakeholder più importanti; • un decisore individuale o collettivo deve definire ed ordinare in modo consistente tutti gli scopi e gli obiettivi; • un decisore individuale o collettivo deve identificare tutte le politiche alternative che possono contribuire al raggiungimento degli scopi e degli obiettivi; • un decisore individuale o collettivo deve prendere tutte le conseguenze che deriveranno dalla selezione di ogni alternativa; • un decisore individuale o collettivo deve comparare ogni alternativa in rapporto alle sue conseguenze sul conseguimento di ogni scopo; • un decisore individuale o collettivo deve scegliere l’alternativa che massimizza il conseguimento degli obiettivi. L’impraticabilità di questo modello viene ricondotta a molte ragioni, tra cui l’impossibilità di ottenere: • la separazione tra mezzi e fini, e la predeterminazione dei primi rispetto ai secondi; • un decisore unico capace di esprimere preferenze ordinate e non contraddittorie; • la possibilità di analizzare tutte le alternative e le loro conseguenze; • che siano disponibili il tempo e le risorse necessarie per esaminare tutte le alternative, ammesso che questo sia possibile. Il modello trascura la componente relazionale; un altro limite sta nella concezione a-relazionale dell’attore, secondo cui il suo comportamento è determinato dal mix di variabili sociologicamente importanti che ha, invece che dalle relazioni sociali a cui viene esposto e dov’è immerso. Lo stesso non sembra rispecchiare il processo tramite cui un qualsiasi decisore opera. Già nel 1947 Herbert Simon formulò il principio della razionalità limitata , notando che è impossibile per il comportamento di un singolo, isolato individuo di raggiungere qualsiasi alto grado di razionalità. Il modello della razionalità sinottica non viene citato solo con lo scopo di mostrare la scarsa applicabilità, ma anche per altre importanti ragioni. In primis, perché tutt’ora viene considerato un riferimento a cui i decisori dovrebbero attenersi: cioè un modello dotato di valore regolativo o normativo. Ma la ragione più importante per considerare questo modello, è composta dal fatto che, caduta la sua praticabilità sotto il profilo normativo, esso può essere assunto in funzione descrittiva, cioè per spiegare a posteriori l’adozione di certe scelte politico-amministrative. Il modello della razionalità processuale Esso si basa sulla riconsiderazione critica dei presupposti del modello razionalità assoluta e sostiene che: a) mezzi e fini non si possono separare in modo netto; b) nessun attore dispone del tempo e delle risorse per prendere in considerazione tutte le alternative possibili; c) il modo in cui viene raffigurato un problema influenza molto il tipo di soluzioni che possono essere adottate. Quindi, i frame cognitivi influenzano quelli decisionali secondo modi ben diversi da quelle postulate dai sostenitori del modello della razionalità assoluta; d) i caratteri propri della complessità sociale e la consistente incidenza di percorsi causali circolari rendono sempre suscettibile di modifiche qualsiasi soluzione adottata. Qui la razionalità non scompare, ma da sostanziale (cioè capace di dettare le soluzioni per ogni problema) diventa procedurale: razionali non sono più le decisioni, ma può esserlo il processo di assunzione delle decisioni, che si configura anche come un processo di apprendimento, che avviene con continui aggiustamenti tra mezzi e fini. Il modello incrementale Anch’esso nasce come critica alla razionalità sinottica e mette al centro dell’attenzione il fatto che la decisione viene presa nel contesto dell’interazione tra più attori, dotati non solo di visioni diverse dei problemi, ma titolari dei mezzi per risolverli. La parola “incrementale” deriva dal fatto che ogni decisione verrebbe presa comparando la soluzione proposta alla situazione attuale, con l’intento di minimizzare le differenze tra le 2 e non sulla base di un disegno razionale. L’incrementalismo sconnesso afferma che un decisore individuale o collettivo: • considera solo gli obiettivi che differiscono in modo incrementale dallo status quo; • limita il numero di conseguenze previste per ogni alternativa; • realizza mutui adeguamenti negli scopi e negli obiettivi da un lato, e tra un’alternativa ed un’altra dall’altro; • riformula di continuo il problema, quindi gli scopi, gli obiettivi e le alternative, mentre assume nuove informazioni; • analizza e valuta le alternative in una sequenza di passi, poiché le scelte sono di continuo aggiustate nel tempo; Quadro di riferimento Ogni tipo di domanda di un programma/intervento vuole strategie di analisi differenziate, dotate ognuna di una propria validità ed al tempo stesso parzialità. Nonostante la grande varietà di tipi di valutazione che possono essere individuati incrociando queste ed altre caratteristiche del processo di valutazione, uno schema generale di riferimento deve partire dalla considerazione unitaria dei vari elementi che entrano in gioco in una politica e, di conseguenza, anche nella sua valutazione. Una politica è caratterizzata dall’individuazione di obiettivi da raggiungere, tramite un processo attuativo predefinito in modo più o meno preciso fin dalla fase decisionale. Anche assumendo che una politica o un intervento pubblico formi una risposta ai bisogni, questa viene formulata sulla base di certe finalità, all’interno di una serie di vincoli e competenze, e consiste nell’uso di una certa quantità di risorse tramite un processo di attuazione, di regola distinto da quello decisionale. Qui si definisce come oggetto della valutazione una politica, cioè un programma o intervento più specifico riconducibile ad una politica pubblica più generale. Le competenze poste in capo ad un soggetto pubblico titolare di una politica formano un quadro di opportunità per tutti gli stakeholder, i quali sono abilitati a svolgere le attività incentivate dalla politica stessa: ad es. sono abilitati a fare formazione aziendale col sostegno finanziario pubblico. Va mantenuta una certa cautela nell’uso della parola “bisogni”, onde evitare di presentarli come dotati di esistenza oggettiva a prescindere dalle caratteristiche dei loro portatori, del contesto dove si manifestano, dei valori e delle finalità di coloro che sono deputati a dare le risposte. La definizione degli obiettivi, tradotti in risultati attesi, forma la 1° fase di un percorso decisionale che sfocia nel processo d’implementazione o di attuazione, a sua volta scomponibile in più fasi. I 3 momenti del processo (decisione, attuazione, valutazione) sono connessi in modo circolare; va detto che almeno 2 di essi rendono evidente la circolarità del processo. Il 1° è formato dal fatto che molto spesso alla “fase attuativa” vengono demandate scelte importanti, che possono modificare la stessa portata della decisione presa a monte. Il 2° da un fenomeno molto frequente, in forza del quale i nodi che non sono stati sciolti nella fase dell’assunzione delle scelte si ripresentano in quella della loro attuazione. Qui si assume che il termine “politica” comprende tutto il percorso che va dall’assunzione delle scelte alla loro attuazione. Le finalità, come i vincoli, vanno intesi sia in senso formale (obblighi di attuazione di leggi) che sostanziale (tempo entro cui serve scegliere/attuare una politica). Per quanto riguarda le risorse, basta aggiungere che non sempre sono di tipo economico, ma a volte anche di carattere autoritativo: quindi, possono essere considerate un set d’incentivi applicato da un’organizzazione. Il contesto politico dove s’inquadra una politica incide sulle finalità, mentre il contesto istituzionale determina i modi con cui queste finalità possono essere perseguite, cioè l’insieme dei vincoli e delle competenze dei decisori. Il contesto sociale influenza il modo in cui saranno definiti ed avvertiti i bisogni; allo stesso modo, il contesto economico non solo condiziona la quantità di risorse finanziarie che potranno essere destinate alla sua realizzazione, ma detta anche le regole del loro uso. Ai contesti che influenzano i 4 elementi chiave nella definizione degli obiettivi di una politica (politico, sociale, istituzionale e normativo, economico) corrispondono le 4 discipline più importanti nella valutazione delle politiche pubbliche, cioè la scienza politica, la sociologia, il diritto e l’economia. La risalita lungo l’albero genealogico di finalità permette di sviluppare delle valutazioni di coerenza interna dei percorsi che, da ognuno dei 4 contesti su citati, portano all’individuazione di quali finalità, vincoli/competenze, bisogni e risorse si trovino coinvolti negli obiettivi di una politica. Andando verso il basso, nella fase attuativa vengono distinti gli attori implicati, le procedure di attuazione, gli strumenti: questi 3 elementi sono connessi, poiché gli attori operano tramite procedure e costruiscono o gestiscono strumenti d’intervento. Nella fase di valutazione , infine, distinguiamo tra “realizzazioni” (output), risultati (outcome), impatti in base all’ampiezza delle conseguenze della politica che vengono considerate. Lo schema, anche se struttura in base ad un percorso ispirato alla razionalità, permette anche di sviluppare forme di valutazione lontane dal modello “obiettivi-risultati”. È importante analizzare il parallelismo che può essere tracciato tra i 4 riferimenti principali di ogni processo decisionale col noto modello AGIL di Parsons: • quadrante A (adaptation): la definizione delle finalità; • quadrante G (goal attainment): la definizione degli obiettivi; • quadrante I (integration): la logica complessiva o la coerenza interna di un insieme d’interventi; • quadrante L (latency): la relazione tra gli obiettivi di un programma ed i valori sociali esistenti. Potremmo vedere nei primi 2 quadranti (G e A) come attori principali i decisori pubblici, titolari delle politiche, poiché competenti sia a fissare gli obiettivi che a determinare le risorse, e negli altri 2 gli attuatori, soggetti alla delimitazione delle competenze ed alle norme da rispettare in sede d’implementazione (quadrante I) e gli stakeholder se non la società nel suo totale (quadrante L). In Italia è ben chiaro l’uso della parola “obiettivo” per indicare sia qualcosa di molto astratto che qualcosa di molto specifico. Si tratta di un problema diffuso, che nei Paesi anglosassoni è stato risolto distinguendo tra 2 termini: • goal: che si ad un’affermazione di regola generale ed astratta, dello stato desiderato verso cui il programma è indirizzato; • objective: affermazione specifica che dettaglia ciò che si vuole ottenere da un programma. I goal derivano dai valori umani e non sono rilevabili in modo empirico: sono riconducibili a desideri per la loro natura, mai soddisfabili per intero; invece, gli obiettivi formano singoli passi verso il raggiungimento dello scopo e come tali sono conseguibili per intero, ed il loro raggiungimento può essere specificato, misurato e verificato. Efficienza ed efficacia Efficienza ed efficacia comprendono tipi di valutazione che altri autori considerano come specifici. Col primo termine (efficienza) ci riferiamo all’uso ottimale delle risorse disponibili per conseguire gli obiettivi prefissati; con la parola efficacia, invece, s’intende il grado di conseguimento degli obiettivi, cioè una valutazione degli esiti della politica alla luce degli obiettivi, dei bisogni e delle finalità che l’hanno originata. Quindi, l’efficienza si riferisce al modo in cui le risorse vengono usate per avere il risultato desiderato e riguarda il processo di utilizzazione e trasformazione delle risorse: rappresenta un aspetto legato per lo più all’offerta dei servizi pubblici. L’efficacia di un determinato programma consiste nell’ottenimento di quei risultati per il raggiungimento dei quali l’attività in questione è stata posta in essere. Efficacia ed efficienza sono legati, poiché la prima presuppone la seconda, ma non viceversa, poiché è possibile allocare in modo ottimale le risorse senza incidere minimante sui bisogni alla cui soddisfazione erano destinate. Abbiamo 4 diverse combinazioni rispetto a cui formulare un giudizio di adeguatezza: 1) costi fissi ed efficacia variabile, che vuole una comparazione tra livelli d’efficacia diversi; 2) costi variabili ed efficacia fissa: qui la soluzione più giusta è quella che minimizza i costi; 3) costi ed efficacia variabili: serve risolvere l’equazione rispetto ad una delle 2 categorie; 4) costi ed efficacia fissi: per ragioni opposte a quelle del punto precedente, non ha senso porsi il problema poiché non si può agire su nessuna delle 2 grandezze. La valutazione di efficacia viene distinta in 2 importanti categorie, che corrisponde ai diversi punti di vista del valutatore: • efficacia interna (o gestionale): intesa come la capacità di raggiungere gli obiettivi o i risultati attesi, fissati a priori dall’Ente pubblico; • efficacia esterna (o sociale): intesa come la capacità del prodotto/servizio offerto dall’Ente di soddisfare i bisogni degli utenti. Nel 1° tipo di valutazione ci si preoccupa di confrontare i risultati attesi con quelli ottenuti, senza per forza chiedersi se i primi sono coerenti coi bisogni della collettività. Nel 2° caso, ci si chiede se i risultati ottenuti, al di là della loro coerenza con quelli programmati, hanno davvero assolto, ed in quale misura, ai bisogni sociali che rendono necessario l’intervento. La valutazione dell’efficacia interna può formare una funzione gestita direttamente dall’Ente pubblico, al di là dei necessari supporti tecnico-scientifici esterni. In opposizione, la valutazione di efficacia esterna sembra volere l’uso di valutatori indipendenti, come si evince dall’esperienza maturata da molti paesi europei. Alla ricerca di un lessico comune È importante chiarire la distinzione tra output , risultato, esito, outcome ed impatto di una politica. Con la parola “esito” ci si riferisce ai risultati conseguiti da una politica in rapporto agli obiettivi prefissati. Con impatto al reale effetto ottenuto sull’ambito socio-economico o territoriale a cui era destinata; l’output (realizzazione) è formato dall’esito diretto ed immediato di un’azione, mentre l’ impatto comprende l’insieme delle modifiche del mondo reale che l’azione produce. Al termine “esiti” è stato sostituito quello di output, che assume il significato di realizzazione, cioè di ciò che è stato ottenuto in termini di trasformazione diretta dell’input previsto nel programma. L’outcome è stato si può ricondurre al concetto di risultato, usato in ambito comunitario per riferirsi ai soli effetti diretti ed immediati dell’azione sui destinatari. Invece gli effetti a breve-medio termine ed indiretti sui destinatari vengono denominati impatti specifici. Impatti globali sono gli effetti del programma su popolazioni che non erano destinatarie dirette dello stesso. A questo punto, il termine “esito” può essere usato per riferirsi agli effetti di una politica. I tempi della valutazione e i tipi di valutazione Una delle più accettate classificazioni valutative riguarda le sue fasi temporali. Non è corretto definirle fasi temporali, come se l’una fosse per forza successiva all’altra; semmai possiamo distinguere tra una situazione, dove la valutazione è coestensiva allo sviluppo del programma, ed una che avviene quando la valutazione interviene solo ad un determinato stadio del programma stesso. Detto ciò, possiamo distinguere 3 casi: 1. Prima di approvare/avviare un intervento o una politica si può realizzare una valutazione ex ante: questa valutazione può avere diverse caratteristiche e finalità. È possibile privilegiare una delle 4 dimensioni del contesto da cui nasce una politica (bisogni, risorse, finalità, competenze) per condurre da uno specifico punto di vista la valutazione. La valutazione ex ante degli impatti del programma è un’operazione difficile, che si scontra con ragioni logiche, metodologiche ed operative in forza delle quali nelle scienze umane la previsione è impresa difficile e, a volte, controproducente. 2. Durante l’attuazione della politica o di un intervento si può realizzare una valutazione in itinere, di regola rivolta a finalità di controllo manageriale, cioè per tenere sotto controllo i principali indicatori di attuazione della politica. Definita anche valutazione di processo: ad essa viene assegnata spesso anche la funzione di segnalare le anomalie e di far scattare eventuali interventi correttivi, soprattutto se questi sono di competenza degli attuatori e non richiedono l’avallo dei decisori. Quindi, la valutazione intermedia è simile ad una valutazione ex post, dalla quale possono derivare modifiche più o meno importanti al Programma. 3. Alla conclusione di un intervento o di una politica avviene la valutazione ex post, per verificare il grado di raggiungimento degli obiettivi, il rispetto degli standard di qualità dei prodotti, la soddisfazione degli utenti, l’impatto sui destinatari o sulla società nel suo insieme. Valutazione ex ante Avviene all’inizio del ciclo, prima dell’adozione di un programma, ed aiuta ad assicurare che quest’ultimo sia il più importante. Essa mette a fuoco i punti di forza e di debolezza dello Stato membro, della regione o del settore interessato. Fornisce alle autorità competenti un giudizio preliminare sulla correttezza della diagnosi, sull’importanza della strategia e degli obiettivi proposti. Fornisce gli elementi fondativi del monitoraggio e delle successive valutazioni, assicurando che gli obiettivi siano esplicitati e quantificati. Aiuta a specificare i criteri di selezione dei progetti; aiuta ad assicurare la trasparenza delle decisioni, permettendo una chiara spiegazione delle scelte effettuate e degli effetti attesi. Poiché avviene in condizioni spesso difficili, deve intervenire con rapidità e flessibilità. Valutazione intermedia Avviene durante la realizzazione degli interventi; ha la funzione di agevolare aggiustamenti del programma in corso. Analizza in modo critico i primi output e risultati degli interventi: valuta anche la qualità della gestione finanziaria del programma e del sistema di monitoraggio della sua attuazione. Esamina se l’evoluzione delle priorità e delle politiche comunitarie pone problemi di coerenza al programma, ed aiuta a preparare aggiustamenti e riprogrammazioni, argomentandoli in modo trasparente. Ha natura formativa, cioè che produce un feedback diretto sul programma, che aiuta a migliorare nella misura in cui i gestori dello stesso se ne preoccupano. Valutazione ex post