Valutazione di Servizi alla Persona: Fasi, Fattori e Metodologie, Sintesi del corso di Scienze dell'educazione

Scarica Valutazione di Servizi alla Persona: Fasi, Fattori e Metodologie e più Sintesi del corso in PDF di Scienze dell'educazione solo su Docsity! VALUTARE SERVIZI EDUCATIVI (UN’INTRODUZIONE) CAPITOLO 1 CAMPI E CARATTERISTICHE DELLA VALUTAZIONE DI SERVIZI EDUCATIVI: UNO SGUARDO D’INSIEME La valutazione comprende attività di vario tipo che hanno diverse tipologie, e si basano su basi epistemologiche e metodologiche. PROGRAMMA SOCIALE: intervento o una serie di interventi che devono affrontare un problema sociale. Il PROGRAMMA SOCIALE, viene articolato su più livelli:  I PROGRAMMI sono diretti ad affrontare problemi sociali di rilevanza collettiva e rappresentano lo schema generale di intervento in cui possono essere attivati i singoli progetti e i relativi finanziamenti.  I PROGETTI rappresentano un’articolazione più dettagliata del programma, il risvolto più operativo.  GLI INTERVENTI costituiscono l’aspetto attuativo di un progetto e di un programma, il risvolto esecutivo dei progetti, ossia la realizzazione concreta di attività rivolte ad una specifica utenza, secondo metodi e strumenti definiti. La VALUTAZIONE è composta da una fase fondamentale nell’impostazione, nell’attuazione e nella realizzazione dei programmi ed interventi sociali, poiché risponde all’esigenza di prendere in esame la rilevanza, l’efficacia e l’utilità degli interventi messi in atto. MORO individua alcuni elementi che spiegano il campo sulla valutazione: 1 1. IL SUO OGGETTO: si valutano i programmo pubblici e sociali, cioè azioni che mirano a modificare in modo organizzato e programmato la realtà sociale. 2. LA VALUTAZIONE : porta ad esprimere un giudizio sul programma oggetto di studio. Può avvenire sia in modo diretto, cioè il giudizio viene espresso direttamente dal valutatore, sia in modo indiretto, cioè il valutatore fornisce al decisore gli elementi scientifici utili per giudicare in modo più informato e consapevole. 3. IL GIUDIZIO FORMULATO DALLA VALUTAZIONE: deve essere fondato su una qualche forma di ricerca scientifica, in modo tale da essere distinto dalle opinioni e dalle ideologie. Valutare un intervento si riferisce ad un’azione realizzata e serve per ricavare lezioni che possono essere applicate a delle scelte e la valutazione degli effetti è uno strumento di apprendimento. LA VALUTAZIONE DI PROGRAMMI SOCIALI SI CARATTERIZZA PER IL TENTATIVO DI VERIFICARE SE E IN QUALE MISURA INTERVENTI PIANIFICATI PER PRODURRE CAMBIAMENTI COLLETTIVI E INDIVIDUALI E RISOLVERE PROBLEMI SOCIALI HANNO EFFETTIVAMENTE SORTITO I RISULTATI SPERATI. LA FASE VALUTATIVA SODDISFA UNA FONDAMENTALE ESIGENZA DEI DECISORI, DEI RESPONSABILI DEI PROGRAMMI E ALTRI ATTORI COINVOLTI: AVERE FEEDBACK SULL’AZIONE INTRAPRESA. MARTINI & TRIVELLATO, introducono un’altra definizione: l’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza. (Vedi pg 18). I programmi sociali sono: - Favorire l’analisi preliminare di un problema sociale e delle soluzioni da adottare; - Esprimere un giudizio complessivo su un programma - Confrontare in modo sistematico più programmi alternativi; - Formulare indicazioni per migliorare l’attuazione di un intervento; - Incrementare il patrimonio informativo su un determinato problema e sugli interventi per affrontarlo in modo da favorire processi di scelta; - Fornire supporto per chi voglia replicare, trasferire o estendere un dato intervento ad altri ambiti, territori o utenze; - Favorire l’aggiustamento e adeguamento di interventi in corso d’opera; - Verificare la coerenza tra progetto di intervento e sua concreta attuazione. La valutazione è parte integrante del processo decisionale, articolati in fasi: a. Identificazione e analisi del problema b. Identificazione di opzioni che possono risolverlo o attenuarlo c. Analisi delle differenti opzioni e celta di quella considerata più adeguata d. Progettazione e programmazione dell’intervento e. Realizzazione dell’intervento 2 educatore, ma come un’impresa, ossia come il declinarsi dell’impegno condiviso di una pluralità di attori. Il lavoro di equipe rappresenta una scelta metodologica comune ai servizi educativi. Consente l’apporto di una molteplicità di punti di vista nella progettazione e nella valutazione degli interventi educativi e permette anche una condivisione del carico lavorativo e dei coinvolgimento emotivo. Poter pensate all’altro e pensarsi nella relazione con l’altro e con se stesso. Gli elementi presi in considerazione tracciano le coordinate principali dei servizi educativi che assumono una specifica direzione operativa bell’ambito della progettazione educativa. L’istanza progettuale è connessa con il carattere processuale dell’educazione in quanto è rivolta alla persona nella sua globalità e si esplica in una serie di atti, fatti e fenomeni che perseguono scopi e valori. LA PROGETTAZIONE E’ UNA SPECIFICA MODALITA’ DI PENSARE, ORGANIZZARE E AGIRE, CHE IN UN CAMPO STRUTTURATO D’AZIONE ENTRO CUI SIANO VISIBILI SCOPI, RISORSE O VINCOLI, CONSENTE AGLI ATTORI DI: ORDINARE IDEE, CONOSCENZE E INFRMAZIONI; FINALIZZARE E ORGANIZZARE L’AZIONE SEGUENDONE IL CORSO; VALUTARE I RISULTATI CONSEGUITI. L’educazione è incontro di libere volontà non riducibile in schemi lineari causa-effetto. LA PROGETTAZIONE deve: a. Essere adeguata e rispondente al contesto, alla particolarità dei problemi e all’unicità delle storie dei singoli e dei gruppi. b. Essere connotata da flessibilità e dinamicità, pronta ad affrontare gli imprevisti e i punti critici e ad essere rimodulata in base a questi. c. Proporre metodi e strumenti e promuovere esperienze educative significative. d. Aperta al lavoro di rete con altri servizi e nel territorio. e. Prevedere modalità e strumenti di valutazione. La PROGETTAZIONE EDUCATIVA inizia con la rilevazione di potenzialità di possibilità o di un bisogno, di una difficoltà o di un momento di crisi che vanno interpretati, analizzati e studiati con lo scopo di definire gli obbiettivi educativi, verificare le risorse disponibili e prefigurare le possibili direzioni di intervento, i percorsi e le strategie di azioni. La valutazione ricopre il ruolo sia a LIVELLO DI PROGETTAZIONE DEL SERVIZIO, sia a LIVELLO DEL SINGOLO PROGETTO EDUCATIVO. Il momento valutativo fa parte integrante della progettazione dei servizi. (vedi pg 26). Valutare, cioè andare oltre questi aspetti cercando d comprendere, attraverso la pedagogica, la situazione che si ha davanti. 5 Il momento valutativo è un elemento che interviene in diverse fasi del processo educativo, in itinere nel suo svolgersi. LA VALUTAZIONE interviene già nella fase iniziale della progettazione nel momento della rilevazione delle potenzialità e dei bisogni e nell’individuazione delle direzioni di intervento più idonee a fornire delle risposte. La valutazione inziale fatta con cura ci permette di poter scegliere delle modalità di intervento che sono congruenti con le possibilità, i bisogni e i problemi di partenza. (vedi pag 27). LA VALUTAZIONE è UN PROCESSO STRETTAMENTE INTRECCIATO CON L’AZIONE DIDATTICA, CONTRIBUISCE A RENDERLA DINAMICA, FLESSIBILE, MEGLIO FINALIZZATA; ALLA VALUTAZIONE VA RICONOSCIUTA DUNQUE UNA FUNZIONE ESSENZIALMENTE REGOLATIVA DELL’AZIONE E DI PRECISAZIONE DELL’INTENZIONALITA’ EDUCATIVA. La QUALITA’ è connessa alle esigenze di miglioramento dei sistemi e dei servizi formativi, attraversati da profondi cambiamenti di natura culturale, organizzativa e sociale. Le caratteristiche che vengono richieste sono: 1. Diversificazione e personalizzazione dell’offerta formativa 2. Integrazione con le esigenze di professionalizzazione sempre più elevate 3. Sviluppo dell’empowerment delle persone e della formazione lungo tutto il corso della vita. FRANCO FRACCAROLI e ALBERTO VERGANI sottolineano che esistono tanti modi per definire il termine VALUTAZIONE. UNA VALUTAZIONE può avere lo scopo di analizzare in modo sistematico un’esperienza, una prestazione, un gruppo di individui e in questo caso la valutazione diventa uno strumento per la raccolta di informazioni, una modalità di apprendimento per individui, organizzazioni ed istituzioni che ragionano sul proprio modo di lavorare. Secondo loro, la VALUTAZIONE è anche uno strumento che serve per individuare e per risolvere problemi, aiutare la gestione d un programma, migliorar le prestazioni e gli interventi. La VALUTAZIONE può riguardare anche un insieme, un gruppo di individui che portano avanti con intenzionalità un progetto, mettendo in atto delle azioni per raggiungere obbiettivi più o meno condivisi. Questo dimostra che la valutazione possa assumere connotati molto diversi, possa occuparsi di oggetti alquanto complessi e possa fare appello a metodologie per la raccolta sistematica di informazioni che si rifanno alla ricerca sociale applicata. MAURO PALUMBOA considera la valutazione come UN’ATTIVITA’ COGNITIVA RIVOLTA A FORNIRE UN GIUDIZIO SU DI UN’AZIONE INTENZIONALMENTE SVOLTA O CHE SI INTENDE SVOLGERE, DESTINATA A PRODURRE EFFETTI ESTERNI, CHE SI FONDA SU ATTIVITA’ DI RICERCA DELLE SCIENZE SOCIALI E CHE SEGUE PROCEDURE RIGOROSE E CODIFICABILI. Ci sono tre elementi chiave presenti in questa affermazione: 6 - OGGETTO: si può affermare che la valutazione deve riguardare un intervento o un complesso di interventi: 1. Intenzionale, cioè riferito ad uno o più soggetti e sorretto da una finalità esplicita, esplicitabile o conoscibile dall’esterno 2. Volto ad incidere sull’esterno, quasi sempre su soggetti terzi, rispetto a chi lo decide o lo attua 3. Che impieghi risorse e strumenti di varia natura specificamente ed esplicitamente destinati a realizzarlo ed organizzati di conseguenza. - FINALITA’: la valutazione esprime un giudizio, fondato su criteri e permessi di valore, espliciti ed argomentati, riferito a una o più caratteristica o proprietà dell’oggetto, degli autori o dei destinatari o beneficiari dell’intervento. - METODO: la formulazione del giudizio viene realizzata mediante attività di comparazione rese possibili da obiettivi cognitivi relativi all’oggetto, agli autori e ai destinatari dell’intervento al contesto in cui ha luogo. Tali attività di comparazione sono sviluppate all’interno di un processo, logicamente coerente, caratterizzato da caratteri propri della ricerca scientifica e tali azioni sono condotte secondo procedure previste dalla metodologia della ricerca delle scienze sociali. La valutazione è intesa come un’attività di comparazione fra elementi, condotta secondo criteri predefiniti, che implica la raccolta o l’utilizzo di dati empirici realizzati con lo scopo di formare un giudizio. CLAUDIO BEZZI afferma che: la valutazione è L’INSIEME DELLE ATTIVITA’ COLLEGATE UTILI PER ESPRIMERE UN GIUDIZIO ARGOMENTATO PER UN FINE PUBBLICO, GIUDIZIO ARGOMENTATO TRAMITE PROCESSI DI RICERCA CHE NE COSTITUISCONO L’ELEMENTO ESSENZIALE E IMPRESCINDIBILE DI AFFIDABILITA’ DELLE PROCEDURE E FEDELTA’ DELLE INFORMAZIONI UTILIZZATE PER ESPRIMERE QUEL GIUDIZIO, IN CUI SI EVIDENZIANO LE CONSEGUENZE PRATICHE DELLA VALUTAZIONE, SULLA SUA UTILITA’ E SULLA SUA ARGOMENTAZIONE, OSSIA SULL’ESPLICITAZIONE DEGLI ELEMENTI A PARTIRE DAI QUALI IL GIUDIZIO è STATO FORMULATO E I PERCORSI MEDIANTE CUI SONO STATI UTILIZZATI. Sottolinea anche che la valutazione è un’attività di ricerca sociale applicata e ha delle conseguenze operative ed è un processo complesso che include molte risorse, attori diversificati e fonti informative. J.M. BARBIERI distingue OPERAZIONI DI CONTROLLO e OPERAZIONI DI VALUTAZIONE della formazione. Il controllo della formazione coincide con l’obbiettivo di fornire delle informazioni sul funzionamento concreto di un’attività di formazione. Per lui la VALUTAZIONE SI HA QUANDO CI TROVIAMO IN PRESENZA DI OPERAZIONI CHE HANNO PER RISULTATO UN GIUDIZIO DI VALORE SULLE ATTIVITA’ DI FORMAZIONE, e sottolinea anche che il campo di fenomeni in essa compreso è molto vasto, così come diverse sono le forme di manifestazione della valutazione nel processo formativo. Barbieri indica tre forme di valutazione: 7  Valutazione ex post degli impatti si focalizza sulla tenuta e sulla solidità nel tempo delle ricadute dell’intervento sulla situazione di un contesto che ha originato e motivato la formazione. Per ciò che concerne la valutazione dei programmi sociali, possono essere individuati tre assi principali, connessi a differenti logiche di intervento in ambito valutativo: - VALUTAZIONE DIAGNOSTICA: relativa all’ideazione e alla progettazione, con l’obbiettivo di identificare e definire un problema, individuare l’utenza di riferimento e l’esplorazione di soluzioni alternative - VALUTAZIONE DELLA REALIZZAZIONE: viene svolta in parallelo allo svolgimento del programma al fine di verificare il grado di coinvolgimento della potenziale utenza, il livello di congruenza tra l’intervento progettato e la sua effettiva erogazione, il funzionamento complessivo dell’azione e le reazioni dei partecipanti. - VALUTAZIONE DEGLI ESITI: valutazione dell’impatto e dell’efficienza il cui scopo è stimare gli effetti dell’intervento una volta concluso. I CRITERI si basano:  Sulla rispondenza degli obbiettivi / risultati  Sul processo  Sul contesto. Sono fondamentali:  LA RILEVANZA: il confronto tra gli obbiettivi di un programma o di un intervento e il contesto sociale ed economico che esprime i bisogni, gli obbiettivi devono essere coerenti, rilevanti, cioè devono modificare il problema originario.  L’EFFICACIA: è il rapporto tra gli obbiettivi dell’azione e i risultati e gli impatti dell’azione stessa; infatti, l’efficacia di un determinato programma o progetto consiste nell’ottenimento di quei risultati per il raggiungimento dei quali l’attività in questione è stata posta in essere.  L’EFFICIENZA: relativa al rapporto tra le risorse e i mezzi impiegati e i risultati raggiunti, infatti l’efficienza è riferita al modo in cui le risorse vengono impiegate e raggiunte per ottenere i risultati desiderati e concerne pertanto il processo di utilizzazione e trasformazione delle risorse.  L’UTILITA’: mette in rapporto le realizzazioni, i risultati e gli impatti con la questione sulla quale l’azione di formazione professionale doveva intervenire, modificandola. La letteratura sull’argomento indica i criteri come dei riferimenti validi per fare valutazione, ma non sono prescritti in quanto è necessario individuare quelli più pertinenti rispetto al contesto e all’azione formativa. In ambito formativo abbiamo diverse logiche in ambito progettuale: 10 - LA LOGICA DELLA RAZIONALITA’ TECNICA - LA LOGICA DELLA COMPLESSITA’. La logica della complessità è la logica ritenuta più adatta per poter affrontare e valutare l’unicità, l’instabilità e la multifattorialità dei fenomeni educativi e formativi. MARIO CASTOLDI afferma che: IL MOMENTO DELLA VALUTAZIONE, COME QUELLO DELLA PROGETTAZIONE E’ SEMPRE PIU’ PENSATO COME STRETTAMENTE CONNESSO ALL’AZIONE DIDATTICA, PIU’ CHE COME MOMENTO CONCLUSIVO E TERMINALE DEL PERCORSO DIDATTICO. IL RAPPORTO CIRCOLARE CHE SI VIENE A DETERMINARE TRA IL PROGETTARE, L’AGIRE E IL VALUTARE, CONDUCE A CONSIDERARE I TRE MOMENTI COME INSEPARABILI, PIUTTOSTO CHE COLLOCATI IN UNA SEQUENZA LINEARE. ROBERT GOOD dice che è proprio il processo circolare tra i contenuti, contesto e strategie che definisce e caratterizza un sistema di valutazione formativa, che contribuisce al miglioramento e allo sviluppo. Il fenomeno valutativo viene analizzato in base alla direzione del processo nell’ambito dell’organizzazione in cui si svolge; dal confronto di diversi orientamenti e pratiche ci sono delle soluzioni che vengono instaurate tra due polarità:  LA LOGICA TOP-DOWN : processo di tipo discensionale, procedendo dall’alto verso il basso. È collegata ai processi di verifica dell’efficienza e dell’efficacia.  LA LOGICA BOTTOM-UP: processo di tipo ascensionale, dal basso verso l’alto in cui non vengono utilizzate procedure univoche decise dall’alto, ma si presuppone il coinvolgimento dei diversi attori, accettando l’inevitabile diversità dei soggetti, dei gruppi e delle realtà istituzionali. (pg 38-39-40) La RICERCA e le PRASSI VALUTATIVE hanno subito nel tempo delle notevoli trasformazioni attraverso l’integrazione degli orientamenti rigorosamente quantitativi con orientamenti qualitativi, optando più per la comprensione contestuale dei fenomeni che per la loro comparazione. 11 CAPITOLO 2 RIFERIMENTI E ORIENTAMENTI Tutto quello che abbiamo visto nel capitolo precedente fa riferimento ad autori del 900 che hanno una diversa visuale per quanto riguarda il tema della VALUTAZIONE. Soprattutto sono in contrapposizione per quanto riguarda: a. IL CONCETTO DI VALUTAZIONE b. LE FUNZIONI DELLA VALUTAZIONE c. LE METODOLOGIE d. GLI STRUMENTI E LE TECNICHE e. IL RUOLO DEI SOGGETTI f. LE LOGICHE RALPH TYLER è il fondatore del MODELLO OBBIETTIVI – RISULTATI, che considera come criterio di valutazione solamente gli obbiettivi prefissati dell’intervento. Cioè la valutazione deve determinare la misura in cui un programma educativo ha raggiunto tutti gli obbiettivi predeterminati. Tyler per CURRICOLO o PROGRAMMA di istruzione intende un percorso strutturato e ben connesso nella relazione scopo – mezzi. L’esigenza di forte connessione tra gli elementi si esprime attraverso: - Quali scopi educativi perseguire? - Quali esperienze educative fornire, che permettano di conseguire quelli scopi? - Come organizzare efficacemente tali esperienze? - Come stabilire se gli scopi verranno raggiunti? Tyler ha elaborato una prospettiva teorica sulla valutazione, intendendola come parte integrale dei programmi di studio: OBBIETTIVI FORMATIVI ESPERIENZE DI APPRENDIMENTO PROCEDURE DI VALUTAZIONE 12  Preparare e consegnare al cliente dei report periodici di riepilogo dell’attività svolta e delle informazioni raccolte  Organizzare incontri periodici di discussione dei risultati di valutazione del contesto  Terminare il lavoro e consegnare al cliente tutti i report riassuntivi di questa fase. 2. VALUTAZIONE DELL’INPUT: comprende la valutazione delle strategie e delle risorse iniziali e potenziali, del piano di lavoro e delle risorse economiche. Le attività del valutatore sono:  Individuare eventuali programmi che possano fungere da modello per il programma in oggetto  Valutare se le strategie proposte sono adeguate ai bisogni analizzati nella fase precedente  Valutare se il budget è sufficiente a finanziare il lavoro necessario  Valutare la strategia scelta il riferimento alla letteratura e alla ricerca scientifica più recente  Confrontare le strategie scelte con strategie alternative utilizzate in programmi simili  Valutare il piano di lavoro  Elaborare un report da consegnare al cliente  Discutere i risultati della valutazione dell’input in un feed-back workshop  Concludere il lavoro e fornire al cliente tutti i report riassunti in questa fase 3. VALUTAZIONE DEL PROCESSO: consiste nella valutazione, documentazione e monitoraggio delle attività del programma. Le fasi del valutatore sono:  Incaricare un membro del gruppo di valutazione di monitorare, osservare tutto il processo e fornire un report sullo sviluppo del lavoro.  Tenere in collaborazione con lo staff del programma una documentazione degli eventi, dei problemi, dei costi…  Intervistare periodicamente i destinatari, i responsabili del programma e tutto lo staff per ottenere da loro le valutazioni sullo stato di avanzamento dei lavori  Aggiornare costantemente il quadro di sviluppo del programma  Compilare e consegnare periodicamente al cliente i report su risultati della valutazione del processo all’interno di un feed-back workshop  Concludere il lavoro e fornire al cliente tutti i report riassuntivi di questa fase. 4. VALUTAZIONE DEL PRODOTTO: si suddivide in quattro fasi:  VALUTAZIONE DELL’IMPATTO: la funzione è la valutazione degli effetti del programma  VALUTAZIONE DELL’EFFICACIA: valutazione della qualità e della rilevanza dei risultati.  VALUTAZIONE DELLA SOSTENIBILITA’: la valutazione del grado in cui gli effetti prodotti dal programma siano costanti nel tempo  VAUTAZIONE DELLA TRASFERIBILITA’: la valutazione della possibilità si estendere con successo lo stesso programma di un contesto differente. 15 Attraverso tutte le fasi e sotto-fasi le quali compongono il processo assume grande rilevanza la meta valutazione, definita come la valutazione della valutazione. Il modello di R. STAKE si basa su un approccio interattivo, informale, giustificato da un’epistemologia soggettivistica e costruttivista, in cui la valutazione viene intesa come attività complessa e non come mera verifica di adesione a standard esterni. Il termine “RESPONSIVE EVALUATION” significa “VALUTAZIONE RISPONDENTE” valutazione che si sviluppa a partire dalle esigenze e dalle questioni che vengono poste dagli stakcholders, che emerge dal contest e si sviluppa in base ai significati attribuiti dagli attori coinvolti, secondo una logica di tipo bottom-up (dal basso). Il FOCUS DELLA VALUTAIONE VIENE SPOSTATO DAL PROGRAMMMA ALLE AZIONI FORMATIVE, OVVERO DAI CONTENUTI DELLA DIDATTICA AI MODI IN CUI IL PROGRAMMA VIENE VISSUTO E PENSATO AI VARI PARTECIPANTI E ALLE AZIONI DIDATTICHE. La responsive evaluation è una modalità di intervento valutativo che ha lo scopo di fare attenzione ai temi emergenti e vuole facilitare la comprensione dei punti di vista differenti. In particolare: - Si concentra sulle attività concrete del programma, da cui nascono e si sviluppano le questioni rilevanti da trattare - Si concentra sul contesto nel quale si svolgono le azioni didattiche - Prende le mosse dai nodi conflittuali, dai bisogni e dalle questioni ritenute rilevanti dai partecipanti e dall’osservatore - Risponde alle esigenze delle varie categorie di attori coinvolti, cercando di capire che cosa è importante per le diverse parti in causa - Assume i differenti sistemi di valore e i punti di vista divergenti, da cui derivano giudizi plurimi e diversificati, infatti non esiste uno standard esterno in base a cui valutare i risultati, bensì i giudizi scaturiscono da una interpretazione personale del programma da coloro che vi operano al suo interno. Il modello responsive è fondato sull’OSSERVARE e sul REAGIRE, cioè si dota si un tipo di comunicazione spontanea degli esiti della valutazione e mira all’utilità dei risultati per le persone che partecipano al programma valutato. VALUTAZIONE SENSIBILE dove le dimensioni adeguate nella struttura di un programma dipendono dal programma stesso e dalle persone coinvolte. LA VALUTAZIONE SENSIBILE è PARTICOLARMENTE UTILE DURANTE LA VALUTAZIONE FORMATIVA QUANDO IL PERSONALE HA LA NECESSITA’ DI GODERE DI ASSISTENZA PER IL MONITORAGGIO DEL PROGRAMMA, QUANDO NESSUNO E’ SICURO DEI PROBLEMI CHE SI VERRANNO A CREARE. INOLTRE SARA’ PARTICOLARMENTE UTILE AI FINI DELLA VALUTAZIONE RIEPILOGATIVA, QUANDO LE PLATEE VOGLIONO RENDERSI CONTO DI QUALI SONO LE ATTIVITA’ DEL PROGRAMMA, DEI SUOI MERITI E DEI SUOI LIMITI E QUANDO IL VALUTATORE AVVERTE LA RESPONSABILITA’ DI DOVER FARANTIRE UN’ESPERIENZA INDIRETTA. 16 LOREDANA PERLA afferma che ci troviamo davanti ad un modello idiografico di valutazione. LA VALUTAZIONE PUO’ DIRSI TALE SOLO A CONDIZIONE DI RECUPERARE LE DIVERSITA’ DELLE PROSPETTIVE E DI PROMUOVERE LA CRESCITA QUALITATIVA DI CHI, ANCHE SE COLLOCATO IN POSIZIONI RECIPROCAMENTE LONTANE, VI E’ COINVOLTO. SOLO COSI’ SI DA’ SENSO AL VALUTARE E SI PROMUOVE L’INNOVAZIONE. LA VALUTAZIONE COME VIA FORMATIVA E QUALITATIVA PER L’INNOVAZIONE. SCRIVEN parla della VALUTAZIONE INDIPENDENTE dagli scopi. Sostiene che meno il valutatore esterno viene a conoscenza degli scopi del progetto, meno la sua visione sarà ristretta e più ci sarà attenzione alla ricerca degli effetti reali. Il valutatore deve indagare gli esiti effettivi del processo, non quelli previsti. L’indagine si concentra sulle attività svolte e sugli effetti prodotti, valutati non in rapporto agli obbiettivi del progetto ma in base alla loro rilevanza e significatività da un punto di vista sociale. Logica valutativa in quanto si cerca di capire se il programma in sé è efficacie oppure no. Lo scopo della valutazione, non è solamente quello di individuare i punti di forza e di debolezza, ma è quello di innescare processi di miglioramento e di comprensione e di attribuire un valore ai programmi. LICHTNER afferma che l’approccio goal-free è un invito di Scriven ad una riflessione su quello che si fa e si ottiene in un’impresa educativa, da un punto di vista meno tecnico-procedurale e più sostanziale. La KEY EVALUATION CHECKLIST è stata elaborata ed aggiornata da Srciven nel 2007; illustra come si costruisce un rapporto sul processo valutativo nell’ambito di questo modello e ne indica i criteri operativi di riferimento e di guida per l’applicazione. LA CHECKLIST è suddivisa in quattro parti: 1. PARTE A – PRELIMINARIES: costituita dalla parte introduttiva e suddivisa in tre sottoparti: o Executive summary, cioè il riassunto dei risultati o Preface, ossia la premessa o Methodology la metodologia utilizzata. 2. PARTE B – FOUDATIONS: costituita dallo spazio di indagine che concerne il contesto, la natura e i bisogni alla base dell’inizio di uno specifico programma. A sua volta è costituita da: o Background and context o Consumers o Resources o Values 3. PARTE C – SUB – EVALUATIONS: è composta da cinque sottoparti: o Process o Outcomes 17 assimilare le proprie idee, al fine di formare, di creare ed espandere le loro realtà. Le valutazioni quindi creano la realtà piuttosto che scoprirla oggettivamente, ma lo fanno in relazione al contesto e su vari sistemi di valore dei soggetti.  LA CORRETTEZZA: il valutatore deve adottare il principio di equità che richiede le costruzioni, le affermazioni, gli interessi ed i problemi derivanti da ogni sistema di valore vengano promossi e rispettati  LA NOGOZIAZIONE: la collaborazione è la base, ossia l’inclusione degli stakcholders nel processo di valutazione, ai quali deve essere data la possibilità di fornire input ad ogni stadio del processo valutativo. Gli stakcholders e il valutatore devono congiuntamente e collaborativamente avere il controllo dell’intero processo. Il concetto di valutazione è un processo collaborativo, continuo, ricorsivo ed in continua evoluzione. L’ATTO DELLA VALUTAZIONE è UN INTERVENTO CHE PORTA GLI STAKEHOLDERS A CONFRONTARSI SIA CON LE PROPRIE COSTRUZIONI CHE CON QUELLE DEGLI ALTRI E QUESTO INTERVENTO POTREBBE CONDURRE A CAMBIAMENTI LADDOVE GLI STAKCHOLDERS SCOPRANO ULTERIORI ELEMENTI DA CONSIDERARE. Il valutatore conduce la valutazione con un’impostazione collaborativa assumendo il ruolo di colui che impara e colui che insegna e proponendosi come UN MEDIATORE ED UN AGENTE DEL CAMBIAMENTO. STUFFLEBEAM, MADAUS E KELLAGHAN forniscono una visione d’insieme degli studi e dei principali approcci valutativi applicati ai contesti dei servizi della persona ed educativi. Gli autori descrivono e analizzano i diversi modelli di valutazione che sono legati a diversi periodi storici e la loro declinazione in termini operativi nell’ambito dei servizi educativi, rilevando un graduale cambiamento pragmatico. Da modalità di verifica dell’apprendimento nei partecipanti alla formazione o degli obbiettivi ridefiniti, funzionale alla certificazione delle competenze acquisite dai soggetti, si è passati alla creazione di un sistema di valutazione più complesso e differenziato che include programmi, processi e risultati, funzionale all’implementazione di strategie di miglioramento dell’offerta formativa. Gli autori sottolineano che i programmi di valutazione applicati ai servizi educativi vengono considerati un fenomeno molto recente. Vedi pg 62-63-64. NICOLETTA STAME ha proposto una classificazione degli approcci alla valutazione che li considera nei riferimenti epistemologici ed in stretta connessione con le scelte politiche e con l’efficacia dei programmi di intervento. L’autrice identifica tre approcci principali alla valutazione che nascono in momenti differenti e che si presentano come STRUMENTI CONCETTUALI DOTATI DI UNA PROPRIA ORGANICA PLAUSIBILITA’ E VALIDITA’ INTERNA. 1. APPROCCIO POSITIVISTA – SPERIMENTALE: si propone di analizzare la verifica del reale raggiungimento degli obiettivi prestabiliti dal decisore attraverso procedure di ricerca rigorose. 20 La valutazione viene utilizzata in modo strumentale, cioè come input di informazione da trasformare in decisioni politiche. 2. APPROCCIO PRAGMATISTA – DELLA QUALITA’: nasce in contrapposizione ad una concezione troppo ristretta del precedente, infatti si è sviluppato in un contesto pragmatista come opposizione intellettuale al positivismo. 3. APPROCCIO COSTRUTTIVISTA – DEL PROCESSO SOCIALE: comprende cosa accade dal confronto fra programma e contesto, non perdendo alcun termine di paragone. La valutazione deve tener conto del fatto che ogni volta si attua un programma esso cambia a contatto con il contesto: i problemi sentiti dai vari stakcholders saranno diversi e le conclusioni raggiunte per un programma non potranno essere generalizzate ad altre situazioni in cui vengono attuati programmi singoli. Vedi pg 64-65-66- 67 Il terzo approccio si distingue palesemente dai primi due perché esso sostiene il concetto di valutazione come processo che si costruisce attraverso la partecipazione dei diversi attori coinvolti all’interno di un’ottica formativa. LICHTNER dice che possono essere rilevati due approcci della valutazione di un’azione formativa: a. L’APPROCCIO FUNZIONALISTA dove si verifica la rispondenza obiettivi – risultati, l’interesse si concentra sul rapporto mezzi – fini. La valutazione è centrata sull’organizzazione e privilegia gli aspetti oggettivi come le attività svolte o il rendimento dei singoli. b. L’APPROCCIO FENOMENOLOGICO il cui focus è rappresentato dagli effetti prodotti e sul processo, inteso come l’andamento della relazione didattica, per capire come le attività sono state percepite e vissute dai partecipanti. La valutazione è centrata sulla situazione, così come viene costruita intersoggettivamente e privilegia gli aspetti soggettivi come i vissuti e i significati attribuiti. Vedi tabella pg 69. Il processo di valutazione dovrebbe considerare che: “UN’INIZIATIVA FORMATIVA, QUALE CHE SIA L’OBIETTIVO SPECIFICO CHE PERSEGUE, E QUALI CHE SIANO I CONTENUTI PROPOSTI, DOVREBBE SEMPRE COSTITUIRE UN’OCCASIONE DI CRESCITA, DI CAMBIAMENTO PER I PARTECIPANT”I. Il ruolo dei partecipanti  RUOLO FONDAMENTALE LICHTNER dice che la valutazione è utile quando getta luce sui veri problemi. L’intervento valutativo deve essere guidato da una logica di ricerca al fine di offrire un contributo conoscitivo e di essere davvero utile. 21 La valutazione deve essere in grado di darci delle risposte rispetto ai problemi che effettivamente si pongono e devono offrire delle indicazioni in funzione di decisioni da prendere, così come potrebbe portare a scoprire nuove conoscenze e rappresentare anche un contributo di ricerca. EDUCARE = affrontare situazioni e casi unici differenti l’uno dall’altro per i quali non sono disponibili linee di intervento predefinite a priori che garantiscono il successo dell’azione educativa/didattica. La REALIZZAZIONE CONCRETA del progetto implica continui rimandi fra i diversi elementi. I PARADIGMI EPISTEMOLOGICI di riferimento possono essere individuati nel paradigma fenomenologico e nel paradigma ecologico. PARADIGMA DI UN’ESPERIENZA EDUCATIVA o FORMATIVA è significativa se fa sorgere nuovi problemi, permette di formulare ipotesi e di attribuire significati, sollecitando la riflessione e aprendo ulteriori prospettive di ricerca Il PARADIGMA ECOLOGICO, invece, sostiene che l’utilità della ricerca, non è calcolata in funzione della capacità di previsione dimostrata dagli enunciati scientifici o dal raggiungimento di determinati obiettivi pre-stabiliti, ma risiede nella capacità di indagare le questioni rilevanti per la vita umana e di fornire strumenti per lo sviluppo di nuove e migliori politiche sociali. La VALUTAZIONE si avvale dell’integrazione dei: - METODI QUANTITATIVI - METODI QUALITATIVI Possiamo ipotizzare quindi un modello pedagogico di valutazione orientato alla comprensione della realtà e del processo educativo, in cui gli obiettivi vengono riformulati e ridefiniti in itinere, sulla base dei nodi critici e degli elementi positivi che emergono. La valutazione è un processo e una delle sue caratteristiche principali è la sistematicità, in base a cui si interviene in momenti diversi del progetto educativo; possiamo rilevare degli effetti che devono essere tenuti in considerazione ed analizzarli in vista di una ridefinizione degli obbiettivi o delle strategie di azioni. Si capisce che la logica di questo modello sia una logica di tipo formativo, che evidenzia l’importanza della partecipazione dei soggetti coinvolti nella valutazione al fine di accrescere l’esperienza di apprendimento. BARBIERI afferma che la valutazione assume una valenza sociale in rapporto alle dinamiche che si creano tra chi valuta, chi è valutato e chi utilizza i risultati della valutazione. La riflessività contribuisce alla riflessione nel corso dell’azione, fondamentale per affrontare le situazioni problematiche, divergenti tipiche dei contesti educativi e per costruire un nuovo modo di affrontare il problema VALUTARE RIFLESSIVAMENTE SIGNIFICA ATTIVARE UN PROCESSO INTERNO DI MONITORAGGIO DEL CAMMINO FORMATIVO NEL QUALE IL DIVENIRE, INIZIALMENTE POCO EVIDENTE è RESO OGGETTO SISTEMATICO DI RIFLESSIONE; IL FARE VIENE INTERCALATO CON L’OSSERVAZIONE/ANALISI DEL FARE STESSO E LA LOGICA NON DI OPPOSIZIONE TRA CONOSCENZA, AZIONE E RIFLESSIONE, MA DI DIALETTICA E CORRELAZIONE RECIPROCA FRA I TRE MOMENTI: NON VI PUO’ ESSERE L’UNO SENZA GLI ALTRI E VICEVERSA. 22 all’offerta del corso; la comunicazione didattica che DIVENTA DAVVERO DIDATTICA NEL MOMENTO IN CUI SUPERA IL LIVELLO DELLA SPIEGAZIONE E RIESCE A SUSCITARE CURIOSITA’, AD AGGANCIARE LA MOTIVAZIONE, A PROMUOVERE LA METACOGNITIVITA’ E LA DISPONIBILITA’ PERMANENTE AD APPRENDERE. 3. PRODOTTO DIDATTICO/FORMATIVO  la valutazione dovrebbe focalizzarsi sui tassi di drop- out studenteschi; sui tempi necessari per conseguire il titolo di studio o sostenere il singolo esame; sui tempi e le modalità di inserimento nel mondo delle professioni; sulla rispondenza delle competenze acquisite con la domanda del mercato del lavoro. Vedi pg 104 PAOLO CALIDONI afferma che nella progettazione, nella presentazione e nella valutazione dell’azione didattica accademica, molto spesso viene utilizzata un’impostazione individualistica dell’insegnamento, in cui l’attenzione si concentra solo sugli insegnamenti affidati ai singoli docenti, oppure sull’offerta formativa delle facoltà, mentre il PERCORSO FORMATIVO DEGLI STUDENTI E’ FINALIZZATO AL CONSEGUIMENTO DI UNA PREPARAZIONE PRE-PROFESSIONALE INTEGRATA IN UN CORSO/TITOLO DI STUDIO, FRUTTO DEL CONCORSO DI PIU’ INSEGNANTI E LA CUI COLLOCAZIONE IN UNA FACOLTA’ O IN UN’ALTRA PUO’ DIPENDERE DA CONTINGENZE LOCALI Vedi pg 104-105. Ci sono molte richieste di QUALITA’. Il caso preso in esame descrive il lavoro compito dall’ISFOL (Istituto per lo sviluppo della formazione professionale dei lavoratori) nella direzione di analizzare e ripensare il concetto di qualità, applicato ai contesti della formazione, proponendo un modello che traccia un discorso integrato della valutazione della qualità dei servizi formativi, in chiave pedagogica. Il modello che viene proposto dall’ISFOL si inscrive all’interno di alcune dimensioni che caratterizzano il concetto di qualità pedagogica e che contribuiscono a comprendere il significato e le possibilità di applicazione nei contesti formativi. Secondo l’ISFOL la qualità pedagogica:  Concerne il ciclo di vita complessivo di un progetto formativo  Consiste nella definizione di standard  Ha come suo presupposto la centralità del soggetto in formazione  Si struttura attraverso alcuni assi di riferimento. La qualità pedagogica viene definita come un itinerario logico-metodologico di ricerca, infatti viene intesa come: RICERCA DELLA SPECIFICITA’ DEL VAOLORE AGGIUNTO DELL’APPROCCIO QUALITA’ APPLICATO ALLA FORMAZIONE, CONSIDERATA COME INTERAZIONE, RELAZIONE, TRASFORMAZIONE, SVILUPPO DO COMPETENZE, ATTEGGIAMENTI, CONOSCENZE. 25 QUALITA’  sistema complesso, formato da sottoinsiemi che hanno lo scopo di fornire valide risposte, adeguate ed efficienti al sistema cliente. Interpretazione PRAGMATICA e COMPLESSA della qualità che risulta dall’intersezione di quattro aree che incidono nelle esperienze formative e nella valutazione della qualità dei servizi: le aree della QUALITA’ TECNICA, DELLA QUALITA’ RELAZIONALE, DELLA QUALITA’ AMBIENTALE E DELLA QUALITA’ ORGANIZZATIVA. Queste aree diventano:  QUALITA’ DIDATTICA E DELLE ESPERIENZE FORMATIVE  tutte le modalità e le condizioni relazionali, didattiche, metodologiche, procedurali che producono qualità nel percorso formativo vero e proprio. Attiene agli aspetti inerenti e le tecnologie didattiche, le sinergie tra soggetti sociali.  QUALITA’ DELLE RISORSE UMANE, PROFESSIONALI ED ECONOMICE  si riferisce al complesso di risorse che costituiscono il momento essenziale per la buona progettazione e gestione di qualsiasi percorso formativo.  QUALITA’ DEI SUPPORTI FORMATIVI E QUALITA’ LOGISTICA.  concerne gli aspetti della qualità ambientale con riferimento alla accessibilità, al comfort ed alla sicurezza degli spazi dedicati alla formazione. Alla qualità pedagogica della formazione viene presa in esame la qualità del processo di apprendimento, inteso come RISULTATO DELL’AZIONE FORMATIVA CHE DEVE SODDISFARE ESIGENZE, BISOGNI E ASPETTATIVE DEI DESTINATARI DELL’AZIONE FORMATIVA, CHE NELL’APPROCCIO QUALITA’ RIVESTONO UNA POSIZIONE CENTRALE. QUALITA’ PEDAGOGICA  l’insieme delle condizioni necessarie a produrre uno sviluppo dell’apprendimento in un contesto di opportunità educative intenzionalmente predisposte che abbiano come proprio presupposto la centralità del soggetto, considerato come protagonista del proprio percorso formativo e come l’attore cui riconoscere il diritto dell’accesso alle competenze necessarie per assumere ruoli professionali e di cittadinanza nella società e nel mondo del lavoro a cui fornire strutture di conoscenza evolute da utilizzare in contesti che cambiano sempre più rapidamente. Vengono individuati alcuni assi di riferimento che debbano reggere l’impianto valutativo e possono essere letti come criteri di valutazione della qualità pedagogica: a. PERTINENZA: tutti coloro che sono interessati a ciò che fornisce un’organizzazione, e tutti coloro che hanno un interesse nella qualità dei prodotti e dei servizi b. COERENZA: nella traduzione operativa delle aspettative del cliente all’interno del processo di progettazione, gestione e realizzazione delle azioni formative c. ADEGUATEZZA: nel dimensionamento delle risorse da implicare nell’organizzazione dell’attività formativa 26 d. INTEGRAZIONE: la qualità dell’offerta formativa è data dal livello di integrazione dei differenti sistemi che la producono. Si tratta di un’integrazione che riguarda le diverse fasi dell’azione formativa, i diversi attori e i diversi sistemi in essa coinvolti. La comunicazione e l’integrazione tra i diversi sistemi sono elementi necessari affinchè si possa parlare di qualità pedagogica. e. RIPRODUCIBILITA’: inerisce la capacità potenziale del progetto di essere riprodotto in presenza di problemi analoghi o uguali a quello che lo hanno originato ed in contesti territoriali che presentino delle analogie con quelli in cui è stato realizzato, apportando, così, un valore aggiunto a ciò che si è procinto di realizzare. f. CONFORMITA’ ALLA NORMATIVA europea, nazionale e regionale. Esempio relativo all’area della qualità didattica, in cui viene indicata una checklist di dimensioni rilevanti da prendere in considerazione per la valutazione:  Patto/contratto formativo  Analisi delle competenze e delle conoscenze dei soggetti in formazione  Metodologia educativa – formativa personalizzata  Diversificazione delle metodologie didattiche/educative  Partecipazione dei soggetti in formazione ai processi di insegnamento/apprendimento e valorizzazione delle esperienze pregresse  Certificazione delle competenze  Libretto formativo o portfolio di competenze  Orientamento  Accompagnamento durante il percorso  Sistemi di valutazione dell’apprendimento  Sistemi di valutazione del percorso complessivo. Vedi pg 110-111 Dall’analisi svolta emergono elementi che sono utili per la ricerca dei caratteri di un modello pedagogico di valutazione dei servizi educativi, in particolare: - LA COMPLEMENTARIETA’ TRA DIVERSI APPROCCI, MODELLI, LOGICHE E STRUMENTI - MOLTEPLICI VALUTAZIONI ALL’INTERNO DEI CONTESTI EDUCATIVI - PROGETTAZIONE E VALUTAZIONE IN ITINERE - LA VALUTAZIONE COME VIA PER IL MIGLIORAMENTO - DIDATTICA MICRO/MACRO Vedi pg 113 27 Il disegno della ricerca valutativa può essere rappresentato come un PERCORSO, un AMBITO MENTALE, uno STILE PROFESSIONALE, un VIAGGIO COGNITIVO, un PROGETTO CHE CI CONDUCE A UNA PIU’ O MENO EFFICACIE, PIU’ O MENO RILEVANTE, PIU’ O MENO UTILIZZABILE ANALISI VALUTATIVA. Bezzi indica nove tappe/fasi in cui può essere sottoposto il disegno della ricerca valutativa: 1. Definizione del mandato valutativo: occorre effettuare una riflessione analitica preliminare di ciò che stiamo valutando, cioè capire qual è la domanda valutativa che viene posta, infatti non si può valutare se non si ha una risposta chiara e convincente del perché si debba valutare. Capire chi ha deciso di fare la valutazione e cosa ne voglia fare è un elemento imprecisabile, anche e soprattutto per orientare il processo valutativo nella giusta direzione. 2. Formulare le opportune domande valutative e comprendere gli obiettivi del programma: la valutazione è un confronto fra una data realtà e qualcos’altro; questo vuol dire che dobbiamo capire bene la realtà del programma da valutare avvicinandosi ad esso con un mandato chiaro , per capire quali siano i suoi obiettivi e le questioni alle quali la valutazione deve interessarsi. 3. Accertare le risorse disponibili e organizzare la ricerca: non si fa nessuna valutazione se non ci sono le risorse, che sono essenzialmente economiche. 4. Il primo disegno della ricerca e l’offerta tecnica: la possibilità di disegnare la ricerca è astratta, basata su documenti, interviste preliminari, competenze pregresse. 5. Esplorare il campo semantico del programma: analizzare il programma individuandone le sue componenti salienti, in modo da poterle trasformare in strumenti operativi di valutazione. 6. Esplicitare il sistema valoriale del programma: rendere visibile, leggibile, pubblico il sistema di valori che guida il programma in esame e che deve guidare il processo valutativo. 7. Stabilire conseguenti approcci, strumenti, tecniche e loro definizioni operative: compare quando la ricerca valutativa è già avviata, infatti le tecniche sono conseguenze operative di scelta, argomentabili, che traggono senso dal confronto con il contesto reale in cui la valutazione è situata. 8. Raccolta e analisi delle informazioni: si collezionano le informazioni e si analizzano. 9. Usare la valutazione e diffondere i risultati: non ha alcun senso fare valutazione se non si vuole o non si può utilizzarla e se non si cura la diffusione dei suoi risultati. In questa fase 30 vengono elaborate tutte le attività di redazione di rapporti valutativi, di sensibilizzazione, di divulgazione e finalizzate all’utilizzo della valutazione. Vedi pg 117-119 Il disegno della ricerca valutativa è: UN’INSIEME ORGANICO CHE CRESCE ASSIEME; MENTRE IL VALUTATORE NEGOZIA IL MANDATO CON IL COMMITTENTE E COMPRENDE SU QUALE PROGRAMMA DEBBA AGIRE, CREA DI PREFIGURARE COME POTREBBE PROCEDERE, SALVO RIDIMENSIONARE IL PROGETTO UNA VOLTA CONOSCIUTO IL BUDGET DISPONIBILE QUANDO POI AVVIA IL LAVORO POTREBBE DOVER RITORNARE DAL COMMITTENTE PER RIDEFINIRE IL MANDATO ALLA LUCE DI QUANTO VA SCOPRENDO E COSI’ VIA……. Quindi vediamo che la valutazione si basa su un impianto metodologico solido, ma non deve essere schiacciata sul mero tecnicismo, dove i problemi concreti, il contesto reale, gli obiettivi dell’evaluando e le sue ragioni, gli attori sociali coinvolti e i loro bisogni, interessi, culture e valori, verrebbero tutti semplicemente negati dal freddo bisturi di una tecnica, soprattutto nell’ambito dei servizi alla persona ed educativi, dove le problematiche relative alla valutazione assumono connotazioni sfaccettate e multidimensionali, più che in altri contesti. Gli autori dicono che, nonostante la diversità dei disegni valutativi, possiamo considerare ogni valutazione come struttura fondamentale intorno a tre punti: 1. Le domande alle quali la valutazione deve rispondere: una caratteristica centrale di un disegno di valutazione è quella di specificare lo scopo principale della valutazione e, di conseguenza, le domande sulle quali si incentrerà. 2. I metodi e le procedure che la valutazione utilizzerà per rispondere alle domande: un disegno di valutazione identifica o metodi che saranno usati per rispondere a delle domande sul tappeto, organizzandole in un piano di lavoro fattibile. I metodi selezionati non solo devono essere capaci di fornire risposte alle domande poste, ma devono anche essere attuabili nella pratica. 3. La natura della relazione tra il valutatore e gli stakcholder: una parte del disegno di valutazione prevede un piano per interagire con gli stakcholder del programma al fine di identificare e chiarire i punti chiave, condurre la valutazione e fare un uso efficacie dei relativi risultati. La forma del disegno di valutazione è influenzata da molti aspetti del programma e dal contesto nel quale si svolge la valutazione. Lo sviluppo del disegno di valutazione dovrà essere guidato da un’analisi del contesto dove si trova, negli scopi della struttura e delle risorse disponibili. ROSSI, FREEMAN e LIPSEY evidenziano che le caratteristiche della struttura di un programma o di un servizio e il suo relativo contesto costituiscono le caratteristiche principali, in base a cui il piano 31 di valutazione va costruito su misura. Vengono individuati tre aspetti importanti da prendere in considerazione: 1. LA FASE DI SVILUPPO DEL PROGRAMMA 2. IL CONTESTO LOCALE, SOCIALE E POLITICO DEL PROGRAMMA 3. LA STRUTTURA DEL PROGRAMMA. Programmi, progetti ed azioni sociali ed educative fanno riferimento a concetti che hanno un elevato grado di generalità. OPERAZIONALIZZAZIONE  è la traduzione dei concetti in indicatori e variabili, e si configura come un processo che consente di effettuare delle misurazioni anche nell’ambito delle ricerche qualitative, che non hanno come scopo principale l’adozione di una procedura di misurazione.  Consente l’osservazione, la quantificazione, la classificazione di oggetti complessi e altrimenti non osservabili sul piano empirico, come sono i concetti. Gli INDICATORI sono il livello osservabile di un conetto indagato….sono l’esito operativo di un processo di significazione. ALBERTO MARRADI afferma che: l’INDICATORE DEVE LA SUA ESISTENZA ALLA NECESSITA’ DI REGISTRARE PROPRIETA’ CHE NON è POSSIBILE DEFINIRE OPERATIVAMENTE IN FORMA DIRETTA, e in tale direzione, l’autore indica alcuni casi in cui non è possibile immaginare una definizione operativa diretta, soprattutto quando: a. L’unità di analisi è qualcosa che non si può interrogare b. Gli stati sulla proprietà indagata non si possono rilevare mediante osservazione diretta o estrarre da documenti ufficiali Altri casi in cui una definizione operativa si può immaginare, ma non è affidabile; questo avviene ogni volta che l’unità di analisi è un essere umano che ha la proprietà indagata: a. Ha risposte socialmente desiderabili b. È un concetto famigliare al ricercatore/valutatore ma non all’uomo comune c. È qualcosa che la morale dominante della comunità considera riprovevole. In tutto ciò bisogna ricorrere a un percorso che partendo da un contesto, passa attraverso la definizione di dimensioni più specifiche per poter arrivare ad individuare gli indicatori. L’indicatore rappresenta l’unità concettuale più facilmente osservabile e misurabile; a sua volta può essere tradotto in una variabile che ci conduce alle operazioni di misura, osservazione sistematica e classificazione. Abbiamo: 32 valenza che spesso innesca il bisogno di valutazione e: SOLO IN UN SECONDO MOMENTO CI SI ACCORGE CHE OLTRE AL MIGLIORAMENTO DALL’INTERNO E’ BENE AGGIUNGERE ANCHE ELEMENTI DI RESPONSABILIZZAZIONE ESTERNI, CHE POSSONO ESSERE ESPRESSI, ESPLICITATI , UTILIZZATI NELLE RELAZIONI DI RETE. La valutazione è una valutazione orientata al miglioramento, allo sviluppo, ad accrescere le competenze, a crescere come gruppo; quindi in questo caso, il processo valutativo si connota come processo in cui gli aspetti di formazione non sono un semplice effetto secondario positivo, ma elementi dello stesso processo valutativo. La valutazione deve essere realizzata in maniera PARTECIPATA, cioè consente inoltre, a livello metodologico, di raccogliere le informazioni, analizzare ed interpretarle. Le informazioni rappresentano l’esito dell’interazione degli attori sociali implicati nel processo di valutazione e attribuire loro un significato vuol dire fare riferimento all’analisi dei significati attribuiti dai diversi attori che agiscono quotidianamente la scena del servizio valutativo. Analizzare la valenza della valutazione partecipata, sia a livelli teorici, sia a livelli pratici. Già a partire dal 1970 i diversi approcci di valutazione partecipata sono stati promossi e sostenuti nell’ambito dello sviluppo della valutazione dei programmi sociali a livello internazionale. Non si è ancora arrivati a dare un vero significato alla VALUTAZIONE PARTECIPATA Si mettono in luce alcuni elementi:  Sia nell’analisi della letteratura che nell’analisi delle esperienze empiriche si riscontrano vari e differenti modi, in base a cui la valutazione partecipata viene concettualizzata, praticata ed implementata  Attualmente il termine valutazione partecipata può essere considerato come un termine ombrello sotto al quale troviamo un’ampia varietà di approcci e modelli teorici ed operativi. Partecipare  l’atto di prendere parte e gli autori si chiedono: cosa significa prendere parte ad una valutazione. Vedi pg 130-131-132 La valutazione partecipata può essere collocata, secondo GUBA e LINCOLON nell’ambito dell’approccio costruttivista e condivise con esso molti assunti importanti, primi fra tutti il diritto dei soggetti di far parte e contribuire al processo valutativo e la necessità per il valutatore, di comprendere, analizzare, criticare le diverse costruzioni e le diverse questioni messe in campo dagli stakeholders. Vedi pg 132-133 Nel documento si evidenzia che la valutazione costruttivista prevede due fasi:  SCOPERTA: rappresenta la fase della ricerca di tutte le informazioni riguardanti l’oggetto della valutazione e il suo contesto; conduce a delle scoperte che si configurano come delle organizzazioni semiotiche circa i significati che l’oggetto assume. 35  ASSIMILAZIONE: delle scoperte nell’insieme di costruzioni già esistenti, così da giungere ad una nuova costruzione che riesca ad inglobare i vecchi e i nuovi significati, che sia in grado di spiegare le cose e di riuscire a cogliere l’essenza delle questioni, migliorandole, in un’ottica di apertura al cambiamento. Nella parte della CHECKLIST inerente il ruolo del valutatore ne vengono individuate le principali responsabilità nel corso del processo valutativo: a. Identificare tutti i possibili stakcholders, i quali hanno il diritto di ricevere, valutare tutte le informazioni scoperte nel processo valutativo b. Rendere espliciti i significati e le costruzioni dei vari gruppi di stakcholders circa l’oggetto da valutare e tutte le questioni ad esso relative c. Realizzare un contesto ed una metodologia attraverso cui sia possibile comprendere, analizzare, criticare le diverse costruzioni e le diverse questioni messe in campo dagli stakcholders d. Generare consenso intorno a numerose costruzioni, prima all’interno di un gruppo e poi, tra i diversi gruppi e. Organizzare un programma operativo per la negoziazione su elementi sui quali il consenso non è completo f. Raccogliere e fornire a tutti le informazioni necessarie per la negoziazione g. Stabilire e mediare uno spazio in cui i rappresentati degli stakcholders possano negoziare e discutere al fine di arrivare a costruzioni condivise h. Sviluppare uno o più report in cui si comunicano agli stakcholders tutti i consensi raggiunti e tutte le soluzioni individuate a fronte delle diverse richieste avanzate i. Ripetere la valutazione, in modo da affrontare le questioni non risolte, esplorando nuovi elementi: infatti le valutazioni costruttive non sono mai complete, si concedono solo qualche pausa in attesa che emerga un ulteriore bisogno di revisione. La CHECKLIST segue una metodologie ermeneutico-dialettica, nella quale il processo valutativo si articola in undici step principali: 1. ORGANIZZARE LA VALUTAZIONE 2. IDENTIFICARE GLI STAKCHOLDERS 3. SVILUPPARE DEI GRUPPI COSTRUTTIVISTI TRA GLI STAKCHOLDERS 4. ARRICCHIRE LE COSTRUZIONI DI OGNI GRUPPO DI STAKCHOLDERS 5. ARRIVARE A COSTRUZIONI CONDIVISE 6. DARE LA PRIORITA’ A QUESTIONI ED ASPETTI SU CUI NON SI E’ RAGGIUNTO IL CONSENSO MEDIANTE UN PROCESSO DI NEGOZIAZIONE E IL COINVOLGIMENTO DI TUTTI GLI STAKCHOLDERS 7. RACCOGLIERE INFORMAZIONI AGGIUNTIVE E CERCARE DI RAFFINARE QUELLE VECCHIE, PORTANDOLE AD UN LIVELLO PIU’ ALTO DI SOFISTICAZIONE 8. PREPARARE UN PROGRAMMA PER LA NEGOZIAZIONE, ENUNCIANDO E DEFINENDO LE COSTRUZIONI IN COMPETIZIONE. 36 9. SVILUPPARE COSTRUZIONI INTERGRUPPO, OSSIA ELABORARE UNA COSTRUZIONE CONDIVISA CHE SIA IL RISULTATO DI TUTTE LE COSTRUZIONI DEI SINGOLI GRUPPI 10. COSTRUIRE UNO O PIU’ RAPPORTI 11. RIPETERE L’INTERO PROCESSO, CON PARTICOLARE ATTENZIONE AGLI ELEMENTI CHE NELLO STEP 9 SONO RIMASTI IRRISOLTI I report finali della valutazione costruttivista non si configurano come report tecnici e non riportano giudizi o conclusioni; rappresentano il prodotto del processo ermeneutico-dialettico e derivano da un lavoro di gruppo. Vedi da pg 136 a pg 146 Per quanto riguarda i servizi educativi, la valutazione risponde ai diversi bisogni ed esigenze. 1. Risponde al bisogno di legittimazione, permette di dimostrare l’utilità e l’efficacia degli interventi, sulla base di evidenze empiriche e in questo modo gli operatori possono rendere trasparenti gli effetti del proprio lavoro La costruzione di percorsi integrati che consentono di rendere visibili gli esiti e i processi messi in atto è importante per evitare che la pratica dei servizi diventi un fare fine a se stesso. 2. La valutazione dei servizi educativi risponde sia all’esigenza di rendere conto dell’utilità degli investimenti, sia al miglioramento dei servizi stessi. Quando si parla di VALUTAZIONE DI SERVIZI EDUCATIVI, in realtà ci si riferisce a diverse dimensioni, infatti qualsiasi tipologia di servizio si configura come un contesto complesso, in cui possiamo distinguere almeno due dimensioni principali: - Il macro contesto strutturale ed organizzato - Il micro contesto educativo Due dimensioni tra loro interconnesse ed interagenti, ma che richiedono uno SGURADO VALUTATIVO diverso, che nel primo caso si sofferma sugli aspetti generali del servizio ed è uno sguardo che proviene dagli organi responsabili e dai decisori a livello locale. Nel secondo caso si tratta di uno SGUARDO che si sofferma sugli aspetti specifici del servizio, inerenti i percorsi e gli interventi educativi ed appartiene a chi opera nel contesto. 37