Strategie di Ricerca Valutativa: Libri e Articoli per l'Analisi Multivariata, Appunti di Metodologia della ricerca

Scarica Strategie di Ricerca Valutativa: Libri e Articoli per l'Analisi Multivariata e più Appunti in PDF di Metodologia della ricerca solo su Docsity! “Fiducia nel parlamento” e “titolo di studio” sono le due variabili. In sede d’esame si richiede la lettura di una tabella di contingenza. “Il 67% degli individui che ha una licenza media ha una bassa fiducia nel parlamento” Tecniche quantitative e qualitative orientate alla valutazione. Testi d’esame: 3 libri più due articoli che carica su Moodle NON STUDIARE SOLO LE SLIDE Se l’esame è a distanza sarà orale: tabella da interpretare e domanda fuori dalle slide Se l’esame è in presenza: domande a risposta aperta (2 domande ampie da 8 punti ciascuna, 5 domande più corte da 3 punti) Per ogni argomento carica un test di autovalutazione. Sezione 1: articoli programma d’esame Sezione 2: materiale utile per l’esame domande e risposte audio, alcuni esempi di commenti di tavole di contingenza e di tabelle (una delle domande d’esame), tavole di contingenza senza commento Sezione 3: materiale di approfondimento che non è materiale d’esame ma super consigliato. Per es. analisi costi e benefici della TAV Torino-Lione, articolo di Repubblica relativo ai corsi di formazione finanziati da fondi pubblici, Ricerca valutativa Differenza tra valutazione spontanea e valutazione tecnica-scientifica Nel corso della vita quotidiana facciamo continuamente valutazione, è ciò che guida le nostre azioni. E’ spontanea e assertiva. Per assertiva si intende che viene fatta senza necessità di argomentare. Esempi di valutazione spontanea: discutere dopo una partita di calcio valutando le scelte dell’allenatore, quando si parla di politica, quando si consiglia un film ad un amico. Sono giudizi basati su degli elementi che predispongono una conoscenza della materia prima, oppure fattori tecnici e affettivi, etici e valoriali, estetici e culturali, senza un’argomentazione in modo puntuale. E’ difficile argomentare la valutazione spontanea perché spesso tale giudizio affonda le sue radici in un vissuto interiore difficilmente esplicitabile a parole. La valutazione tecnica-scientifica è radicalmente diversa. Significa dare un giudizio sostanziale che ci permette di capire se le cose funzionano, perché le cose funzionano, con lo scopo di migliorarle. Essa si applica ad ogni azione sociale programmata: non è un’azione individuale e è pensata e organizzata con la precisa volontà di raggiungere uno scopo. Si può applicare a una politica, a un progetto, a un programma o ad una organizzazione. Essa viene messa in atto nel settore pubblico, perchè le organizzazioni private sono generalmente collocate nel mercato e hanno un confronto con dei clienti che con le loro richieste fanno già capire se le loro azioni funzionano o meno. Esse non dovranno fare una valutazione tecnica-scientifica ma andranno a guardare il fatturato. Le istituzioni pubbliche devono erogare prestazioni anche in vista di un esborso economico, perché lo scopo delle istituzioni non è un guadagno economico, ma tutelare la salute pubblica. La valutazione serve a capire se le azioni messe in atto siano efficaci. La valutazione tecnica scientifica è l’espressione di un giudizio basato su una ricerca ad hoc che ha l'obiettivo di capire gli elementi che portano un’azione sociale collettiva a funzionare bene o a funzionare male. E’ uno scopo pratico. Bisogna argomentare i vari elementi. Definizione valutazione tecnico-scientifica: “Espressione di un giudizio basato su una ricerca ad hoc che ha come obiettivo la comprensione degli elementi che costituiscono la base del buono o del cattivo funzionamento di un’azione sociale programmata. Scopo della valutazione è eminentemente critico (si valuta per capire e migliorare), e la sua comunicazione ha carattere argomentativo.” Il ciclo decisione - programmazione - valutazione La valutazione vuole capire i meccanismi sociali che stanno dietro alle azioni sociali programmate. Un aspetto centrale è la decisione che è alla base della valutazione. La valutazione non parte da domande astratte. Prima di questa decisione c’è un evento: un fatto improvviso (es. pandemia) oppure un bisogno noto da tempo (es. i bassi livelli di occupazione femminile) che sollecita una decisione. Una volta presa la decisione bisogna implementarla cioè metterla in atto, si procede quindi alla gestione dell’intervento in merito a questa decisione. A questo punto partono i corsi di formazione e segue un periodo definito “adattamento” (fase di adattamento) dove avviene un confronto tra chi gestisce l’intervento e gli utenti che ne usufruiscono. Se l’intervento non funziona, a seguito di una sollecitazione rinasce una situazione di criticità ed è quindi necessario prendere una nuova decisione. La valutazione accompagna tutte le fasi del ciclo ed assume nomi diversi in base ad esse. Parliamo di ciclo perché nella realtà esiste il mutamento. Cambiano i contesti, si affermano nuove idee, nessun intervento è destinato a durare per sempre → mutamento sociale. Per questa ragione il processo è ciclico. Due forze: una tende all’equilibrio (devo fare la carta d’identità > vado all’ufficio anagrafe), quella razionale dell’ordine sociale, dell’amministrazione pubblica, delle professioni e delle discipline come la valutazione La seconda è quella della realtà e della sua intrinseca complessità, con le sue infinite variabili difficili da tenere sotto controllo. Essa tende alla turbolenza (eventi inattesi che rompono l’equilibrio e cambiano i presupposti per l’azione). La realtà sociale è mutevole. Cashback: intervento per ridurre l’evasione fiscale facendo pagare con la carta di credito e restituendo il 10%. Il ciclo decisione - programmazione - valutazione ha lo scopo di riportare in equilibrio il mondo complesso in cui viviamo. Valutazione come ricerca La valutazione tecnica scientifica si deve fondare su informazioni solide condivise da una comunità scientifica. Il motore della valutazione è la ricerca. I valutatori sono quindi anche ricercatori. Bisogna raccogliere e analizzare i dati che poi ci permettano di argomentare. Ricerca valutativa: argomentare il giudizio valutativo tramite informazioni verificabili. Deve essere possibile per chiunque analizzare le informazioni raccolte. Il campione utilizzato è sufficientemente alto? Con quali criteri è stato scelto? I criteri di scelta del campione dicono molto sulla sua rappresentatività. Il modo in cui vengono formulate le domande orienta le risposte. “Lei alle prossime elezioni voterà la Lega Nord, vero?”. Le competenze metodologiche sono fondamentali nella ricerca valutativa. Massima trasparenza da parte del valutatore. Conoscenza nel merito dell’evaluando e competenza tecnico scientifica della valutazione sono le due variabili. Pregiudizio: bassa conoscenza e medio-bassa competenza (qualcosa che non si conosce e che non si ha gli strumenti per conoscere) Valutazione spontanea: media conoscenza e bassa competenza Valutazione competente: media conoscenza e media competenza Valutazione esperta: medio-alta conoscenza ed alta competenza ● Programmi: insieme organizzato di attività che mira ad ottenere obiettivi specifici. Ogni programma è costituito da azioni specifiche: i progetti. ● Progetti: attività singole non divisibili con un obiettivo operativo, per es. corsi di formazione per giovani disoccupati. operativo. Il progetto è limitato in termini di scadenze e di budget, e può essere parte di un programma ● Organizzazioni: articolazioni amministrative e gestionali che permettono l’implementazione di politiche, programmi e progetti. L’oggetto della valutazione è l’evaluando, ciò che il valutatore sta valutando. Ci sono ricerche esclusivamente qualitative e esclusivamente quantitative e quelle che cercano di integrare le due tecniche. Gli obiettivi della valutazione Esprimere un giudizio sull’efficacia degli interventi. L’efficacia è la capacità di un intervento di raggiungere l’obiettivo stabilito. L’efficienza è il rapporto tra le risorse impiegate e i risultati ottenuti. Efficacia ed efficienza sono i due termini di confronto per: - realizzazioni: azioni che sono state effettivamente realizzate nell’ambito dell’intervento rispetto a quelle previste. L’efficacia relativa a questi esiti dell’intervento è detta interna. Si tratta delle conseguenze immediate e programmabili di un intervento. - I risultati: le conseguenze successive ed esterne generate dall’intervento. Si distinguono in netti e lordi. I lordi sono i giovani che hanno trovato lavoro, i netti i giovani che hanno trovato lavoro grazie al corso. Sono più difficili da predeterminare e quantificare rispetto alle realizzazioni. La loro efficacia è detta esterna. - Impatti: conseguenze ancora più ampie dei risultati. Ancor meno circoscritti. Conseguenze (economiche, sociali, dirette, indirette…) nel lungo periodo e di ampio respiro. La maggior competitività delle aziende che hanno beneficiato di quei giovani. Il territorio dei giovani che hanno frequentato il corso più attrattivo per le imprese estere. Livelli di soddisfazione per la vita in quel territorio aumentano. E’ molto difficile programmare gli impatti. L’efficacia relativa agli impatti è detta esterna. La distinzione tra realizzazioni, risultati e impatti non è meramente lessicale: contare quanti giovani hanno partecipato ai corsi di formazione (realizzazione) è molto diverso, sia come obiettivi valutativi sia come procedimenti metodologici da utilizzare, dal verificare quanti giovani hanno trovato lavoro grazie a tali corsi (risultato), e ancor di più dall’analizzare le conseguenze generali per il sistema industriale locale (impatto). Schematizzando: Vi è un confronto tra un contesto che esprime dei bisogni e un’ organizzazione che cerca di darvi risposta; alla luce del filtro dei vincoli e delle risorse (normative, budget disponibile, etc.) si realizzano delle attività tramite attori implicati, procedure adeguate, strumenti messi a disposizione. Ciò determina la produzione di determinate realizzazioni, di successivi risultati e di più generali e lontani impatti. Efficacia (interna ed esterna) ed efficienza fanno riferimento alla connessione tra questi esiti e momenti precedenti della programmazione e dell’implementazione. - Danni dell’incendio - Numero di pompieri - Estensione dell’incendio > L’analisi bivariata è pericolosissima perchè ci verrebbe da dire che aumentando i danni aumentano i pompieri “Fiducia nel parlamento” e “titolo di studio” sono le due variabili. In sede d’esame si richiede la lettura di una tabella di contingenza. “Il 67% degli individui che ha una licenza media ha una bassa fiducia nel parlamento” Tecniche quantitative e qualitative orientate alla valutazione. Testi d’esame: 3 libri più due articoli che carica su Moodle NON STUDIARE SOLO LE SLIDE Se l’esame è a distanza sarà orale: tabella da interpretare e domanda fuori dalle slide Se l’esame è in presenza: domande a risposta aperta (2 domande ampie da 8 punti ciascuna, 5 domande più corte da 3 punti) Per ogni argomento carica un test di autovalutazione. Sezione 1: articoli programma d’esame Sezione 2: materiale utile per l’esame domande e risposte audio, alcuni esempi di commenti di tavole di contingenza e di tabelle (una delle domande d’esame), tavole di contingenza senza commento Sezione 3: materiale di approfondimento che non è materiale d’esame ma super consigliato. Per es. analisi costi e benefici della TAV Torino-Lione, articolo di Repubblica relativo ai corsi di formazione finanziati da fondi pubblici, Ricerca valutativa Differenza tra valutazione spontanea e valutazione tecnica-scientifica Nel corso della vita quotidiana facciamo continuamente valutazione, è ciò che guida le nostre azioni. E’ spontanea e assertiva. Per assertiva si intende che viene fatta senza necessità di argomentare. Esempi di valutazione spontanea: discutere dopo una partita di calcio valutando le scelte dell’allenatore, quando si parla di politica, quando si consiglia un film ad un amico. Sono giudizi basati su degli elementi che predispongono una conoscenza della materia prima, oppure fattori tecnici e affettivi, etici e valoriali, estetici e culturali, senza un’argomentazione in modo puntuale. E’ difficile argomentare la valutazione spontanea perché spesso tale giudizio affonda le sue radici in un vissuto interiore difficilmente esplicitabile a parole. La valutazione tecnica-scientifica è radicalmente diversa. Significa dare un giudizio sostanziale che ci permette di capire se le cose funzionano, perché le cose funzionano, con lo scopo di migliorarle. Essa si applica ad ogni azione sociale programmata: non è un’azione individuale e è pensata e organizzata con la precisa volontà di raggiungere uno scopo. Si può applicare a una politica, a un progetto, a un programma o ad una organizzazione. Essa viene messa in atto nel settore pubblico, perchè le organizzazioni private sono generalmente collocate nel mercato e hanno un confronto con dei clienti che con le loro richieste fanno già capire se le loro azioni funzionano o meno. Esse non dovranno fare una valutazione tecnica-scientifica ma andranno a guardare il fatturato. Le istituzioni pubbliche devono erogare prestazioni anche in vista di un esborso economico, perché lo scopo delle istituzioni non è un guadagno economico, ma tutelare la salute pubblica. La valutazione serve a capire se le azioni messe in atto siano efficaci. La valutazione tecnica scientifica è l’espressione di un giudizio basato su una ricerca ad hoc che ha l'obiettivo di capire gli elementi che portano un’azione sociale collettiva a funzionare bene o a funzionare male. E’ uno scopo pratico. Bisogna argomentare i vari elementi. Definizione valutazione tecnico-scientifica: “Espressione di un giudizio basato su una ricerca ad hoc che ha come obiettivo la comprensione degli elementi che costituiscono la base del buono o del cattivo funzionamento di un’azione sociale programmata. Scopo della valutazione è eminentemente critico (si valuta per capire e migliorare), e la sua comunicazione ha carattere argomentativo.” Il ciclo decisione - programmazione - valutazione La valutazione vuole capire i meccanismi sociali che stanno dietro alle azioni sociali programmate. Un aspetto centrale è la decisione che è alla base della valutazione. La valutazione non parte da domande astratte. Prima di questa decisione c’è un evento: un fatto improvviso (es. pandemia) oppure un bisogno noto da tempo (es. i bassi livelli di occupazione femminile) che sollecita una decisione. Una volta presa la decisione bisogna implementarla cioè metterla in atto, si procede quindi alla gestione dell’intervento in merito a questa decisione. A questo punto partono i corsi di formazione e segue un periodo definito “adattamento” (fase di adattamento) dove avviene un confronto tra chi gestisce l’intervento e gli utenti che ne usufruiscono. Se l’intervento non funziona, a seguito di una sollecitazione rinasce una situazione di criticità ed è quindi necessario prendere una nuova decisione. La valutazione accompagna tutte le fasi del ciclo ed assume nomi diversi in base ad esse. Parliamo di ciclo perché nella realtà esiste il mutamento. Cambiano i contesti, si affermano nuove idee, nessun intervento è destinato a durare per sempre → mutamento sociale. Per questa ragione il processo è ciclico. Due forze: una tende all’equilibrio (devo fare la carta d’identità > vado all’ufficio anagrafe), quella razionale dell’ordine sociale, dell’amministrazione pubblica, delle professioni e delle discipline come la valutazione La seconda è quella della realtà e della sua intrinseca complessità, con le sue infinite variabili difficili da tenere sotto controllo. Essa tende alla turbolenza (eventi inattesi che rompono l’equilibrio e cambiano i presupposti per l’azione). La realtà sociale è mutevole. Cashback: intervento per ridurre l’evasione fiscale facendo pagare con la carta di credito e restituendo il 10%. Il ciclo decisione - programmazione - valutazione ha lo scopo di riportare in equilibrio il mondo complesso in cui viviamo. Valutazione come ricerca La valutazione tecnica scientifica si deve fondare su informazioni solide condivise da una comunità scientifica. Il motore della valutazione è la ricerca. I valutatori sono quindi anche ricercatori. Bisogna raccogliere e analizzare i dati che poi ci permettano di argomentare. Ricerca valutativa: argomentare il giudizio valutativo tramite informazioni verificabili. Deve essere possibile per chiunque analizzare le informazioni raccolte. Il campione utilizzato è sufficientemente alto? Con quali criteri è stato scelto? I criteri di scelta del campione dicono molto sulla sua rappresentatività. Il modo in cui vengono formulate le domande orienta le risposte. “Lei alle prossime elezioni voterà la Lega Nord, vero?”. Le competenze metodologiche sono fondamentali nella ricerca valutativa. Massima trasparenza da parte del valutatore. Conoscenza nel merito dell’evaluando e competenza tecnico scientifica della valutazione sono le due variabili. Pregiudizio: bassa conoscenza e medio-bassa competenza (qualcosa che non si conosce e che non si ha gli strumenti per conoscere) Valutazione spontanea: media conoscenza e bassa competenza Valutazione competente: media conoscenza e media competenza Valutazione esperta: medio-alta conoscenza ed alta competenza ● Programmi: insieme organizzato di attività che mira ad ottenere obiettivi specifici. Ogni programma è costituito da azioni specifiche: i progetti. ● Progetti: attività singole non divisibili con un obiettivo operativo, per es. corsi di formazione per giovani disoccupati. operativo. Il progetto è limitato in termini di scadenze e di budget, e può essere parte di un programma ● Organizzazioni: articolazioni amministrative e gestionali che permettono l’implementazione di politiche, programmi e progetti. L’oggetto della valutazione è l’evaluando, ciò che il valutatore sta valutando. Ci sono ricerche esclusivamente qualitative e esclusivamente quantitative e quelle che cercano di integrare le due tecniche. Gli obiettivi della valutazione Esprimere un giudizio sull’efficacia degli interventi. L’efficacia è la capacità di un intervento di raggiungere l’obiettivo stabilito. L’efficienza è il rapporto tra le risorse impiegate e i risultati ottenuti. Efficacia ed efficienza sono i due termini di confronto per: - realizzazioni: azioni che sono state effettivamente realizzate nell’ambito dell’intervento rispetto a quelle previste. L’efficacia relativa a questi esiti dell’intervento è detta interna. Si tratta delle conseguenze immediate e programmabili di un intervento. - I risultati: le conseguenze successive ed esterne generate dall’intervento. Si distinguono in netti e lordi. I lordi sono i giovani che hanno trovato lavoro, i netti i giovani che hanno trovato lavoro grazie al corso. Sono più difficili da predeterminare e quantificare rispetto alle realizzazioni. La loro efficacia è detta esterna. - Impatti: conseguenze ancora più ampie dei risultati. Ancor meno circoscritti. Conseguenze (economiche, sociali, dirette, indirette…) nel lungo periodo e di ampio respiro. La maggior competitività delle aziende che hanno beneficiato di quei giovani. Il territorio dei giovani che hanno frequentato il corso più attrattivo per le imprese estere. Livelli di soddisfazione per la vita in quel territorio aumentano. E’ molto difficile programmare gli impatti. L’efficacia relativa agli impatti è detta esterna. La distinzione tra realizzazioni, risultati e impatti non è meramente lessicale: contare quanti giovani hanno partecipato ai corsi di formazione (realizzazione) è molto diverso, sia come obiettivi valutativi sia come procedimenti metodologici da utilizzare, dal verificare quanti giovani hanno trovato lavoro grazie a tali corsi (risultato), e ancor di più dall’analizzare le conseguenze generali per il sistema industriale locale (impatto). Schematizzando: Vi è un confronto tra un contesto che esprime dei bisogni e un’ organizzazione che cerca di darvi risposta; alla luce del filtro dei vincoli e delle risorse (normative, budget disponibile, etc.) si realizzano delle attività tramite attori implicati, procedure adeguate, strumenti messi a disposizione. Ciò determina la produzione di determinate realizzazioni, di successivi risultati e di più generali e lontani impatti. Efficacia (interna ed esterna) ed efficienza fanno riferimento alla connessione tra questi esiti e momenti precedenti della programmazione e dell’implementazione. - Danni dell’incendio - Numero di pompieri - Estensione dell’incendio > L’analisi bivariata è pericolosissima perchè ci verrebbe da dire che aumentando i danni aumentano i pompieri E’ a causa della pornografia e della masturbazione che le donne sono più aperte sessualmente? > E’ anche l’apertura mentale dei genitori Con l’analisi multivariata io posso sterilizzare l’apertura mentale dei genitori → è uguale per tutte le donne (deve essere una variabile che non varia) → non ha alcun effetto Indipendente (è il ricercatore a sceglierle): masturbazione e pornografia Dipendente: comportamenti sessuali disinibiti Non si parla di “correlazione” ma di “associazione robusta” Articolo: relazione tra sexual empowerement e fruizione di pornografia Variabili di controllo: tutte le altre variabili (tra cui la malattia psichiatrica per esempio) Schematizzando: Abbiamo un certo contesto sociale che esprime dei bisogni. Si cerca di dare risposta a un problema sociale. Si decide quali attività fare. Dopo aver deciso l’attività si producono realizzazioni, risultati e impatti. Il legame tra tutti questi esiti e la fase precedente alla programmazione/decisione è l’efficacia. Processi ed esiti. La valutazione si applica ai processi e agli esiti. Due aspetti fondamentali dell’intervento. I processi fanno riferimento all’organizzazione dell’intervento al fine di conseguire gli esiti. Gli esiti sono realizzazioni, risultati e impatti. Si valuta l’intervento in fase di implementazione e dopo di essa. Valutare gli esiti è importante perchè in caso negativo se l’idea era buona può essere stato implementato male l’intervento, oppure l’intervento può essere implementato bene ma non funzionava perchè l’idea era sbagliata. Voglio aumentare la fecondità di un territorio → aumento gli assegni per i figli. Il risultato valutativo deve riflettere sull’idea iniziale, deve portare a cambiare l’idea iniziale. Se la valutazione degli esiti è positiva ma è negativa nella fase dell’implementazione dell’intervento questo ci mostra che c’è ancora un margine di miglioramento. Se i processi ci sono oscuri sarà difficile valutare gli esiti. VALUTAZIONE FORMATIVA e VALUTAZIONE RENDICONTATIVA. Sempre presenti anche se uno tende a prevalere. La valutazione formativa serve affinchè l’evaluando capisca cosa ha funzionato e cosa no, ha quindi sempre scopo formativo. Se ho già avuto un primo valutatore (un mio collega) le critiche che avrei avuto dopo tanti critici sarebbero evitate. Ma questo tipo di valutazione deve essere richiesta dall’evaluando o comunque deve essere super d’accordo. Quella rendicontativa, viene richiesta dall’alto. Lo scopo è sempre giudicare, ma con fini diversi. Se prima era giudicare per migliorare, qui è giudicare per distribuire premi e punizioni. Questo tipo di valutazione è generalmente imposta da Stato o organizzazioni importanti (regioni). In questa valutazione l’evaluando è chiamato a rendere conto di ciò che ha fatto rispetto a un insieme di responsabilità: economiche e finanziarie, progettuali, etiche, etc. Questo avviene raramente in Italia, ma succede sempre con i fondi europei. L’evaluando deve essenzialmente rendere conto di ciò che ha fatto. Quello che cambia è l’impostazione del processo valutativo. I TEMPI DELLA VALUTAZIONE (DOMANDA ESAME) La valutazione cambia nei diversi momenti in cui si articola l’intervento. - Valutazione ex ante degli impatti: prima della decisione e dell’implementazione. Si valuta ex ante quelli che potrebbero essere gli impatti. Permette di costruire scenari. Non c’è ancora un’idea iniziale ben precisa. Permette di costituire scenari generali per evidenziare possibili pregi e difetti. - Valutazione ex ante dei risultati: si è stabilita una strategia. Voglio intervenire sulla disoccupazione dei giovani → stimo gli effetti di breve, medio e lungo periodo, avendo già chiarito gli scenari possibili. - Valutazione ex ante dell’implementazione: appena prima di partire con l’intervento. Immediatamente prima di avviare la fase operativa. Verifico che le modalità con cui pianifico l’intervento funzionano al meglio, stabilisco come deve avvenire l’intervento, non penso più agli impatti o ai risultati. Verifico le modalità concrete dell’implementazione. Valutazione durante il ciclo di vita di un intervento: - Valutazione in itinere: valutazione continua giorno per giorno mano a mano che l’intervento continua. Valuta gli eventuali imprevisti. - Valutazione intermedia: non è un’attività continua ma un momento specifico per fare il punto e correggere eventuali errori, intervenire in caso di effetti inattesi. Valutazione effettuata a conclusione dell’intervento: - Valutazione ex post delle realizzazioni: si effettua a intervento concluso. Si valuta efficienza e efficacia interna. - Valutazione ex post dei risultati: si aspetta più tempo. Valutazione dell’efficacia esterna. - Valutazione ex post degli impatti: aspetto ancora più tempo e analizzo le più generali ricadute dell’intervento. IL DISEGNO DELLA RICERCA QUALITATIVA Come si effettua concretamente una valutazione. Un percorso/progetto di valutazione che lega diversi attori (stakeholders: chiunque abbia un interesse nei confronti dell’intervento come beneficiari e finanziatori) che hanno a che fare con l’attività che si sta mettendo in atto al contesto in cui si effettua l’intervento. Questo è il disegno della ricerca valutativa. E’ composto da nove fasi, si può sempre tornare indietro come in tutte le ricerche qualitative (in quelle quantitative no): questo perché il processo è sistemico e dinamico. Illustrare le nove fasi del processo valutativo (possibile domanda aperta esame) 1) Definizione del mandato: fase fondamentale di ogni processo valutativo. Bisogna “annusare l’aria che si respira attorno all’intervento”. Chi sta chiedendo la valutazione? Chi sono gli stakeholders che gravitano attorno all’intervento? E’ necessario fare una ricognizione di tutti gli attori sociali che sono coinvolti nell’intervento. Capire il puzzle relazionale e istituzionale in cui il valutatore deve muoversi. Qual è lo scopo della valutazione? Il valutatore può decidere di rifiutare una certa valutazione. Uno dei grandi problemi è la deontologia professionale: il valutatore va a occuparsi di un intervento pubblico che quindi va a influenzare la vita della collettività (beneficiari ma anche non, perchè l’intervento sfrutta le risorse che sarebbero potute essere impiegate per altre cose). Il valutatore deve essere capace di dire di no. Bisogna capire chi è il committente, quali sono le sue intenzioni e quali effetti avrà la sua valutazione. A livello metodologico succede una cosa importante: ci sono delle conseguenze, ovvero il conferimento dell’autorità al valutatore da parte del committente. Se il valutatore non ha autorità sull’evaluando è STRATEGIE DI RICERCA VALUTATIVA E LA MAPPA DELLE TECNICHE Strategie di ricerca sono diverse modalità di rilevazione dei dati che rivelano un approccio alla ricerca molto precisa. Prima scelta: strategia sperimentale e strategie non sperimentale. La controfattualità: un servizio funziona bene, ma cosa sarebbe successo se quel servizio non avesse funzionato (sono domande a cui è difficile trovare risposta → uso una strategia sperimentale → faccio un esperimento e supero il problema della controfattualità). Gruppo di controllo (gruppo che non sottopongo all’esperimento) e gruppo sperimentale (gruppo che sottopongo all’esperimento). Si usa questa procedura nel campo medico. Individuo le differenze. Il problema più grosso della ricerca sperimentale è individuare con cura i membri dei due gruppi. Dovrebbero avere caratteristiche identiche ad eccezione della sottoposizione al trattamento perchè se sono differenti anche per altre caratteristiche potrebbero influenzare gli effetti del trattamento. Se in un gruppo sperimentale che si sottopone alla vaccinazione anti COVID-19 per esempio ci sono soggetti più giovani di 5 anni rispetto a quelli del gruppo di controllo questo creerebbe confusione perché non si saprebbe più se questi non contraggono il covid perché sono più giovani o perché hanno fatto il vaccino. La ricerca sperimentale è molto difficile nelle scienze sociali perché ci sono molte più variabili che possono influire sui soggetti. Consumo pornografia e masturbazione: variabili indipendenti Tutte le altre: variabili dipendenti In gruppo sperimentale e gruppo di controllo tutte le variabili dipendenti devono essere le medesime in tutti i soggetti → ANALISI MULTIVARIATA Come faccio ad ottenere membri del gruppo uguali? Estraendoli casualmente. Può capitare che ci siano differenze perché sono stato sfortunato, però se ci si basa sull’assegnazione casuale è abbastanza difficile che il risultato sia deludente e posso prevedere il margine di errore. Qualunque altro modo di estrarre i membri dei gruppi implica più errori che estrarli casualmente. Tecnica utilizzata dal Prof negli articoli: big net, brevi storie a cui vengono sottoposti gli intervistati. Le storie sono diverse in modo casuale. Guardo qual è l’effetto delle diverse storie. “Immagini questa situazione, si vuole trasferire con la sua famiglia in un quartiere con alto grado di popolazione straniera residente, si trasferisce lo stesso?”. Racconto la stessa storia a una famiglia marocchina che decide lo stesso di trasferirsi. La storiella raccontata è scelta in modo causale. Se in un questionario viene chiesto “Andresti a vivere vicino a dei marocchini?” è difficile che risponda di no, raccontando la storiella è più probabile che emergano risposte a rischio di sgradibilità sociale. Il trattamento tra gruppo di controllo e gruppo sperimentale consiste nella modalità di sottoposizione alla domanda. Differenza tra tipologia (insieme di tipi) e tipo (uno solo). In un’intervista discorsiva l’intervistatore può prendersi un appunto e fare un’altra domanda che magari in un primo momento non voleva fare. Nel questionario questo non può succedere, come anche nell’intervista strutturata. In ogni caso non si può mettere tra le risposte una risposta che l’intervistato non ha dato. Un altro problema di una ricerca sperimentale è un problema etico: non si può negare l’accesso a un servizio a qualcuno. Oltre a ciò, si aggiungono costo e difficoltà nell’organizzazione degli esperimenti che fanno sì che la strategia sperimentale sia poco utilizzata. Strategia standard: fa riferimento a quelle modalità di ricerca conosciute come tecniche quantitative. Standardizzazione delle procedure e direttività (e invasività) da parte del ricercatore. Nel questionario viene fornito in maniera sempre uguale a prescindere da precedenti risultati o caratteristiche varie. La risposta del rispondente è in qualche modo costretta perché può scegliere da un ventaglio di risposte scelta da chi redige il questionario. Anche una cosa apparentemente semplice come scegliere il sesso per l’intervistato risulta difficile, quindi ad oggi si sceglie di aggiungere l’opzione “Altro” o “Preferisco non rispondere”. Facendo un questionario alle forze dell’ordine questa aggiunta non viene fatta perchè si presuppone abbiano una certa forma mentis che non prevede una terza opzione. Strategia non standard: è basata in modo molto minore sulla standardizzazione delle procedure anche in un’intervista discorsiva la traccia c’è, ma può essere cambiata quanto si vuole. Non c’è una direttività da parte dell’intervistatore, l’intervistato può rispondere quello che gli pare. Strategia multicriteri: si utilizzano elementi di analisi diversi all’interno della stessa analisi valutativa. Per esempio mettiamo dentro elementi economici, fisici, di qualità e altri ancora comunicabili in maniera diversa. La strategia multicriteri è dunque una strategia di integrazione di dati di formato e di unità di conto diversi, che possono essere raccolti attraverso metodi quantitativi o qualitativi. Mixed method: strategia di integrazione dei dati con metodi qualitativi e metodi quantitativi è una cosa molto complessa. Le tecniche basate su un criterio unico o sono qualitative o sono quantitative. La mappa delle tecniche. Servono a raccogliere le informazioni. Ciascuna tecnica ha i suoi metodi di rielaborazione. I dati su cui è basata la ricerca qualitativa si devono basare su tecniche riconosciute dalla comunità scientifica. Le tecniche utilizzate sono le uniche garanti della bontà della ricerca. Per esempio non si può fare ricerca qualitativa tramite l’oroscopo. Tutti i metodi e le tecniche che si usano devono essere validati dalla comunità scientifica. Come si rileva la soddisfazione degli utenti? Questionario con un campione rappresentativo. Se voglio avere una profonda conoscenza della vita degli alcolisti non basta il questionario ma faccio un’intervista discorsiva. Tecniche diverse danno risultati diversi. Nella ricerca sociale, le tecniche utilizzate sono di numero ridotto. Criteri su cui si può stilare una mappa: dati primari (o di primo livello) o dati secondari (o di secondo livello). I primi sono quelli prodotti dai ricercatori, i secondi provengono da fonti e dati già esistenti. La ricerca qualitativa è quasi esclusivamente ricerca primaria, quando si fa ricerca quantitativa si tratta quasi esclusivamente di ricerca secondaria. Altro criterio: unità di ricerca → ricerca sui singoli o ricerca sui gruppi. - Gruppo reale: gruppo di persone nello stesso luogo che interagiscono - Gruppo nominale: gruppo in cui manca l’interazione e a volte manca addirittura la copresenza. Strategia standard basata su dati di secondo livello: analisi costi benefici Strategia standard basata su dati di primo livello: questionario Strategia non standard basata su dati di secondo livello: valutazione tassonomica Strategia non standard basata su dati di primo livello basata sull’interrogazione di individui: intervista biografica Strategia non standard basata su dati di primo livello basata sull’interrogazione di gruppi reali: focus group e brainstorming Strategia non standard basata su dati di primo livello basata sull’interrogazione di gruppi nominali: Analisi Delphi e Nominal Group Tech. QUESTIONARIO Di cosa si tratta? Si può parlare anche di intervista strutturata. Serve per raccogliere dati in un’inchiesta questionaria. Nella ricerca valutativa il questionario viene ampiamente utilizzato in nei casi di analisi dei bisogni, di valutazione dei risultati e degli impatti. Il campione di riferimento deve essere rappresentativo, ovvero riprodurre la distribuzione delle caratteristiche della popolazione di riferimento su scala minore. Redatto sulla base di una sequenza prestabilita di domande fondamentali da sottoporre sempre nello stesso ordine, forma e numero a tutti gli intervistati. Le risposte vengono inserite in codici numerici in una matrice dati. Quest’ultima è un foglio elettronico sulle cui righe sono riportati i codici numerici delle risposte date da ogni singolo individuo (se le unità di ricerca sono gli individui), detto caso; sulle colonne sono riportate le risposte per ogni singola domanda del questionario, dette variabili. Per questa ragione, la matrice è anche detta matrice casi x variabili. Devo trasformare le risposte in numeri. Questa operazione prende il nome di etichette numeriche. Esistono variabili che non richiedono un processo di etichettamento in numero come numero di figli, reddito, lunghezza dell’età lavorativa… Come ci si comporta davanti a una variabile che indica l’area geografica di nascita? Assegno a nord, centro, sud un valore diverso come 1, 2, 3 → davanti a questo genere di variabili posso costruire già una scala numerica oppure costruire una risposta in termini di soddisfazione (molto, abbastanza, poco soddisfatto). Quest’ultimo caso richiede una capacità di estrazione maggiore se chiedo di assegnare un valore. Il vantaggio è che sono domande più concrete. Metto valori più elevati ai gradi di soddisfazione più elevati. I numeri sono delle convenzioni quindi è indifferente usare 1 o 100 a livello statistico. Alle modalità delle variabili assegno un valore numerico. Ogni riga: un caso (individuo, regione…) Ogni colonna: una variabile (sesso, età…) Un questionario può essere somministrato in modo diverso: - faccia a faccia - per telefono - posta tradizionale - via web La presenza dell’intervistatore dipende molto dalla complessità del questionario. Se si salta da una domanda all’altra la presenza dell’intervistatore è necessaria. Per esempio quello sulla sessualità. Una parte di esso è stata somministrata con l’intervistatore faccia a faccia. La seconda parte con domande più invasive è somministrata in assenza dell’intervistatore. Il reddito, la religione e le spiritualità alternative, la sessualità sono tra i temi più delicati che si possono toccare in un questionario. Quando si usa? Molto utilizzato in valutazione, per es. se vogliamo capire gli impatti sui beneficiari durante una valutazione ex post. Nella ricerca qualitativa non è necessariamente inserito in un’analisi campionaria. L’ideale sarebbe fare una ricerca su tutta la popolazione. Il campione non deve essere scelto con criteri specifici. Voglio sapere il grado di soddisfazione dei clienti di un supermercato e vado solo il giovedì mattina: non va bene, perché non è un campione rappresentativo in quanto non tiene in considerazione una grande fetta di popolazione. Non bisogna selezionare solo un certo tipo di persona, il giovedì mattina a fare la spesa ci andranno gli anziani, le legate alla memoria. Quando è possibile è meglio impiegare quantificatori precisi e determinanti. Se il comportamento è molto preciso e molto determinato → domanda precisa (per e. l’atto sessuale, quante volte al mese fa sesso?) Se il comportamento è più generico → domanda generica (per es. pornografia, quanto spesso guarda porno?) Se sono un ricercatore dell’Università di Milano del Sacro Cuore e ti chiedo se credi in Dio il tuo atteggiamento e comportamento è influenzato. Quando si tratta di argomenti sensibili si può manifestare il problema della desiderabilità sociale: l’intervistato tende a rispecchiare l'aspettativa che la società conforme ha nei suoi confronti dando risposte normative a prescindere dalla sua reale posizione. Questo problema non si riscontra solo nel questionario ma in tutte le tecniche qualitative e quantitative in cui il soggetto sa di essere oggetto di ricerca sociale almeno che si tratti di intervista partecipata coperta. Come si risolve il problema? Non si risolve, ma si contiene con alcuni accorgimenti nella stesura delle domande utilizzando alcune accortezze che favoriscono risposte sincere anche quando sono poco o per nulla socialmente accettabili. - Dare molto per scontato che l’intervistato adotti risposte normative in modo che l’intervistato sia incoraggiato a esprimersi liberamente. - Formulare la domanda sottolineando la mancanza di un esplicito consenso per una posizione o per l’altra: fare un incipit alle domande (cosa che in teoria non andrebbe fatto) mostrando tutti e due i lati della medaglia, a volte si può addirittura mettere in bocca la risposta all’intervistato. - Una terza possibilità consiste nel suggerire che l’atteggiamento / comportamento a rischio di risposta normativa non va considerato deviante in quanto piuttosto diffuso Questionario per esponenti di forze dell’ordine: violenza economica, violenza psicologica, violenza fisica quanto sono percepite come violenza sulle donne? Opzioni di risposta: - Non è mai forma di violenza - Dipende dalla situazione - E’ sempre forma di violenza Seconda parte del questionario: fornire un’idea della visione più egualitaria o tradizionalista dell’intervistato sui ruoli di genere. Modalità di risposta a 5. - Evitare termini con connotazioni negative: quanto frequentemente le capita di ubriacarsi/sbronzarsi? → quanto spesso le capita di bere un bicchiere di vino? (ISTAT). L’ISTAT in un’indagine sulla violenza di genere quando chiedeva alle donne se avessero subito violenza dicevano di no, perché era presente la parola “violenza”. Allora si è tolta la parola “violenza”: “è capitato che un uomo l’abbia spaventata tirandole un oggetto addosso?” Un altro elemento di cui tenere conto è l’ordine in cui vengono presentate le domande: si inizia con quelle più semplici per poi procedere con quelle più complesse. Le prime domande devono stimolare l'interesse/curiosità dell’intervistato. Agli esponenti delle forze dell’ordine piace parlare del loro lavoro quindi inizio con quelle, le domande sociodemografiche a volte vengono messe per ultime perchè semplici ma poco stimolanti. Quelle che implicano uno sforzo cognitivo maggiore vanno messe in mezzo. Tre batterie di domande: percezione della violenza sulle donne, punto di vista sui ruoli di genere e … Domande delicate e potenzialmente imbarazzanti vanno messe alla fine così se l’intervistato si irrita almeno abbiamo le informazioni più importanti. Bisogna seguire un criterio logico nella formulazione delle domande: tecnica ad imbuto (prima domande generali poi domande più precise). Generalmente i questionari sono divisi in blocchi per argomento. Finito un blocco si passa al successivo. Il buon ricercatore deve essere metodico, preciso e un po’ ossessivo. Bisogna evitare che le domande abbiano effetti di influenza reciproca: per es. a un cattolico che vuole dare una buona immagine di sè senza che la fede religiosa influenzi la sua opinione sul divorzio uno stratagemma è distanziare le due domande. Il pre test: è l’ultima fase di elaborazione di un questionario il cui scopo è rilevare il maggior numero di errori che andrebbero a inficiare la qualità del dato, una prova generale del questionario. Viene sottoposto a un numero più piccolo di soggetti simili a quelli oggetto di indagine, gruppi ad hoc, viene lasciata un’opzione di risposta in cui segnalare se una domanda non è chiara che poi scomparirà nel questionario vero e proprio, viene lasciato anche uno spazio per i commenti. Il pre test è una versione più lunga del questionario, se si vogliono accorciare i tempi si tolgono poi le domande che si ritengono meno importanti. Un’ora/un’ora e mezza è la durata massima di un questionario in presenza dell’intervistatore. 20 minuti per uno autocompilato. Ci può essere anche un secondo pre test calibrato sull'efficienza del primo. Il ricercatore si da una tempistica che non è detto che vada rispettata. Garbage in, garbage out: agli errori del questionario non si può rimediare una volta sottoposto. Anche in una semplice domanda quale quella sullo stato civile si possono nascondere delle insidie: se si lascia la risposta “separato” e “convivente” una persona che è entrambi non sa cosa rispondere. Vedovo, divorziato, celibe o nubile (domanda filtro) → attualmente si trova in una coppia? (domanda condizionata). “Quale opzione descrive meglio il suo stato civile?” descrive meglio, ma è comunque ingannevole perchè uno che legge “separato” può cliccare direttamente lì senza vedere il “separato convivente”. In alcuni casi per evitare di essere troppo generici è meglio fare una domanda in più. E’ meglio avvisare l’intervistato della durata di un questionario così che si possa fare un’idea. Nei questionari online è sempre bene lasciare la possibilità di salvare le risposte. Nei questionari online ti esce direttamente la matrice dati quindi sono più comodi per il ricercatore che in questo modo non deve trascriverla lui manualmente. La cosa migliore è che tutti gli esponenti delle forze dell’ordine rispondano al questionario nello stesso momento, ma separatamente in modo che si possano parlare solo a questionario ultimato. Per i questionari online si utilizza Google Form o Lime Survey. Non far girare i questionari tramite social perché a causa della cosiddetta “bolla informativa” le risposte potrebbero essere molto simili tra loro. Questionario comportamenti sessuali: commento. Domanda E. 1: PARTE AUTOCOMPILATA quindi ha già risposto a delle domande, questa è la prima delle domande delicate. Funziona come contenuto? “Affettività e sentimento” ne avrei messo uno solo. Manca il punto centrale: andava fatta da 0 a 10, non da 1 a 10. Domanda formulata male perché il piacere fisico può essere molto generico (piacere fisico anche mentre mangio o faccio attività fisica, non rimanda dunque immediatamente al sesso) → Meglio “Quanto è soddisfatto della sua vita sentimentale e quanto della sua vita sessuale?” “In tutta la vita le è mai capitato di…?” Risposte: Sì spesso, Sì qualche volta, Quasi mai, No mai. Domanda E.20: le è mai capitato fare giochi erotici anche con violenza fisica? lo scopo è quello di andare a individuare comportamenti sadomaso. Non è una domanda accogliente a causa della parola “violenza fisica”. Quell’’anche’ se vogliamo è più accogliente. Domanda formulata meglio “Le è mai capitato fare giochi erotici tra adulti consenzienti che presuppongono infliggere dolore come fonte di piacere?” Domanda E.16: pratiche sessuali considerate attraenti. Le ha praticate? Le trova attraenti? Tiene conto di due aspetti. Il problema è che non viene specificata la frequenza. Ricevere stimoli sessuali sui genitali: non viene specificato se da un uomo o da una donna. Se si vuole sapere se ha avuto rapporti sessuali con più persone è poco importante chiedere se lo si ha fatto tramite scambio di coppie o in gruppi di più di 3 persone. → si poteva evitare la prima domanda. “State chiedendo al vostro interessato di utilizzare molti cucchiai di energia cognitiva” ANALISI DEI DATI Variabili. - Concetto: il significato dei segni linguistici e delle immagini mentali che hanno gli oggetti. Etimologicamente sta ad indicare il modo in cui ordiniamo il molteplice sotto un unico atto di pensiero. - Ipotesi: proposizione (frase) che implica la relazione tra uno o più concetti. Per far sì che le ipotesi che derivano dalla teoria possano essere testate su dei dati i concetti devono essere operativizzati e avviene così la traduzione empirica della teoria. La teoria è basata sul concetto, nel momento in cui la teoria va a testare dei dati i concetti vanno tradotti in variabili. Partecipazione religiosa (teoria) come faccio ad arrivare ai dati? In ricerca quantitativa si parla di oggetti di studio, in ricerca qualitativa si parla di soggetti. Gli oggetti sono le cose che vogliamo studiare. Operativizzazione di un concetto: tre fasi 1) Applicare i concetti a oggetti concreti che si intende studiare: nascono così le proprietà, concetto associato all’oggetto. Questo oggetto prende il nome di unità di analisi. Le proprietà assumono stati diversi a seconda degli oggetti-unità di analisi a cui si riferiscono. 2) Dare alla proprietà una definizione operativa, ossia stabilire le regole per testarla empiricamente sui dati. 3) Applicare la definizione operativa ai casi concreti studiati: è questa la fase dell’operativizzazione in senso stretto: la definizione operativa viene fatta a tavolino, l’operativizzazione è la sua traduzione pratica Le proprietà assumono sull’oggetto stati diversi (la partecipazione religiosa non è sempre la stessa): i diversi modi in cui si può esprimere quella proprietà. Dobbiamo dare alla proprietà una definizione operativa: per esempio il numero di volte all’anno in cui si va a messa. Definizione operativa dell’istruzione: titolo di studio (più elevato) raggiunto, anni passati nel sistema istruzione Terza fase: una volta decisa la definizione operativa la si applica ai concetti studiati (operativizzazione). Una volta operativizzate le proprietà diventano variabili (con quanta frequenza → 1 volta all’anno, 2 volte all’anno…) una variabile (=titolo di studio). Le frequenze cumulate hanno senso escludendo le due estreme, la prima e l’ultima. Con le frequenze retro cumulate si ragiona al contrario. Sono le percentuali di casi che appartengono a quella categoria e, non a quella precedente ma, a una successiva. Per calcolare la percentuale di casi che possiede licenza elementare tolgo a 100 la percentuale di senza titolo: 100 - 2,5 = 97,5 appartiene alla categoria di persone che possiede almeno la licenza elementare o a una successiva. Il 55,1% degli individui ha almeno la licenza media. E’ molto utile indicare sempre il numero di casi con cui si sta lavorando che si indica con (N) per comunicare lo spessore empirico dei risultati. In questo modo posso calcolare il numero di casi per ciascuna modalità. Quant’è il 2,5% di 1200? 1200:100 x 2,5 I valori caratteristici. Descrivono determinati aspetti della distribuzione di frequenza. La prima famiglia sono le misure di tendenza centrale. Se ho un campione di popolazione che va da 0 a 80 anni e ho una riga per persona non ci capisco niente. I valori caratteristici sono sicuramente più parsimoniosi ma sono anche più approssimativi cioè descrivono determinate caratteristiche e non altre. - Le misure di tendenza centrale indicano la modalità della variabile attorno a cui i casi tendono a gravitare. Ce ne sono varie: - La moda: può essere utilizzata con tutte le variabili (nominale, ordinale e cardinale) anche se viene utilizzata principalmente con le nominali. E’ la modalità della variabile in cui ricadono più casi (alla quale è associata la maggiore frequenza), quella che va più di moda. - La mediana: modalità in cui ricade il caso che si trova al centro della distribuzione di casi. Taglia a metà la distribuzione dei casi (stessa quantità sopra di lui e sotto di lui). Si usa con le variabili ordinali e cardinali. Per il reddito si guarda più la mediana, perché a differenza della media non è influenzata dai valori estremi. - La media aritmetica: è la somma dei valori assunti dalla variabile su tutti i casi divisa per il numero di casi in formula. Si può usare solo esclusivamente con le variabili cardinali (e con quelle quasi cardinali). Esempio slide: la moda è 21, la mediana è 39, la media è 38 Il caso mediano è quello che cade al centro: devo guardare la percentuale cumulata. Devo beccare il caso che ha lo stesso numero di casi sopra e lo stesso numero di casi sotto. Quello più vicino al 50%. Se si tratta di una variabile cardinale faccio la media dei valori e quella è la mediana, con quelle ordinali ho due mediane. Ma i casi rispetto a questa modalità in cui gravitano come sono distribuiti? Es. 2 persone una di 6 anni e una di 4 anni (misura di variabilità molto contenuta), la media dell’età di queste due è 5 che è la stessa di due persone che hanno 10 e 0 anni (la misura di variabilità è elevata). - Misure di variabilità (valori caratteristici che segnalano la tendenza centrale di una distribuzione nulla e ci dicono circa il modo di collocarsi delle altre modalità rispetto a questo centro di gravità): - Differenza interquartile: (si usa per variabili ordinali o cardinali) quartili sono le modalità di una variabile che dividono la variabile in questione in 4 gruppi di uguale numerosità. Ho bisogno di 3 valori. Il primo quartile avrà il 25% di casi sotto di sè, e il 75% di casi sopra di sè, il secondo il 50% sopra e sotto (= la mediana), il terzo ha al di sotto il 75% dei casi. Differenza tra il terzo quartile e il primo (75%-25%). Più la differenza è grande più vuol dire che il primo caso e il terzo sono distanti tra loro. Distribuzione A Centro-sinistra: primo quartile, centrodestra: terzo quartile, Distribuzione B sinistra: primo quartile, destra: terzo quartile. I decili invece sono nove modalità che dividono la distribuzione di casi in dieci gruppi di uguale numerosità. - Scostamento semplice medio: la somma dei valori assoluti degli scarti della media divisa per i numeri di casi. Lo scarto dalla media è la distanza che c’è in ciascun caso tra il valore di quel caso e la media. Per ogni valore è possibile calcolare lo scarto dalla media. (spiegazione formula:) La sommatoria per tutti i casi della variabile per ciascun caso meno la media fratto il numero di casi. Si prendono gli scarti della media e si fa la loro media sommandoli e dividendoli per il numero di casi. Se i casi sono tutti vicini il numero che otterrò sarà piccolo. Calcolo tutti gli scarti, li sommo e li divido per il numero di casi. Che cos’è il valore assoluto? Serve ad evitare che gli scarti dalla media si annullino tra di loro. Il valore assoluto di -1 è 1 e di +1 è sempre 1, in questo modo gli scarti non si annullano più. Calcoliamo lo scostamento semplice medio del bambino di 4 anni in cui la media è 5 → 1, del bambino di 6 anni è sempre 1, sommiamo → 2, dividiamo per il numero di casi totali → 2 : 2 = 1 Altro caso: 0-5 = - 5 valore assoluto → 5, 10-5 = 5 (anni) - Varianza: calcoliamo lo scarto dalla media di ciascun caso e lo si eleva al quadrato (quindi si ottiene un numero sempre positivo). Invece che sommare i valori assoluti sommo i quadrati degli scarti dalla media. Campione 0 e 10. Il primo ha uno scarto dalla media di -5 che al quadrato è 25, il secondo è 5 che elevato al quadrato è sempre 25, 25+25 = 50 divido per 2, e ottengo 25 che è la varianza. La varianza è la media dei quadrati degli scarti dalla media. Prendo gli scarti li elevo al quadrato e faccio la media dividendoli per il numero di casi. La varianza non viene usata molto nell’analisi monovariata perché elevando al quadrato non ho in mano il valore reale. - Deviazione standard: radice quadrata della varianza (= della media dei quadrati degli scarti dalla media). Una volta calcolata la varianza riporto questa misura nell’ordine di grandezza della media estraendo la radice quadrata. Bisogna fare attenzione ad una cosa: finora abbiamo confrontato due campioni diversi. Non è detto che le due distribuzioni abbiano la stessa unità di misura, e anche se fosse la stessa unità di misura può essere che abbiano grandezze molto diverse. Un campione che va da 0 a 100 è chiaramente più disperso di uno che va da 0 a 10. In questo caso devo guardare il coefficiente di variazione (altra misura di variabilità) che divide la deviazione standard per la media. La standardizzazione. Fa parte di un insieme di procedure di normalizzazione dei dati. La standardizzazione è quella più importante. Significa trasformare i dati che ho in un insieme di valori numerici di più facile interpretazione. La si usa solo per le variabili cardinali. Trasforma i dati in punti standard che hanno il vantaggio di non risentire né dell'unità di misura delle variabili nè della tendenza centrale e neanche della sua variabilità. La standardizzazione consiste nel normalizzare i dati rispetto alla media e poi si normalizzano i risultanti scarti rispetto alla deviazione standard. Per ciascun valore della standardizzazione sottraggo la media e divido per la deviazione standard. Questo valore prende il nome di valore standardizzato. Tutti i dati standardizzati hanno una media pari a 0 e deviazione standard pari a 1. Sono tutti perfettamente controllabili, hanno la stessa unità di misura, la stessa tendenza centrale e la stessa variabilità. I valori standardizzati esprimono lo scostamento dalla media di una determinata variabile in numero di deviazioni standard della stessa variabile. Analisi bivariata: discorso introduttivo. Uno degli obiettivi della ricerca sociale è il controllo empirico di ipotesi precise, ipotesi che generalmente vengono espresse mediante una proposizione che mette in relazione due o più variabili: ciò non è possibile con l’analisi monovariata che considera solo una variabile alla volta. Tempo dedicato al lavoro domestico e condizione occupazionale sono due variabili in relazione tra loro. Per testare le ipotesi è necessario introdurre il concetto di analisi bivariata che tiene conto di due variabili per volta. Ma l’analisi bivariata è solo il punto di partenza, analizzare solo due variabili per volta può essere molto riduttivo: la realtà sociale è multivariata. L’analisi bivariata si basa sull’esame delle distribuzioni di frequenza congiunte: l’incrocio di due distribuzione di frequenza semplice. La distribuzione di frequenza congiunta ci dice come varia una variabile al variare di un’altra variabile. Es. orientamento religioso e partito votato. Distribuzione di frequenza congiunta: i due totali sono i “marginali” (di riga e di colonna). Quello che ci interessa è quello che succede dentro la tabella. So come votano i vari gruppi religiosi e so che religione professano gli elettori dei vari partiti. Cosa di cui non avrei idea se guardassi unicamente le distribuzioni di frequenza monovariata. Il controllo empirico di due ipotesi consiste nell’esaminare una distribuzione di frequenza congiunta: - forma di relazione: quello che ci dice la relazione. “I cattolici tendono a votare per il partito verde” - eventuale segno: nel nostro esempio non c’è. E’ presente solo nelle relazioni tra variabili cardinali o ordinali. Se all’aumentare del valore di una variabile aumenta anche il valore dell’altra → relazione positiva, se al variare del valore di una variabile l’altra variabile varia in direzione opposta → relazione negativa - forza di una relazione tra due variabili (massima, minima o nulla): può avere intensità diverse. Sarebbe massima se tutti i cattolici votassero per il partito rosso. Scenario alquanto improbabile. La forza della relazione sarebbe minima se i cattolici votassero poco più degli altri per il partito rosso. Questi tre aspetti possono essere accertati tramite particolari tecniche statistiche. Tuttavia la ricerca sociale è ambiziosa, quindi non basta descrivere in termini matematico-statistici un fenomeno. Si vuole trovare il nesso di causalità tra una variabile e l’altra. Correlazione: due variabili variano nello stesso momento Causazione: faccio notare a Ilaria che si stava toccando i capelli e lei si imbarazza Bisogna stabilire qual è la direzione causale di una relazione tra le variabili. Rapporto causa-effetto: esistenza di un nesso tra gli eventi per cui la manifestazione di un determinato evento è la conseguenza diretta e necessaria della manifestazione di un altro evento. Non basta dire che un evento si manifesta quando si verifica un altro evento ma bisogna anche saper dire perchè quell’evento si verifica → individuare il meccanismo causale: ossia specificare attraverso quali processi la supposta causa produce il supposto effetto. A differenza di quanto avviene per la forma e per la forza, le tecniche di analisi statistica non permettono di stabilire la direzione causale di una relazione. Il meccanismo causale ce lo spiega la teoria sociologica. Come si legge la tabella di contingenza età - pratica religiosa: il 24,4% degli individui tra i 18 e 34 anni è praticante, questa percentuale fa registrare un incremento molto modesto di tre punti tra la fascia di età 35-54 e aumenta in modo molto più netto di ulteriori 14 punti percentuale nella categoria di età over 54, inoltre i non praticanti sono il 46,5% dei 18-34 percentuale che rimane sostanzialmente stabile diminuendo solo di due punti percentuale tra i 35-54 e che diminuisce di ulteriori 6 punti percentuali tra gli over 54, quindi all’aumentare dell’età, aumenta la pratica religiosa. Spiegazione della lettura: si leggono le modalità estreme della variabile indipendente (i praticanti e i non praticanti), perché abbia senso leggere le due modalità estreme devo avere una variabile indipendente con più di due modalità. Prima regola: leggere le modalità estreme (almeno che la variabile indipendente sia formata solo da due modalità in quel caso se ne può leggere una sola). Si parte o dall’alto o dal basso (meglio dall’alto). Quando tra i non praticanti la percentuale rimane pressoché invariata in analisi dei dati non vengono presi in considerazione più di tanto. Per commentare le percentuali e dire che c’è una differenza dai 3 punti in su. “Lieve” crescita tra i praticanti 18-34 e 35-54. Nel campione una piccola differenza potrebbe essere causale o perché ho estratto male, mentre in una popolazione vera e propria anche una piccola differenza fa la differenza. La differenza tra percentuali si calcola in punti percentuali. “Il 24,4% dei 18-34 è praticante, percentuale che aumenta di 3,2 punti percentuali tra i 35-54 e ulteriori 14 punti negli over 54” → quei 14 punti sono rispetto al 27,5%. Il 24,4% dei 18-34enni NON DEI PRATICANTI Quando si interpreta la tabella all’esame leggere solo le modalità estreme. Se fossero variabili nominali le dovrei guardare tutte. Le percentuali di colonna ci dicono quanto praticano i vari gruppi di età. Percentuali di riga: divido il valore della cella per il suo totale di riga e moltiplico per cento. Ci dice quanti anni hanno le varie categorie “praticanti”, “saltuari” e “non praticanti”. Devo avere però lo stesso numero di praticanti, saltuari e non praticanti altrimenti non funziona. Per ottenere gruppi di età delle stesse dimensioni calcolo le percentuali. Qui posso confrontare le percentuali in colonna. Questa tabella non va bene a confrontare le percentuali di praticanti tra giovani o anziani, posso sapere solo che età hanno i vari gruppi di pratica religiosa. Si può operare la cosiddetta analisi per profili. Il 31% dei praticanti è giovane, quindi i giovani sono sottorappresentati tra i praticanti. Gli anziani tra i praticanti sono sovrarappresentati rispetto alla popolazione se ne deduce che gli anziani sono più praticanti dei giovani. Quando utilizzo l’analisi per profili? Nel caso io abbia informazioni parziali. Percentuali sul totale: si prende il totale del mio campione o popolazione (2486). Divido il valore di ciascuna cella per il totale e moltiplico per cento. Ottengo la percentuale della popolazione di ciascun … Qui lo posso dire il 9,0% dei 18-34enni è praticante. Le percentuali sul totale servono quando metto in relazione la stessa variabile in due momenti diversi → effetti della rottura del matrimonio sulla vita sociale degli individui (in particolare, la partecipazione associativa). Le banche date longitudinali sono quei dati raccolti da interviste sugli stessi intervistati in diversi momenti della loro vita. Dati raccolti prima della separazione e dopo la separazione. In questo caso le percentuali sul totale mi possono servire. In primo luogo guardo i dati sulla diagonale. 8 individui su 10 non cambiano la loro partecipazione associativa. Nella maggioranza dei casi la partecipazione associativa rimane invariata. Le tavole di mobilità sociale sono altre tabelle su cui sono utili le percentuali sul totale. Quando non è possibile individuare con chiarezza variabile indipendente e variabile dipendente è utile calcolare la percentuale di riga e la percentuale di colonna. Es. orientamento religioso e orientamento politico (non si può sapere quale sia quella che influenza l’altra). Nella maggioranza dei casi è possibile individuare quale sia quella dipendente e quella indipendente. REGOLE IMPORTANTISSIME: - SI CALCOLA LA PERCENTUALE DI COLONNA SE SI VUOLE ANALIZZARE L’EFFETTO CHE HA LA VARIABILE POSTA IN COLONNA SULLA VARIABILE POSTA IN RIGA. - SI CALCOLA LA PERCENTUALE DI RIGA SE SI VUOLE ANALIZZARE L’EFFETTO CHE HA LA VARIABILE POSTA IN RIGA HA SULLA VARIABILE POSTA IN COLONNA. SI DEFINISCE QUAL E’ LA VARIABILE INDIPENDENTE E SI PERCENTUALIZZA SEMPRE LA VARIABILE INDIPENDENTE. Il coefficiente di correlazione: le tavole di contingenza funzionano molto bene per le variabili nominali e ordinali, ma non per quelle cardinali. Il primo passo per capire la relazione tra due variabili cardinali le rappresento graficamente con diagramma di dispersione con un piano cartesiano. Asse orizzontale delle ascisse e asse verticale delle ordinate. Valore della variabile indipendente sull’asse orizzontale, quello della dipendente sull’asse verticale. Es. Asse orizzontale: tasso di occupazione femminile, asse verticale: tasso di separazione. L'unità di analisi sono le regioni italiane. Ho assunto che la variabile indipendente sia il tasso di occupazione femminile. Il tasso di occupazione femminile influenza l’instabilità sentimentale perché le donne sono così più libere anche economicamente di lasciare il proprio partner. Visto che la nuvola si alza tendenzialmente mi dice che all’aumentare del tasso di occupazione femminile aumenta il tasso di instabilità coniugale. Le regioni con il tasso di occupazione più alto sono anche quelle con il tasso di instabilità coniugale più alto. I due tassi variano in modo sistematico. La nuvola di punti parte dall’angolo in basso a sinistra all’angolo in alto a destra. La disposizione dei punti ci dice che la variazione è tendenzialmente lineare. Si possono trovare dei casi anomali che si comportano in modo un po’ diverso dagli altri: uno di questi per esempio è il Lazio che ha un tasso di occupazione centrale rispetto alle altre regioni, ma ha un tasso di separazione molto elevato (il secondo dopo la liguria). Un altro caso strano sono le marche che hanno un tasso di occupazione femminile molto alto e un tasso di separazione molto basso. Perchè? Per la forte aderenza alla fede cattolica di questa regione. Questa è la forma della relazione (la vediamo dal grafico: è una forma lineare). Per misurare la forza ho bisogno del coefficiente di correlazione: (non è necessaria all’esame) si parte dalla covarianza delle due variabili in esame. La media degli scostamenti di ciascuna variabile dalla sua media, poi standardizzata (guarda slide ma non lo chiede all’esame). Il coefficiente di correlazione varia tra 0 e +/-1, +1 in caso di relazione positiva perfetta (caso rarissimo, vuol dire che hai sbagliato qualcosa), - 1 in caso di relazione negativa perfetta, 0 in caso di assenza di relazione. Nelle scienze sociali una correlazione attorno a +/ 0,2 è considerata modesta, attorno a +/ 0,4 buona, attorno a +/ 0,7 ottima. I pregi del coefficiente: è un numero puro che non risente dell’unità di misura delle variabili, non dipende dalla numerosità campionaria, variando tra 0 e +/-1 è abbastanza facile interpretarlo, tuttavia ha alcuni limiti: misura solamente le relazioni lineari, se tra le variabili c’è una relazione non lineare non la vede e mi indica l’assenza di relazione. Esempi: relazione lineare positiva : 0,74 Relazione lineare negativa : - 0,81 Nessuna relazione: 0,03 Relazione curvilinea: 0,06 Interpretazione tabella fiducia nel Parlamento: il titolo di studio (variabile indipendente) influenza la fiducia nel Parlamento (variabile dipendente, Y). Il 67% percento di chi ha licenza elementare o media inferiore ha una bassa fiducia nel parlamento, percentuale che si riduce lievemente di 3 punti percentuali tra chi ha un diploma di scuola superiore, e di ulteriori 8 punti percentuali tra chi ha la laurea o più. Il 10% di chi ha una licenza elementare o media inferiore ha un’alta fiducia nel parlamento, percentuale che aumenta di 11 punti percentuale tra chi possiede un diploma di scuola superiore e di ulteriori 7 punti tra chi ha la laurea o più. All’aumentare del titolo di studio aumenta la fiducia nel Parlamento. Interpretazione tabella sesso - tempo libero giornaliero: sesso variabile indipendente, tempo libero giornaliero variabile dipendente. Il 25% dei maschi ha meno di 30 minuti liberi, percentuale che aumenta notevolmente di 31 punti percentuali tra le femmine. Il 37% dei maschi ha oltre un’ora di tempo libero al giorno, percentuale che cala di 20 punti percentuali tra le femmine. Dunque, i maschi hanno più tempo libero delle femmine. Interpretazione tabella classe - grado di accordo con l’affermazione “è lecito fare sesso con una persona anche se non si è innamorati”: il 21% di chi appartiene a una classe sociale bassa è d’accordo con l’affermazione, percentuale che si alza di 12 punti percentuali tra chi appartiene a una classe sociale media e di ulteriori 13 punti tra chi apartiene a una classe sociale alta. Il 79% di chi appartiene a una classe sociale bassa non è d’accordo con l’affermazione, percentuale che cala di 12 punti percentuali tra chi appartiene a una classe sociale media, e di ulteriori 13 punti tra chi appartiene a una classe sociale alta. Dunque, all’aumentare della classe sociale aumenta il grado di accordo con l’affermazione. Domande: quant’è nel campione in totale la percentuale di individui che è d'accordo con questa affermazione? Il 36% Qual è la percentuale di individui di classe sociale alta d’accordo con l’affermazione? Non lo so da questa tabella, perché abbiamo percentualizzato per colonna. Tabella area geografica di nascita (indipendente, in riga quindi si percentualizza in riga) - frequenza alla preghiera (dipendente, in colonna): l’11% degli individui nati al Nord prega più volte a settimana, questa percentuale aumenta di 5 punti percentuali tra i nati al centro e di ulteriori 6 punti percentuali tra chi è nato nel mezzogiorno. Il 61% di chi è nato al Nord prega meno spesso di una volta a settimana, questa percentuale si riduce di 10 punti percentuali tra chi è nato al Centro e di ulteriori 11 per chi è nato al Sud. La frequenza alla preghiera è più bassa al Nord italia, dunque chi è nato al Nord prega di meno di chi è nato al Sud. Orientamento politico (indipendente) - fiducia nell’UE (dipendente): il 23% delle persone di sinistra ha una bassa fiducia nell’UE percentuale che aumenta di 14 punti percentuali tra chi è di centro e che aumenta di ulteriori 18 punti percentuali tra chi è di destra. il 45% di chi è di sinistra ha un’elevata fiducia nell’UE, percentuale che diminuisce di 13 punti percentuali tra chi è di centro, e di ulteriori 12 punti percentuali tra chi è di destra. Dunque chi ha una tendenza a un orientamento politico di sinistra ha una maggiore fiducia nell’UE rispetto a chi un orientamento politico di destra. Percezione di sicurezza nella zona in cui si vive (dipendente) e età (indipendente): il 22% delle persone che hanno un’età inferiore ai 30 anni ha una bassa percezione di sicurezza nella zona in cui vive, la percentuale aumenta di 5 punti percentuale per le persone tra i 30-39 anni, di ulteriori 8 tra i 40-49 anni, di ulteriori 9 tra i 50-59 anni, e di ulteriori 12 sopra i 60 anni. Il 47% delle persone che hanno meno di 30 anni hanno un’elevata percezione di sicurezza nella zona in cui vive, percentuale che diminuisce di 6 punti percentuali tra chi ha tra 30-39 anni, di ulteriori 9 punti tra chi ha tra 40-49 anni, di ulteriori 7 tra chi ha 50-59 anni, e di ulteriori 7 punti tra gli over 60. Dunque, all’aumentare La rilevazione dei concetti complessi. La ricerca sociale si interessa molto ai concetti complessi quindi si usano altri concetti con portata più limitata (indicatori), in un questionario standardizzato possiamo avere delle domanda che non sono altro che definizioni operative di concetti che ci servono per rilevare concetti complessi (scaling) che funziona attraverso batterie di domande di un questionario, item, che sono la traduzione operativa di più indicatori di un concetto più generale. Rilevazione del tradizionalismo nei ruoli di genere: tutte domande che girano attorno allo stesso argomento. Ogni intervistato risponde alle domande collocandosi attorno a una modalità di accordo o disaccordo. Se voglio ottenere un’unica variabile per un’analisi più parsimoniosa uno dei modi più diffusi per sintetizzare è la somma di batterie di item per avere una scala additiva, la scala Lickert. Ciascuna batteria della scala Lickert presenta 5 modalità di risposte, si sommano tutti i valori numerici e otteniamo un valore che va da 6 a 30 (massimo valore di tradizionalismo). Oltre alla somma si può fare anche la media. Per costruire un indice vanno condotti dei controlli di omogeneità e attendibilità della batteria tramite analisi degli elementi e analisi fattoriale. Queste tecniche esulano dagli argomenti trattati nel corso. La gestione dei “non so”. Pro: gli individui non sanno tutto e non hanno necessariamente un’opinione su tutto. Contro: i non so sono problematici da trattare in analisi dei dati. Le opzioni sono diverse posso non mettere i “non so” così da forzare l’intervistato a sapere. In questo modo però si vengono a produrre delle pseudo opinioni. Si deve presentare l’opzione centrale neutrale? E’ una categoria assimilabile con "né d'accordo nè disaccordo”. SI perchè mi da un’idea anche di chi un’idea non ce l’ha, NO perché porta spesso a scegliere questa opzione per evitare di esporsi con la propria opinione. Quale delle due è preferibile? L'opzione neutrale favorisce la veridicità del dato perché evita le pseudo opinioni e dà la possibilità di rispondere a chi si trova in una posizione intermedia. Questa però è una facile scappatoia a chi non ci vuole pensare, è una comoda via di fuga. E’ meglio offrire l’opzione neutrale anche se si rischia la via di fuga. Meglio la via di fuga che la pseudo opinione. Quante modalità di risposta utilizziamo per rilevare i concetti complessi? Come ci si orienta nella scelta? Il numero di categorie di risposta è proporzionale al numero di informazioni sul concetto complesso che si vogliono ricavare. Se ti servono tante domande non dare troppe opzioni di risposta perché si va ad aumentare lo sforzo cognitivo. Se si chiede un impegno cognitivo troppo gravoso si rischia che si risponda a casaccio e si vada a inquinare le risposte o a interrompere il questionario. Al crescere delle domande è bene diminuire le opzioni di risposta. Ho due opzioni: - offrire molte opzioni di risposta - fare molte domande con poche opzioni Si utilizzano le domande con 5 opzioni di risposta. Il response set è una distorsione che si può venire a creare nel momento che all’interno di batterie di item lunghe e complesse l’intervistato potrebbe rispondere sempre nello stesso modo, a prescindere dal contenuto della domanda, per pigrizia, stanchezza o perché incerto sulla domanda in questione. Come si agisce per evitarlo? Spezzare le batterie più lunghe e alternare gli argomenti (così facendo però si va a penalizzare la struttura logica del questionario, ma si stimola di più l’interesse). Fare attenzione alla polarità delle risposte: per come le domande sono costruite io posso avere che un individuo con idee coerenti che deve rispondere che è in accordo con alcune cose e in disaccordo con altre. Quando c’è una serie di “accordo” inizia a rispondere “accordo” a prescindere, per evitare ciò è necessario distribuire le domande in modo che in alcune sia in accordo e in altre siano in disaccordo. Come si fa? Cambiando la formulazione della domanda. Altro esempio di response set: sindrome dell'acquiescenza (yeasaying) porta alcuni intervistati a dire sempre di sì. Persone semplici e poco istruite vogliono dare ragione all’intervistatore. E’ bene formulare la domanda in modo che sia l’intervistato a rispondere spontaneamente. Per evitare di suggerire un’opzione di risposta meglio una domanda molto generale o che mostri entrambi i lati della medaglia. Analisi costi-benefici. Estremamente complessa. Tecnica valutativa più antica, la prima che è stata utilizzata. I presupposti sono: - stimiamo costi complessivi di un intervento - stimiamo benefici complessivi di quell’intervento - differenza tra costi e benefici Quando ci sono più proposte di intervento ed è possibile finanziarne solo alcune si scelgono quelle con benefici netti (= migliore rapporto costi/benefici). Non necessariamente si deve scegliere quello con il beneficio netto maggiore, dipende dai criteri di scelta. Si possono avere dei benefici netti negativi per la società nel suo complesso ma positivi per le fasce più deboli. Quando si usa? Nella valutazione ex ante. Per progetti infrastrutturali pubblici, di medie e piccole dimensioni. E‘ necessario costruire una strada che collega due località è possibile costruire tre diverse strade: Tra i costi si dovranno considerare - la manodopera e i materiali necessari alla costruzione della strada, gli eventuali costi dell’acquisto dei terreni su cui passerà la strada, i costi della futura manutenzione, eventuale deprezzamento dei terreni circostanti. Tra i benefici - il valore economico del flusso di traffico che beneficerà della strada, il valore dell’eventuale valorizzazione turistica della zona, l’eventuale apprezzamento dei terreni circostanti. I benefici sono benefici non guadagni o ricavi. L’analisi costi-benefici si applica per progetti finanziati con fondi pubblici. Gli effetti attesi non necessariamente porteranno a un guadagno, ma devono mirare all’interesse pubblico più generalmente inteso. L’analisi costi-benefici compara due insiemi che sono molto eterogenei tra di loro. Come faccio a metterli a confronto? La soluzione è quella di esprimere tutti i costi e tutti i benefici in termini monetari. Ci sono dei casi in cui non fare niente è la scelta migliore. La logica su cui si muove l’analisi costi-benefici è realista e economica, poco sensibile alla soggettività e ai valori. In termini schematici: - si identificano gli interventi da analizzare - si determinano gli effetti (positivi e negativi, attuali e futuri) - si fa una valutazione in termini monetari degli effetti - calcolo il beneficio netto - decido i criteri di scelta (non sempre orientati verso il beneficio netto maggiore) Occorre identificare gli effetti positivi e negativi più importanti. E’ molto difficile capire quali saranno tutti i risultati di un intervento. Sta al ricercatore dire quanto un risultato è importante. I criteri di selezione degli effetti possono essere svariati e influenzati dal valutatore, dal contesto culturale e valoriale, da implicazioni politiche di talune scelte, etc. La monetarizzazione dei costi e benefici: è la parte più complicata. Va confrontato al prodotto netto, se mira a beni e servizi che non ci sono devo guardare al valore globale se invece vado a guardare beni e servizi già esistenti il valore va calcolato come differenza con il valore di questi. Il valore non è semplicemente il prezzo di mercato corrente, ma quello che può raggiungere nel corso degli interventi pluriennali. Bisogna fare riferimento al bene/servizio corretto dal tasso di sconto. Va considerata la disponibilità a pagare che è molto difficile da rilevare. Se risulta complesso ricorrere al valore di mercato, si può fare riferimento al costo opportunità, il valore che avrebbe quello stesso elemento se destinato a un uso diverso. Un esempio della criticità dell’analisi costi-benefici. RICERCA QUALITATIVA: INTERVISTA DISCORSIVA Il buon ricercatore qualitativo deve essere empatico, creativo e reattivo. Il muro della statistica “protegge” la ricerca quantitativa dai dilettanti allo sbaraglio, la ricerca qualitativa è basata in larga misura sull’empatia e l’empatia non si può imparare. Nella ricerca sociale l’intervista discorsiva viene utilizzata per: - intervista biografica: per sollecitare all’intervistato il racconto di una storia - intervista tematica: per capire valori, personalità e interpretazione sociale su un determinato argomento Serve per ricavare informazioni più o meno approfondite dai diversi stakeholder: campione più piccolo ma informazioni più approfondite. Assume due diverse forme a seconda del comportamento dell’intervistatore: - intervista guidata: ha una traccia costituita da una serie di temi che guidano l’intervistato nella costruzione del suo discorso, ciò lascia grande libertà all’intervistatore rispetto all’intervista strutturata o questionario. - intervista libera: presenta il tema del colloquio e si predispone all’ascolto Scelta e reperimento degli intervistati. Da cosa dipende? Dalla domanda di ricerca si deciderà se focalizzare l’attenzione su determinati soggetti piuttosto che altri. Si decide per sesso, età e area geografica di provenienza. La congiunzione di queste caratteristiche porta alla costruzione di determinate tipologie. L’intervistatore deve essere sempre pronto al cambiamento. Difficilmente si va oltre le 100 interviste, il più delle volte sono massimo 50. Saturazione teorica: non si decide prima quante interviste fare ma durante l’indagine si decide che è il momento di smettere perchè le nuove interviste non aggiungono nuova conoscenza sul fenomeno che si sta indagando (essere reattivi). Nulla impedisce di accorpare due o più intervistati se emergono risultati di ricerca simili. Gli intervistati non devono essere tanti, devono essere buoni. Si effettuano interviste anche ai testimoni privilegiati: essi non sono parte della popolazione intervistata ma ne hanno una profonda conoscenza, con collocazione di osservazione privilegiata rispetto al mio interesse. L’intervista dei testimoni privilegiati è fondamentale nella ricerca qualitativa. Come trovarli? Qui entra in gioco l’altra caratteristica fondamentale del ricercatore qualitativo: la creatività. In alcuni casi mettersi in contatto non è semplice. Se devo svolgere - nella valutazione ex post per confrontare dati con esperti esterni al gruppo che ha valutato per una metavalutazione Favorisce la stimolazione di stakeholders con idee diverse, crea un clima favorevole alla valutazione, favorisce un processo formativo per gli attori coinvolti. Diverse forme di focus group: Differenze di composizione del gruppo (conoscenza pregressa e omogeneità per es, per caratteristiche socio demografiche) e grado di intrusività del moderatore (lascia più o meno libertà ai partecipanti). La forma più diffusa è quella in cui il moderatore indirizza attivamente la discussione (segue una scaletta). Si utilizza un focus autogestito quando mi interessa di più l’interazione, se invece do maggiore importanza ai materiali seguo la scaletta. I partecipanti del focus non si conoscono nella maggior parte dei casi, ci sono più garanzie in termini di anonimato. E’ meglio che siano abbastanza omogenei: persone diverse ma gruppi simili. Con individui più simili tra loro la partecipazione è più facile e non si rischia che ci siano casi che si auto-escludano. Per studiare una piccola comunità bisogna capire se mettere nel focus persone con grado di subordinazione formale (tipo responsabile e suo sottoposto) sia utile. La selezione dei partecipanti: diverse strategie di campionamento. E’ meglio che i membri del focus non si conoscano altrimenti si verifica il cosiddetto campionamento a valanga oppure possiamo chiedere ai testimoni privilegiati. Un’altra strategia è reclutare i partecipanti in uno dei luoghi che so essere frequentato da individui con le caratteristiche di interesse. Questo però può essere deviante: se voglio intervistare donne disoccupate e vado nei centri per l’impiego trovo solo donne disoccupate che non hanno lavoro e lo stanno cercando.Gli inattivi sono quelli che non lavorano e non stanno cercando lavoro. Un’altra tecnica è il campionamento opportunistico tramite cui l’organizzazione del focus group è associata a qualche altra iniziativa e porta gli individui di interesse ad incontrarsi. In questo modo otteniamo un campione più eterogeneo. Ultima strategia è quella di utilizzare annunci su giornali e riviste e offrire forme di compenso come soldi, buoni benzina, ricariche telefoniche, gift card Amazon, gadget. La questione del compenso è che se per le interviste esso non è indispensabile, per il focus il discorso è un po’ diverso perchè non è più il partecipante a scegliere orario e luogo dell’intervista quindi un incentivo è necessario (10-20 euro). E’ un piccolo rimborso spese. Se diamo gli incentivi si verifica una distorsione nel campione: chi non ha bisogno di quell’incentivo non partecipa. Il rischio è attivare quelle persone più sensibili agli incentivi. Per uno studente universitario 20 euro per 3 ore di focus group non è poco, per un docente universitario è una cifra insignificante. Dipende dal valore che si da al proprio tempo. Annuncio su CronacaQui, giornale molto economico, venduto prevalentemente nei mercati a persone anziane tendenzialmente di destra, se invece lo pubblico su Repubblica l’annuncio arriva a persone liberali di sinistra. Bisogna stare attenti alla cosiddetta bolla informativa e, sui social, all’algoritmo. Un buon luogo di campionamento online è marketplace perché è molto eterogeneo, tendenzialmente frequentato da persone di bassa classe sociale, ma non solo. Qualunque strategia di campionamento utilizzata è sicuro che qualcuno non venga, quindi è sempre bene reclutare qualche persona in più. La traccia. Non necessariamente il focus group è guidato. La traccia può essere tutta una serie di domande e stimoli ben precisi oppure una traccia molto meno strutturata. La semplice scaletta agevola la discussione offrendo maggiore libertà, però ha il difetto di penalizzare la comparabilità dei materiali. Quale regola si può utilizzare? Se c’è un moderatore esperto si può utilizzare la scaletta, se invece è meno esperto o ne abbiamo più di uno è meglio utilizzare una traccia più strutturata. La traccia è costituita da una serie di stimoli e domande, al massimo una dozzina, non di più. Evitare doppie negazioni ecc… come per il questionario. Le domande devono essere formulate al plurale. Le prime domande devono essere domande semplici. E’ bene iniziare con delle immagini, perchè stimolerà una persona che tendenzialmente è il leader di quel gruppo e poi inizieranno a parlare tutti gli altri. Le domande più importanti al centro del focus. I partecipanti devono percepire il clima di una chiacchierata informale. Ordine logico percepibile dai partecipanti. Conduzione focus group. Fondamentale affinchè si ottenga un buon esito. Deve esserci buona collaborazione tra moderatore e osservatore. Il moderatore deve essere empatico, capace di ascoltare e capace di gestire un gruppo e le sue dinamiche. Il moderatore non si deve esprimere solo a parole, ma anche con tutti i gesti, cenni del capo, espressioni facciali. Incoraggiare chi cerca di escludersi. Mettere in particolare rilievo le opinioni in rilevanza tale da essere discusse. Osservare come si crea dissenso/consenso. Portare la discussione sul piano concreto. L’osservatore deve prendere nota di tutti i linguaggi non verbali che possono sfuggire al moderatore. Controllare che la discussione non si allontani troppo dalla traccia. Generalmente i focus vengono registrati ma è poi difficile riascoltando capire chi ha detto cosa, quindi si chiede sempre di dire il proprio nome prima di intervenire. Prima o dopo la partecipazione al focus group è bene raccogliere le caratteristiche socio demografiche di maggiore interesse in modo da capire se chi parla è istruito o meno. Si possono usare nomi fittizi. E’ utile un momento di debriefing: momento informale a discussione chiusa, un piccolo rinfresco in cui il moderatore fa una chiacchierata informale con tutti i partecipanti così da raccogliere le opinioni dei partecipanti sul focus, fare il punto della situazione. Durata. Dipende molto dal gruppo. Con gli stakeholder di un intervento può durare anche più di un’ora e mezza trattandosi di professionisti che discutono di argomenti legati alla loro professione. Chiaramente se aumenta la durata diminuirà la concentrazione dei partecipanti. Come si analizzano. Va trascritto come le interviste. Si trascrive il contenuto della discussione, chi ha sostenuto cosa, le forme di consenso e dissenso emerse, le modalità in cui si sono sviluppate le posizioni. Si analizzano con le stesse procedure di analisi che valgono per l’intervista discorsiva. Prima si analizzano singolarmente, poi si confrontano e infine si codificano. Come sono sviluppati i temi di interesse? Secondo una logica sequenziale. Si portano a sostegno degli stralci di focus (senza esagerare!). IL BRAINSTORMING. Molto utilizzato in valutazione, meno in ricerca valutativa. Tecnica di produzione di idee. La caratteristica fondamentale del brainstorming è che viene utilizzato un gruppo di esperti. Nel focus group può essere ma non necessariamente. Ci interessa la qualità delle idee non il processo che ci sta dietro. Coinvolge tra le 6 e 10 persone. Vogliamo capire il “cosa”. Il prodotto finale sono indicatori valutativi che costituiscono tutti gli elementi salienti dell’evaluando. Si fa una ricostruzione dell’evaluando. Un’altra differenza saliente con il focus è che nel focus ci si concentra su un macro argomento quindi la discussione è focalizzata su quell’argomento. C’è solo il ricercatore. Organizzato in tre fasi: Si accolgono i partecipanti e si spiegano le ragioni della riunione e gli scopi del lavoro. Si esplicita una regola: non ci si deve censurare o censurare gli altri. - Fase creativa: si esplicitano le idee che vengono trascritte dal ricercatore mentre tiene d’occhio le dinamiche di gruppo. Rompere il ghiaccio è più facile rispetto al focus group. Ciò va avanti per mezz’ora/un’ora. - Fase classificatoria: dalla verbalizzazione delle idee messe sulla lavagna in modo disordinato si inizia a dare ordine al disordine. Si chiede ai partecipanti di guardare la lavagna, si cerca di unire le idee simili. Ci possono essere tanti metodi di classificazione, il gruppo ne sceglie uno. Definita la prima classe nel quale vengono inserite le prime idee che mano a mano che la classe si riempie possono essere incluse o escluse. Ciò porta via dalla mezz’ora all’ora. - Fase sintetica: si trascrive ciascun gruppo di idee su un foglio e si cerca di sintetizzare le idee. Si lavora insieme per insieme. Per ogni gruppo di idee ce ne possono essere due o tre. La terza fase può durare dai 20 ai 45 minuti. Successivamente può essere utile redigere una scala delle priorità obbligate: costringere i partecipanti a stilare una lista di indicatori gerarchizzati per efficacia e efficienza. I gruppi emersi dal brainstorming sono classificati. Pregi e limiti. Veloce, flessibile e economico. E’ una tecnica autoreferenziale quindi è fondamentale scegliere bene gli esperti. I risultati del brainstorming dipendono dalle competenze del conduttore/ricercatore. Deve avere un oggetto abbastanza circoscrivibile per farsi un’idea precisa su quell’oggetto. ANALISI DELPHI. Gruppo di esperti che non interagiscono tra loro ma è sempre il ricercatore a fare da tramite. Nella versione classica gli esperti non si ritrovano fisicamente in un luogo, ma restano ciascuno nelle loro sedi. Interagiscono con il ricercatore tramite mail e con gli altri membri del gruppo sempre tramite mail. E’ costituita da una serie di stadi uno di seguito all’altro. Per ciascuno stadio il ricercatore fa delle domande agli esperti che rispondono per iscritto. Ricevute le risposte il ricercatore ne fa una sintesi e la rimanda agli esperti. Questa procedura si ripete per tre/quattro round e alla fine il ricercatore pone una domanda molto specifica. Serve per tracciare degli scenari nel breve-medio termine. Prima in ambito militare, poi per sviluppi tecnologici, oggi anche per la valutazione degli interventi. Quando si usa? Solo in alcuni casi ben precisi: quando l’intervento è rilevante e complesso che richiede esperti di chiara fama e spessore. Deve valerne la pena. Il finanziatore della valutazione deve essere noto e prestigioso così da invogliare gli esperti a partecipare all’intervento. Si usa quando si hanno grandi disponibilità economiche. Sono persone estremamente impegnate perché massimi esperti delle tematiche analizzate quindi vanno pagati subito. La nominal group technique: esperti in presenza ma non possono interagire, devono singolarmente esprimere una serie di punteggi su determinati elementi valutativi. Primo stadio dell’analisi delphi: - Selezione e reclutamento degli esperti: il ricercatore deve conoscere chi in Italia o nel mondo si occupa di questi temi o deve svolgere un’analisi bibliografica. Una volta individuati saranno contattati dal ricercatore e informati delle modalità, tempistiche, compenso e modo di erogazione di questo compenso, della ricerca.