Probabilità e Statistica: Introduzione alla Probabilità e Inferenza Statistica, Dispense di Statistica

Scarica Probabilità e Statistica: Introduzione alla Probabilità e Inferenza Statistica e più Dispense in PDF di Statistica solo su Docsity! STATISTICA PARTE SECONDA Statistica: principi e metodi. (Capitolo 12, Introduzione alla probabilità) Probabilità e Statistica  L’Inferenza statistica ha per oggetto l’analisi di dati ottenuti da un campione casuale e si pone come obiettivo quello di dare “validità generale” alle informazioni desunte dal campione.  Ha come base necessaria la teoria della probabilità. Esperimento casuale  Ogni atto o processo la cui singola esecuzione –detta prova – dà luogo a un risultato non prevedibile.  La nozione di singola esecuzione implica che l’esperimento sia ripetibile, o almeno sia concepibile come tale.  I possibili esiti della prova sono definibili in anticipo e sono catalogabili in modo preciso. Spazio campionario ed eventi  Il singolo risultato dell’esperimento casuale si chiama evento elementare.  L’insieme degli eventi elementari viene comunemente chiamato spazio dei risultati o spazio campionario (S).  Si chiama evento un qualsiasi insieme di eventi elementari, ossia un qualsiasi sottoinsieme dello spazio campionario (S). Operazioni su insiemi Dato un insieme A, si chiama insieme complementare di A, l’insieme degli elementi di S che non appartengono ad A. Due insiemi A e B si dicono disgiunti se non hanno elementi in comune. Operazioni su insiemi: Unione Si chiama insieme unione di A e B, e lo si indica con il simbolo A ∪ B, l’insieme costituito da tutti i punti che appartengono ad A, oppure a B, oppure ad entrambi. Formalmente possiamo scrivere: A ∪ B = {x : x ∈ A o x ∈ B}. L’unione tra insiemi può essere generalizzata ad una famiglia di n insiemi A1, A2, …,An  P(S) = 1  P(A) ≥ 0, per ogni A;  P( A1 ∪ A2 ∪ ...) = P( A1) + P(A2) + ... per ogni successione di eventi di S a due a due incompatibili. Probabilità: ulteriori proprietà  P(∅) = 0, essendo ∅ l’insieme vuoto, detto anche evento impossibile;  P(A) ≤ 1, per ogni A;  P(Ā ) = 1 - P(A), per ogni A (regola dell’evento complementare);  P( A1 ∪ A2) = P( A1) + P(A2) - P( A1 ∩ A2), dove A1 e A2 sono due eventi qualsiasi (principio delle probabilità totali o regola della somma). N.B.: queste proprietà si deducono formalmente dagli assiomi di probabilità. Interpretazione della probabilità  definizione classica: La probabilità di un evento A è il rapporto tra il numero dei casi favorevoli al verificarsi di A e il numero totale dei casi possibili, ammesso che questi siano ugualmente probabili.  definizione frequentista: La probabilità P(A) dell’evento A è il limite della frequenza relativa con cui A si verifica in una lunga serie di prove ripetute sotto le stesse condizioni.  interpretazione soggettivista: La probabilità di un evento è il grado di fiducia che un individuo, sulla base delle conoscenze possedute in un determinato momento, assegna al verificarsi dell’evento. Calcolo delle probabilità Quando gli N eventi elementari sono ugualmente probabili, quando cioè pi = 1/N, (i = 1, 2,…,N), la probabilità dell’evento A è {P(A)= frequenza relativa degli eventi elementari contenuti in A}dove n (A) è il numero degli eventi elementari contenuti in A. Probabilità condizionata Se A e B sono due eventi dello spazio campionario S e P (A ) > 0, allora la probabilità condizionata di B dato A è definita come: Dalla relazione precedente ricaviamo: Nota come principio delle probabilità composte o legge del prodotto. Probabilità condizionata: esempio  Qual è la probabilità che lanciando un dado sia uscito 5 sapendo che il risultato è un numero dispari? [evento B condizionato all’evento A] Le probabilità devono essere ridefinite alla luce dell’evento “il risultato è un numero dispari” (A) e riscalate in modo da ottenere somma 1 (evento certo) Indipendenza Dall’ultima equazione si deduce che la probabilità dell’evento intersezione di due eventi indipendenti può essere scritta nella forma: P (A ∩B ) = P (A)P (B ), Statistica: principi e metodi. (Capitolo 13, Variabili casuali) Variabile casuale L’espressione variabile casuale (v.c. per brevità) indica una quantità il cui valore dipende dall’esito di un esperimento casuale. L'attributo "casuale" rinvia al fatto che essa è generata da un esperimento casuale di cui non siamo in grado di prevedere l'esito con certezza. Dizioni equivalenti a v.c. sono variabile aleatoria e variabile stocastica. Variabili casuali Una v.c., X, è una funzione, definita nello spazio campionario S, che, ad ogni evento elementare e di S, associa uno ed un solo numero reale, X (e ) = x . x è una determinazione della variabile casuale X. Variabili casuali discrete o continue  Una variabile casuale discreta può assumere un insieme discreto (finito o numerabile) di numeri reali.  Una variabile casuale continua può assumere tutti i valori compresi in un intervallo reale. Variabili casuali discrete: funzione di probabilità La funzione di probabilità di una variabile casuale discreta X è la legge che associa ad ognuno dei valori x, che la v.c. X può assumere, la corrispondente probabilità P(X=x) f (x ) =P (X =x ). Al singolo valore x della v.c. X si associa la probabilità dell’unione degli eventi elementari a cui il valore x è associato. La funzione di probabilità gode delle seguenti proprietà: Variabili casuali discrete: distribuzione di probabilità Lo schema con cui si associano ai valori di X i rispettivi livelli di probabilità va sotto il nome di distribuzione di probabilità Valore di X x1 x2 … xi … Probabilità p1 p2 … pi … Funzione di ripartizione di una variabile casuale discreta  Un modo alternativo di descrivere una v.c. discreta è tramite la funzione di ripartizione che associa ad ogni x la somma delle probabilità corrispondenti a x e a tutti i valori inferiori STATISTICA PARTE SECONDA Statistica: principi e metodi. (Capitolo 12, Introduzione alla probabilità) Probabilità e Statistica  L’Inferenza statistica ha per oggetto l’analisi di dati ottenuti da un campione casuale e si pone come obiettivo quello di dare “validità generale” alle informazioni desunte dal campione.  Ha come base necessaria la teoria della probabilità. Esperimento casuale  Ogni atto o processo la cui singola esecuzione –detta prova – dà luogo a un risultato non prevedibile.  La nozione di singola esecuzione implica che l’esperimento sia ripetibile, o almeno sia concepibile come tale.  I possibili esiti della prova sono definibili in anticipo e sono catalogabili in modo preciso. Spazio campionario ed eventi  Il singolo risultato dell’esperimento casuale si chiama evento elementare.  L’insieme degli eventi elementari viene comunemente chiamato spazio dei risultati o spazio campionario (S).  Si chiama evento un qualsiasi insieme di eventi elementari, ossia un qualsiasi sottoinsieme dello spazio campionario (S). Operazioni su insiemi Dato un insieme A, si chiama insieme complementare di A, l’insieme degli elementi di S che non appartengono ad A. Due insiemi A e B si dicono disgiunti se non hanno elementi in comune. Operazioni su insiemi: Unione Si chiama insieme unione di A e B, e lo si indica con il simbolo A ∪ B, l’insieme costituito da tutti i punti che appartengono ad A, oppure a B, oppure ad entrambi. Formalmente possiamo scrivere: A ∪ B = {x : x ∈ A o x ∈ B}. L’unione tra insiemi può essere generalizzata ad una famiglia di n insiemi A1, A2, …,An  P(S) = 1  P(A) ≥ 0, per ogni A;  P( A1 ∪ A2 ∪ ...) = P( A1) + P(A2) + ... per ogni successione di eventi di S a due a due incompatibili. Probabilità: ulteriori proprietà  P(∅) = 0, essendo ∅ l’insieme vuoto, detto anche evento impossibile;  P(A) ≤ 1, per ogni A;  P(Ā ) = 1 - P(A), per ogni A (regola dell’evento complementare);  P( A1 ∪ A2) = P( A1) + P(A2) - P( A1 ∩ A2), dove A1 e A2 sono due eventi qualsiasi (principio delle probabilità totali o regola della somma). N.B.: queste proprietà si deducono formalmente dagli assiomi di probabilità. Interpretazione della probabilità  definizione classica: La probabilità di un evento A è il rapporto tra il numero dei casi favorevoli al verificarsi di A e il numero totale dei casi possibili, ammesso che questi siano ugualmente probabili.  definizione frequentista: La probabilità P(A) dell’evento A è il limite della frequenza relativa con cui A si verifica in una lunga serie di prove ripetute sotto le stesse condizioni.  interpretazione soggettivista: La probabilità di un evento è il grado di fiducia che un individuo, sulla base delle conoscenze possedute in un determinato momento, assegna al verificarsi dell’evento. Calcolo delle probabilità Quando gli N eventi elementari sono ugualmente probabili, quando cioè pi = 1/N, (i = 1, 2,…,N), la probabilità dell’evento A è {P(A)= frequenza relativa degli eventi elementari contenuti in A}dove n (A) è il numero degli eventi elementari contenuti in A. Probabilità condizionata Se A e B sono due eventi dello spazio campionario S e P (A ) > 0, allora la probabilità condizionata di B dato A è definita come: Dalla relazione precedente ricaviamo: Nota come principio delle probabilità composte o legge del prodotto. Probabilità condizionata: esempio  Qual è la probabilità che lanciando un dado sia uscito 5 sapendo che il risultato è un numero dispari? [evento B condizionato all’evento A] Le probabilità devono essere ridefinite alla luce dell’evento “il risultato è un numero dispari” (A) e riscalate in modo da ottenere somma 1 (evento certo) Indipendenza Dall’ultima equazione si deduce che la probabilità dell’evento intersezione di due eventi indipendenti può essere scritta nella forma: P (A ∩B ) = P (A)P (B ), Statistica: principi e metodi. (Capitolo 13, Variabili casuali) Variabile casuale L’espressione variabile casuale (v.c. per brevità) indica una quantità il cui valore dipende dall’esito di un esperimento casuale. L'attributo "casuale" rinvia al fatto che essa è generata da un esperimento casuale di cui non siamo in grado di prevedere l'esito con certezza. Dizioni equivalenti a v.c. sono variabile aleatoria e variabile stocastica. Variabili casuali Una v.c., X, è una funzione, definita nello spazio campionario S, che, ad ogni evento elementare e di S, associa uno ed un solo numero reale, X (e ) = x . x è una determinazione della variabile casuale X. Variabili casuali discrete o continue  Una variabile casuale discreta può assumere un insieme discreto (finito o numerabile) di numeri reali.  Una variabile casuale continua può assumere tutti i valori compresi in un intervallo reale. Variabili casuali discrete: funzione di probabilità La funzione di probabilità di una variabile casuale discreta X è la legge che associa ad ognuno dei valori x, che la v.c. X può assumere, la corrispondente probabilità P(X=x) f (x ) =P (X =x ). Al singolo valore x della v.c. X si associa la probabilità dell’unione degli eventi elementari a cui il valore x è associato. La funzione di probabilità gode delle seguenti proprietà: Variabili casuali discrete: distribuzione di probabilità Lo schema con cui si associano ai valori di X i rispettivi livelli di probabilità va sotto il nome di distribuzione di probabilità Valore di X x1 x2 … xi … Probabilità p1 p2 … pi … Funzione di ripartizione di una variabile casuale discreta  Un modo alternativo di descrivere una v.c. discreta è tramite la funzione di ripartizione che associa ad ogni x la somma delle probabilità corrispondenti a x e a tutti i valori inferiori Funzione di densità di variabili casuali continue  Una v.c. continua viene descritta tramite la funzione di densità.  Una funzione f (x) è una funzione di densità se è non negativa e se l’area che essa sottende è pari a 1:  La probabilità che X assuma valori all’interno di un qualsiasi intervallo (a, b) è: La probabilità che la v.c. assuma un particolare valore dell’intervallo è zero. La f(x) non dà la probabilità di x, ma è proporzionale alla prob. che x ricada in un intervallo infinitesimale centrato su x. Funzione di ripartizione per variabili continue  La definizione di funzione di ripartizione per le v.c. continue simile al caso discreto.  Data una v.c. continua X, la funzione che fa corrispondere ai valori x le probabilità cumulate P(X≤ x) viene detta funzione di ripartizione. Valore atteso e deviazione standard di una v.c. continua La media e la varianza di una v.c. continua sono espresse dagli integrali hanno la stessa struttura delle formule viste per le v.c. discrete (considerando che l’integrale è una “somma nel continuo”). Disuguaglianza di Chebyshev Sia X una variabile v.c. qualsiasi con media μ e varianza σ 2. Sia δ > 0 una quantità prefissata. Allora vale la disuguaglianza La disuguaglianza può essere scritta come: Variabili casuali doppie discrete  Dato uno spazio campionario S, si chiama variabile casuale doppia discreta la coppia di v.c. casuali discrete (X, Y), che si ottiene associando a ogni evento elementare dello spazio campionario una coppia di numeri reali (x, y).  È possibile assegnare a ogni coppia (x, y) una probabilità espressa dalla funzione di probabilità congiunta: che gode delle due ovvie proprietà: Distribuzione doppia di probabilità  Quando ci si riferisce alla tabella a doppia entrata con cui si fa corrispondere a ciascuna coppia (x, y) la pertinente probabilità si usa l’espressione distribuzione doppia di probabilità.  La funzione di probabilità congiunta si rappresenta su un sistema di tre assi cartesiani: i punti del piano rappresentano le coppie (x, y), mentre con la terza coordinata si rappresentano le probabilità associate ai singoli punti del piano. Funzioni di probabilità marginali  Data la funzione di probabilità congiunta f (x,y), è possibile pervenire alle funzioni di probabilità delle singole v.c., dette funzioni di probabilità marginali, nel modo seguente  La media e la varianza della distribuzione marginale di X sono date da  In modo analogo, possiamo scrivere la media e la varianza e della distribuzione marginale di Y. Coefficiente di correlazione lineare di Bravais Data una distribuzione doppia di probabilità descritta dalla funzione di probabilità congiunta f (x,y), si chiama covarianza la quantità Il coefficiente di correlazione lineare di Bravais tra X e Y è dato da ρ assume valori nell’intervallo [–1, 1]. Variabili casuali doppie continue  La funzione f (x,y) assume il significato di funzione di densità congiunta.  Dal punto di vista geometrico, la funzione di densità congiunta è rappresentata da una superficie.  La funzione di densità marginale fX (x) si può dedurre da f (x,y), integrando rispetto a y. Analogo discorso vale per la densità marginale fY(y). Statistica: principi e metodi ( Capitolo 14, Alcuni particolari modelli probabilistici) v.c. discrete: Variabile casuale di Bernoulli La v.c. di Bernoulli è una variabile casuale discreta che possiamo associare ad una prova nella quale interessa se un evento A si verifica (c‘è un successo) oppure no (c‘è un insuccesso). A e sono i possibili esiti di un esperimento a due alternative, denominati “successo” e “insuccesso”. Si indichi con p la probabilità del successo e con 1-p la probabilità dell’insuccesso. Si definisce la variabile casuale associando il numero 1 all’evento A e il numero 0 all’evento : X(A)=1; X( )=0 Si avrà P(1)=p; P(0)=1-p v.c. discrete: Variabile casuale di Bernoulli Si dice che la variabile casuale X ha distribuzione di Bernoulli di parametro p (0≤p ≤ 1), X ∼ Ber(p), se ha distribuzione di probabilità La media e la varianza della v.c. di Bernoulli sono date da: v.c. discrete: Distribuzione binomiale La distribuzione binomiale è la legge di probabilità che regola il numero di successi in una successione di prove indipendenti effettuate tutte nelle stesse condizioni sperimentali, cioè con la stessa probabilità di successo p in ciascuna prova. Consideriamo una successione di n prove a ciascuna delle quali associamo una variabile casuale di Bernoulli Xi (i = 1,2,…, n) che ne rappresenti l'esito. Xi =1 se si verifica il successo, Xi =0 se non si verifica. Supponiamo che le variabili Xi siano indipendenti e che P(Xi = 1) = p e P(Xi = 0) = 1 -p La distribuzione di probabilità della v.c. “numero di successi (x) in n prove indipendenti su un esperimento bernoulliano” in cui la probabilità del successo è p, è una binomiale di parametri p e n La distribuzione di probabilità della v.c. binomiale è data da La media e la varianza della v.c. binomiale sono date da: La v.c. Bernoulliana ha distribuzione binomiale con n=1. v.c. discrete: Distribuzione di Poisson La distribuzione di Poisson trova applicazione quando il fenomeno aleatorio è costituito dal conteggio del numero di volte che si presenta un evento casuale in uno specifico intervallo di tempo, o in una data area o in altro contesto. Il modello è appropriato quando la probabilità del verificarsi dell’evento casuale è molto piccola (legge degli eventi rari). La v.c. di Poisson, è una v.c. discreta descritta dalla seguente funzione di probabilità Funzione di densità della v.c. normale La funzione di densità consente di calcolare la probabilità che la v.c. assuma valori all’interno di un qualsiasi intervallo (a, b): tale probabilità è data dall’area sottesa alla curva normale in detto intervallo. Funzione di ripartizione della v.c. normale È la probabilità: F (x ) = P (X < x ) Graficamente F(x) è rappresentata dall’area sottesa alla curva normale da - ∞ fino a x. La funzione di ripartizione consente anche di calcolare i quantili della distribuzione normale. Variabile casuale normale standardizzata Se X è una v.c. normale N(μ, σ 2), allora la v.c. standardizzata corrispondente, data da ha distribuzione normale con media 0 e varianza 1. Inoltre, vale l’identità ??????? dove Φ(·) è la funzione di ripartizione della v.c. normale standardizzata. Quantili della v.c. normale standardizzata  Il problema inverso consiste nella determinazione del valore di Z a cui corrisponde un livello assegnato, p, della funzione di ripartizione (cioè dell’area sottesa alla curva a sinistra di z): P(Z < z) = Φ(z) = p.  Si tratta di trovare il punto sull’asse delle ascisse tale che l’area sottesa alla curva fino a quel punto sia pari al valore assegnato p. Statistica: principi e metodi ( Capitolo 15, Popolazione, campione e distribuzioni campionarie) Inferenza statistica  È l’insieme dei metodi e delle tecniche con cui “si fa luce” su uno o più parametri della popolazione generatrice, utilizzando i dati di un campione casuale.  Inferenza statistica: indurre o inferire le proprietà di una popolazione (parametri) sulla base dei dati conosciuti relativi ad un campione (statistiche)  Due sono i percorsi tipici dell’inferenza statistica: la stima dei parametri e la verifica delle ipotesi. Esempi di inferenza statistica es1. Proiezioni Elettorali. Supponiamo di voler prevedere chi vincerà le prossime elezioni comunali in un paese in cui si presentano solo due liste civiche A e B. Siamo interessati a stabilire quale sia stata, nella popolazione degli elettori, la proporzione π di coloro che hanno votato per la lista A e la proporzione 1-π di coloro che hanno votato per la lista B. Prima di effettuare lo spoglio completo delle schede elettorali, per avere una valutazione del risultato in tempi rapidi, si può stimare la proporzione π considerando un sottoinsieme delle schede e calcolando la frequenza relativa dei voti assegnati ad A in questo campione. es2. Studi Biometrici. Supponiamo di voler stabilire l'altezza media delle ragazze immatricolate in un corso di laurea molto numeroso. Si considera un sottoinsieme della popolazione femminile del corso di laurea e su ciascuna unità selezionata si rileva il carattere di interesse. Attraverso la media aritmetica dei valori osservati dei dati così raccolti (ad esempio) si può stimare l'altezza media μ incognita di tutta la popolazione. es3. Studi di Affidabilità. Per valutare la durata media di vita di prodotti elettronici, un campione di prodotti viene messo in funzione e, per ciascun oggetto coinvolto nell'esperimento, viene registrato il tempo che intercorre fino alla sua ≪rottura≫. La media dei tempi di vita del campione puo essere impiegata per stimare il tempo di vita medio μ dei prodotti considerati. es4. Prove Cliniche. Lo studio dell'efficacia di nuovi farmaci viene effettuata con esperimenti chiamati prove cliniche. Non potendo somministrare un nuovo farmaco a tutti i soggetti che ne necessitano, il farmaco viene assunto da un numero limitati di pazienti. Viene quindi misurato l'effetto sperimentale su tutti i soggetti del campione. Con questi valori rilevati si stima l'effetto incognito del farmaco. Campionamento da popolazioni finite Esiste una popolazione costituita da un numero finito di individui chiaramente individuabili ed etichettabili. La popolazione di riferimento preesiste all'osservazione che fornisce i dati campionari. (es1. elettori del paese; es2. studentesse del corso di laurea) Selezionando opportunamente una piccola parte di individui, si rileva su di questi il carattere di interesse. (es1. voto; es2. Altezza). La caratteristica di interesse nella popolazione, che vogliamo stimare sulla base delle informazioni parziali che si ottengono dal campione, prende nome di parametro (es1. proporzione; es2. media.) Popolazione finita ed estrazione a sorte di un’unità Si consideri una popolazione di N unita, dove il carattere X di interesse presenta k modalita x1, x2, …, xk con frequenza relativa f1, f2, …, fk . Esempio: controllo di accettazione in un’azienda: X = numero di difetti presenti nei semilavorati di un lotto di numerosita N Se si assume di estrarre a sorte un’unità dalla popolazione, il carattere per quell’unita diventa una variabile casuale X che puo assumere i valori x1, x2, …, xk con probabilita p1, p2, …, pk , dove pi= fi, Esempio: estrazione di un semilavorato dal lotto Popolazione finita e v.c. associata all’estrazione a sorte di un’unità L’estrazione a sorte di un’unità da una popolazione di N unità genera una v.c. la cui distribuzione di probabilità è identica alla distribuzione di frequenza relativa del carattere nella popolazione. Le costanti caratteristiche (media, mediana, deviazione standard) della v.c. X sono uguali a quelle del carattere X nella popolazione. Popolazione finita e campione casuale (semplice con ripetizione) Se si pensa di ripetere n volte l’estrazione, con reinserimento, di un’unita dalla popolazione, ad ognuna di queste n estrazioni sara associata una v.c. Xi, i=1,...,n. Siccome l’estrazione e con reinserimento, le n v.c. Xi sono indipendenti e hanno tutte la stessa distribuzione di probabilita. Le n v.c. X1, X2, …, Xn sono indipendenti ed identicamente distribuite (i.i.d.) Campionamento da popolazioni teoriche (o da variabili casuali o da modello) I dati sono generati da un esperimento e non esisterebbero senza di questo es3.: l'esperimento consiste nel mettere in funzione i prodotti elettronici di cui si vuole studiare la durata di vita; es4. l'esperimento consiste nel somministrare al paziente il farmaco oggetto di studio e nel rilevare la risposta del soggetto allo stesso. Il risultato dell'esperimento è di tipo aleatorio governato da una legge di probabilità. Es3. la v.c. è la durata di vita delle componenti messe in funzione; es4. la v.c. è l'effetto del farmaco. L'obiettivo dell’esperimento è di produrre dei dati con cui poter valutare gli aspetti non noti delle leggi di probabilità che governano i fenomeni di interesse. Il parametro è rappresentato dall'aspetto non noto della legge di probabilità. es3. il parametro incognito è il valore atteso della v.c. durata di vita; es4. Il parametro è il valore atteso della v.c. effetto del farmaco. Popolazione teorica e v.c. associata ad un esperimento clinico Supponiamo di considerare un esperimento clinico per valutare l’effetto di una determinata terapia in termini di guarigione. L’esito dell’esperimento sul singolo Spazio campionario  Dato il campione casuale X1, X2,…,Xn composto da n v.c. i.i.d., si denomina campione osservabile una specifica realizzazione del campione casuale, ossia una n-upla di numeri che indichiamo con ( x1, x2,…,xn).  Tutti i possibili campioni osservabili costituiscono lo spazio campionario. Statistiche campionarie Si chiama statistica campionaria o variabile casuale campionaria una qualsiasi funzione delle v.c. X1, X2,…,Xn che compongono il campione casuale. T=T(X1, X2, …, Xn ) Ogni statistica campionaria, quale funzione di v.c., e una variabile casuale. La distribuzione campionaria di una statistica e la distribuzione di probabilita (caso discreto) o di densita di probabilita (caso continuo) dei valori che la statistica assume nello spazio campionario. Media campionaria e varianza campionaria Due statistiche di particolare rilievo per l’inferenza statistica sono la media campionaria e la varianza campionaria. La media campionaria e espressa da: La varianza campionaria e data da Valore atteso e varianza di una statistica campionaria Siccome le statistiche campionarie sono delle variabili casuali che presentano una distribuzione di probabilità (caso discreto) o di densità di probabilità (caso continuo) nello spazio campionario, è possibile definite il valore atteso e la varianza della statistica campionaria. La varianza è una misura del grado di variabilità della statistica campionaria, cioè del grado medio di "oscillazione" della statistica intorno al suo valore atteso. Media e varianza della media campionaria Si può dimostrare che il valore atteso e la varianza della media campionaria sono date da: essendo μ e σ 2 la media e la varianza della popolazione generatrice X. Media e varianza della media campionaria Il valore atteso della media campionaria coincide con la media della popolazione. La varianza della media campionaria, interpretabile come la media delle oscillazioni Distribuzione campionaria della media quando la varianza non è nota Sia data una popolazione generatrice normale con media μ. Siano la media e la varianza di un campione casuale di ampiezza n. Allora la v.c. standardizzata è una v.c. descritta dalla funzione di densità t di Student dove b è una costante positiva e r = n − 1 indica il numero dei gradi di libertà. La v.c. t di Student La distribuzione presenta le proprietà di seguito indicate.  È simmetrica.  Tende alla normale standardizzata al tendere di n a infinito. Il caso dei grandi campioni Siano la media e la varianza di un campione casuale di ampiezza n estratto da una popolazione qualsiasi con media μ. Allora, se n è sufficientemente grande, il rapporto è una v.c. che ha distribuzione prossima alla normale N(0, 1). Statistica: principi e metodi (Capitolo 16: Stima puntuale dei parametri) Stima puntuale  Si affronta il problema di come scegliere lo stimatore più “conveniente” per attribuire un valore ad un parametro θ di interesse nella popolazione.  L’aggettivo “puntuale” viene impiegato per distinguere questo problema dalla stima per intervallo, con cui ci si pone l’obiettivo di individuare un intervallo che contenga al suo interno il parametro θ. Sia X una v.c. che rappresenta un carattere che si distribuisce su una popolazione. Supponiamo che la v.c. sia definita da una funzione di probabilità F(x,θ) dipendente dal parametro incognito θ. Sia X1 , X2 ,…,Xn un campione di dimensione n e sia x1 , x2 ,…,xn il corrispondente campione osservato. Spazio campionario e spazio di un generico stimatore T Non distorsione della media, della proporzione e della varianza campionarie Errore quadratico medio Per valutare la prossimità di T a θ possiamo usare l’errore quadratico medio (mean square error) . L’errore quadratico medio dello stimatore T di θ è il valore atteso del quadrato dell’errore di stima MSE(T)=E[(T-θ)^2] e può essere scritto anche come MSE(T)=Var(T)+[D(T)]^2 Var(T) =E[T-E(T)]^2 è la varianza dello stimatore T, D(T)=E(T)-θ è la distorsione. Se lo stimatore è non distorto, l’errore quadratico medio dello stimatore coincide con la varianza dello stesso stimatore D(T)=0⇒ MSE(T)=Var(T) Stimatori corretti e MSE  Nella figura sono riportate le distribuzioni campionarie di due stimatori corretti.  Lo stimatore T1 (linea rossa) possiede un errore quadratico medio (ossia una varianza) più piccolo di T2 (linea nera). GAI WMNEDAWME L Li Li L Ea Ca 2; 2; 2; & Slo NONE WwoWwWwowowowo ie o bal: bai GUALWNEGA WIE + RA Esempio 3: errore quadratico della media campionaria per una popolazione finita Campioni di ampiezza 2 estraibili dalla popolazione {1, 2, 3, 4, 5}, avente media u=3, medie campionarie e rrori di stima al quadrato. CREA Di e È CELLE CET I Cc ima DORICO wovovouowo MSE della media campionaria, della proporzione campionaria e della varianza campionaria Poiché gli stimatori godono della proprietà della non distorsione, il MSE è uguale alla varianza degli stimatori. Proprietà asintotiche degli stimatori: consistenza Nella figura che segue è illustrata l’dea di consistenza con riferimento alla media campionaria per campioni provenienti da una popolazione normale di ampiezza 10, 100 e 300. Proprietà asintotiche degli stimatori: consistenza Gli stimatori godono della proprietà della consistenza, sicché possiamo scrivere, formalmente: Statistica: principi e metodi (Capitolo 17, Stima per intervallo) Stima per intervallo Sia X una v.c. che rappresenta un carattere osservato su una popolazione. Supponiamo che la v.c. sia definita da una funzione di probabilità f(x;θ) dipendente dal parametro θ incognito. Sia X1, X2, …, Xn un campione di dimensione e x1, x2, …, xn il corrispondente campione osservato.  Obiettivo: Determinare due statistiche campionarie: L1( X1, X2, …, Xn ) e L2( X1, X2, …, Xn) tali che L1<L2 , per ogni possibile campione, e che l’intervallo [L1,L2] contenga il parametro incognito θ con probabilità 1- α L’intervallo casuale [ L1( X1, X2, …, Xn ), L2,( X1, X2, …, Xn) ] si definisce intervallo di confidenza di livello 1- α per il parametro θ se contiene il parametro ignoto θ della popolazione con probabilità 1- α, ossia: In genere si fissano valori di 1-α pari a 0.99; 0.95; 0.90 1-α viene detto livello di confidenza. Una volta estratto il campione si ottiene l’intervallo di confidenza stimato. Nota: Non è possibile sapere se l’intervallo stimato contenga o meno il valore vero del parametro; d’altra parte se si estraesse dalla popolazione un numero sufficientemente elevato di campioni e calcolassimo i corrispondenti intervalli di confidenza, circa l’(1-α)% di questi conterrebbe il parametro ignoto. Intervallo di confidenza per la media di una popolazione normale con varianza nota Sia X una v.c. che rappresenta un carattere osservato su una popolazione. Supponiamo che la v.c. sia distribuita come una Normale con varianza nota. Allora sappiamo che Intervallo di confidenza per la media di una popolazione normale con varianza nota Sia ( x1, x2,…,xn) un campione casuale osservato proveniente da una popolazione normale con media μ incognita e varianza σ 2 nota. Si chiama intervallo di confidenza per μ, a un livello di confidenza 1 − α, l’intervallo avente come estremi i numeri. Spazio campionario e coefficiente di confidenza Nella diapositiva che segue sono riportati 20 campioni di ampiezza 10 estratti da una popolazione normale avente media 265 e varianza 182. Per ciascun campione e data la media aritmetica (terzultima colonna) e gli estremi ( l1, l2) degli intervalli di confidenza al 95% per la media della popolazione. Le righe in rosso indicano i campioni a cui corrispondono intervalli di confidenza non validi, cioe che non contengono la media della popolazione. Se immaginiamo l’intero spazio campionario, il coefficiente di confidenza (0.95 in questo caso) può essere interpretato come la frequenza relativa dei campioni a cui corrispondono intervalli validi. Ampiezza dell’intervallo di confidenza L’ampiezza dell’intervallo di confidenza si ricava dalla differenza tra estremo superiore e estremo inferiore dell’intervallo: È funzione di α, di n e di σ:  cresce al diminuire di α  decresce all’aumentare di n  cresce all’aumentare di σ Stima per intervallo della media di una popolazione normale con varianza non nota Sia X una v.c. che rappresenta un carattere osservato su una popolazione. Supponiamo che la v.c. sia distribuita come una Normale con media e varianza ignota. Quando la varianza della popolazione, assunta come normale, non è nota e l’ampiezza del campione non è sufficientemente elevata, occorre partire dalla statistica Stima per intervallo della media nel caso di grandi campioni Se la dimensione del campione è sufficientemente elevata, possiamo riferirci alla statistica la cui distribuzione di probabilità è prossima alla normale standardizzata qualunque sia la popolazione generatrice. Ne segue che possiamo scrivere il cui significato è il seguente: “l’intervallo avente come estremi le v.c. racchiude al suo interno il parametro μ con probabilità 1 −α “ Da qui perveniamo alla scrittura degli estremi dell’intervallo di confidenza per la media: Sia H0 : θ = θ0 L’ipotesi alternativa contrapposta può assumere una delle tre configurazioni Verifica delle ipotesi Con riferimento a un generico parametro θ, supponiamo che siano H0 : θ = θ0 l’ipotesi nulla H1 : θ ≠ θ0 l’ipotesi alternativa. Con la verifica delle ipotesi si decide se rifiutare o non rifiutare l’ipotesi nulla sulla base di una funzione dei dati del campione casuale detta statistica test. Teoria dei test La teoria dei test ci consente di determinare una regola di decisione che limiti il più possibile il rischio di decisioni sbagliate. Gli errori che si possono commettere nel decidere se rifiutare o meno l’ipotesi nulla sono: Probabilità degli errori nella verifica delle ipotesi Se indichiamo con α la probabilità dell’errore di prima specie e con β la probabilità dell’errore di seconda specie, avremo La probabilità α è chiamata livello di significatività del test. La probabilità π = 1 − β è chiamata potenza del test. Criteri di ottimizzazione nella verifica delle ipotesi Per i problemi di verifica di ipotesi che si affronteranno, la teoria statistica consente di individuare il procedimento che, fissato il livello di significatività del test α, minimizza la probabilità dell’errore di seconda specie β, ovvero massimizza la potenza del test. I test per la verifica di ipotesi su medie e su proporzioni, che si introdurranno, sono, in questo senso, ottimi. Verifica di ipotesi sulla media di una popolazione normale con varianza nota σ2 Sia (x1 , x2 , …, xn ) un campione casuale osservato estratto da una popolazione normale con varianza nota . . La decisione di rifiutare o non rifiutare l’ipotesi nulla sulla media della popolazione H0 : µ = µ0 andrà basata sul confronto tra la media campionaria ed il valore ipotizzato µ0 , o meglio, sulla differenza standardizzata Valore assunto dalla statistica campionaria ZX (statistica test) Ammesso che l’ipotesi nulla sia vera, che la popolazione generatrice sia normale e che la varianza sia nota la statistica campionaria è una v.c. normale N(0, 1) Verifica di ipotesi sulla media di una popolazione normale con varianza nota: ipotesi alternativa unidirezionale Ipotesi nulla: H0 : µ = µ0 Ipotesi alternativa: H1 : µ > µ0 Dati un livello di probabilità α molto piccolo (α = 0.05; 0.01;…) ed il corrispondente quantile della normale standardizzata , la probabilità dell’evento è uguale ad α (livello di significatività). Si rifiuta l’ipotesi nulla se il valore assunto dalla statistica test nel campione osservato fa parte dell’insieme. zona di rifiuto tramite la statistica test zona di rifiuto tramite la media campionari Verifica di ipotesi sulla media di una popolazione normale con varianza nota: ipotesi alternativa unidirezionale H0 : µ = µ0 ; H1 : µ > µ0 zona di rifiuto tramite la statistica test zona di rifiuto tramite la media campionaria Si rifiuta H0 : µ = µ0 quando Se è vera l’ipotesi nulla, i campioni per i quali si realizza questa disuguaglianza, detti campioni più estremi, sono inattesi: essi producono medie molto più grandi µ 0 di e hanno complessivamente una probabilità di verificarsi molto bassa, pari ad α; in altre parole, essi non sono plausibili sotto l’ipotesi nulla. Verifica di ipotesi sulla media di una popolazione normale con varianza nota Quando la statistica test cade nella zona di rifiuto si dice che “il test è significativo”. Espressioni equivalenti sono: “la media campionaria differisce significativamente da µ0 ”; “la differenza è significativamente diversa da 0”; “vi è sufficiente evidenza empirica contro l’ipotesi nulla”. Verifica di ipotesi sulla media di una popolazione normale con varianza nota: ipotesi alternativa unidirezionale Ipotesi nulla H0 : µ = µ0 Ipotesi alternativa H1 : µ < µ0 In questo caso, i “campioni più estremi” sono quelli le cui medie sono molto più piccole di in quanto si trovano a sinistra del valore soglia e hanno complessivamente una probabilità molto bassa, pari ad α. zona di rifiuto tramite la statistica test zona di rifiuto tramite la media campionaria Livello di significatività osservato popolazione normale con varianza nota; ipotesi alternativa unidirezionale: H0 : µ = µ0 ; H1 : µ > µ0 Il livello di significatività osservato ( αoss ) è la probabilità che la statistica test assuma un valore pari a quello ottenuto con i dati del campione o maggiore di esso (più estremo), ammesso che l’ipotesi nulla sia vera. In simboli: Con il sistema di ipotesi dato, si rifiuta l’ipotesi nulla se il livello di significatività osservato è minore di α Il livello di significatività osservato è un indicatore della forza dell’evidenza contro l’ipotesi nulla: tale evidenza è tanto maggiore quanto minore è αoss Esempio 1 Riprendendo i dati dell’Esempio 1, si sottoponga a verifica lo stesso sistema di ipotesi tramite il livello di significatività osservato. Livello di significatività osservato popolazione normale con varianza nota; ipotesi alternativa unidirezionale: H0 : µ = µ0 ; H1 : µ < µ0 Il livello di significatività osservato ( αoss ) è la probabilità che la statistica test assuma un valore pari a quello ottenuto con i dati del campione o minore di esso (più estremo), ammesso che l’ipotesi nulla sia vera. In simboli: Con il sistema di ipotesi dato, si rifiuta l’ipotesi nulla se il livello di significatività osservato è minore di α Esempio 2 (continuazione): Riprendendo i dati dell’Esempio 2, si sottoponga a verifica lo stesso sistema di ipotesi tramite il livello di significatività osservato. Livello di significatività osservato popolazione normale con varianza nota ipotesi alternativa bidirezionale: H0 : µ = µ0 ; H1 : µ ≠ µ0 È la probabilità che la statistica test assuma un valore pari a quello ottenuto con i dati del campione o più estremo (più grande di IZxI o più piccolo di-IZxI), ammesso che l’ipotesi nulla sia vera. Con il sistema di ipotesi dato, si rifiuta l’ipotesi nulla se il livello di significatività osservato è minore di α Esempio 3 (continuazione) Riprendendo i dati dell’Esempio 3, si sottoponga a verifica lo stesso sistema di ipotesi tramite il livello di significatività osservato. Verifica di ipotesi sulla media di una popolazione normale con varianza incognita Nel caso in cui la popolazione si a normale ma non si conosce la varianza si usa la statistica test dove S2 è la varianza campionaria. Se l’ipotesi nulla è vera, ha distribuzione t di Student con n – 1 gradi di libertà Esempio 7 (continuazione ) Livello di significatività osservato Si calcola come nei precedenti. A titolo di esempio, se l’ipotesi alternativa è H1 : p < p0 , abbiamo: Esempio 7 (continuazione) Livello di significatività osservato Statistica: principi e metodi (Capitolo 19, Confronti tra due popolazioni) Inferenza sulle medie di due popolazioni normali La v.c. differenza tra le medie dei due campioni indipendenti provenienti dalle popolazioni normali è distribuita normalmente con media e varianza: è una v.c. normale standardizzata. Test per la differenza di due medie: pop. normali (varianze note) Sia H0 : δ = μ1 – μ2 =0 L’ipotesi alternativa contrapposta può assumere una delle tre configurazioni: Test per la differenza delle medie di due pop. normali (varianze note) La statistica test da utilizzare per il test sulla differenza fra le medie di due popolazioni normali è Se l’ipotesi nulla è vera (δ = μ1 – μ2 =0), la statistica test è Tale statistica campionaria è una v.c. normale N(0, 1) Sistemi di ipotesi e zone di rifiuto del test sulla differenza fra due medie (varianze note) La logica sottostante a queste regole di decisione è che valori molto grandi (o molto piccoli) di non sono, verosimilmente, attribuibili al caso, ma al fatto che la media della prima popolazione è superiore (o inferiore) a quella della seconda, come contemplato dall’ipotesi alternativa. Anche in questo caso si può considerare il livello di significatività osservato. Esempio 3: Verifica di ipotesi per la differenza di due medie - grandi campioni Per studiare l'effetto della presenza di pesce nella dieta alimentare sul livello di colesterolo, vengono osservati, per un ‘congruo periodo di tempo, due campioni di individui, il primo ‘costituito da non consumatori di pesce e il secondo da consumatori Esempio 3 (continuazione): test per la differenza di due medie - grandi campioni H : 6= 4 - o =0: H : é= 4 - o >0 (a=0.05) isti : Za E Statistica test: ASTE 5 Test per la differenza di due proporzioni - grandi campioni Esempio 4 (continuazione): test per la differenza di due proporzioni- grandi campioni Ho: d= pi- p-=0; H: 6= p,- p: #0 (a=0.05)