Scarica Tutorial su Stata in pdf e più Appunti in PDF di Econometria solo su Docsity! STATA TUTORIAL Elisa Iezzi Analisi di mercato II 1 STATA TUTORIAL Primi passi con STATA -Gestione dati, grafici e semplici modelli- Dott.ssa ELISA IEZZI elisa.iezzi@unibo.it STATA TUTORIAL Elisa Iezzi Analisi di mercato II 2 Sommario ISTRUZIONI GENERALI ..............................................................................................................4 INTRODUZIONE.................................................................................................................................................. 4 Dove trovare STATA e i dati da utilizzare ..................................................................................................4 Uscire da STATA..............................................................................................................................................4 Le finestre di STATA e la barra degli strumenti..............................................................................................4 Stata Help .......................................................................................................................................................6 Data Editor......................................................................................................................................................6 Do File Editor...................................................................................................................................................7 Log....................................................................................................................................................................8 Graph ..............................................................................................................................................................8 I files utilizzati in Stata.........................................................................................................................................8 Stata dataset – estensione : .dta ..............................................................................................................8 Log file – estensione : .log............................................................................................................................9 Stata do-file – estensione: .do ....................................................................................................................9 Stata gaphs – Estensione: .gph.................................................................................................................11 Dataset ............................................................................................................................................................ 11 Allocare memoria a STATA........................................................................................................................11 Variabili ..............................................................................................................................................................11 Generare e cambiare le variabili ............................................................................................................13 Cambiare la struttura dei dati.......................................................................................................................14 Inserire i dati ......................................................................................................................................................15 Inserire i dati dall’EDITOR (tramite tastiera) ............................................................................................15 Usare dati già esistenti in formato ASCII (o text)........................................................................................15 Infile (estensione con .txt oppure .asc)...................................................................................................15 Insheet (estensione con .csv) ...................................................................................................................16 Dictionary......................................................................................................................................................17 Infix .................................................................................................................................................................17 Sintassi generale............................................................................................................................................ 17 Describe.............................................................................................................................................................18 Display................................................................................................................................................................18 List........................................................................................................................................................................18 Format ................................................................................................................................................................19 Generare dummy............................................................................................................................................19 Drop and keep.................................................................................................................................................19 Operatori di STATA...........................................................................................................................................19 Funzioni...............................................................................................................................................................20 By group........................................................................................................................................................20 Sort e gsort ....................................................................................................................................................21 STATISTICHE DESCRITTIVE ............................................................................................................................... 21 Count .................................................................................................................................................................21 Summarize .........................................................................................................................................................21 Means.................................................................................................................................................................22 Centile................................................................................................................................................................22 Cumul .................................................................................................................................................................22 Correlate ...........................................................................................................................................................22 TABLES.................................................................................................................................................................23 Table ..............................................................................................................................................................23 STATA TUTORIAL Elisa Iezzi Analisi di mercato II 5 1. STATA COMMAND, dove i comandi vengono digitati e mandati in esecuzione semplicemente premendo invio dopo averli scritti; • In alto a destra, contiene la sequenza dei comandi eseguiti nella Stata Command. Cliccando su una riga nella finestra review, il comando eseguito in precedenza ricompare nella finestra Stata Command. 2. STATA RESULTS, dove appaiono i risultati. • E’ la finestra centrale, caratterizzata dallo sfondo nero, dove vengono visualizzati, i comandi eseguiti, i messaggi di errore e in generale tutte le operazioni eseguite dal programma. E' una finestra di output il cui funzionamento può essere ricondotto a quello di un “registro” che, se fatto scorrere, mostra all’utente ciò che fino a quel punto è stato fatto. 3. REVIEW dove sono scritti tutti i comandi digitati fino a quel momento; • In alto a destra, contiene la sequenza dei comandi eseguiti nella Stata Command. Cliccando su una riga nella finestra review, il comando eseguito in precedenza ricompare nella finestra Stata Command. Funzione particolarmente utile per la correzione di errori o per procedure che richiedono ripetizioni frequenti di comandi articolati. 4. VARIABLES dove c’è una lista di variabili contenute nel dataset che si sta utilizzando. • Sotto la Review, mostra l’elenco delle variabili contenute nel data set indicandone il nome, l’etichetta ed eventuali informazioni sulle modificazioni rilevanti intervenute nelle variabili. Anche qui è possibile far comparire la variabile nella Stata Command cliccando sulla variabile interessata. Le istruzioni principali della barra degli strumenti sono: 1. open, per aprire un dataset di STATA 2. save, per salvare su disco il dataset che si sta utilizzando 3. print, per stampare un grafico o i risultati ottenuti 4. open log, per iniziare un nuovo log, aggiungerlo ad uno già esistente o fermare quello corrente 5. import/ export, per importare / esportare in formati diversi da quello di stata che è *.DTA 6. Data Editor apre il data editor, dove si possono inserire manualmente i dati 7. Data Browser mostra i dati 8. Do-File Editor apre il Do-file editor dove si scrivono i comandi per poterli poi eseguire tutti insieme 9. Break (ferma cio’ che sta facendo STATA; per es. hai chiesto a stata di mostrare una lista di tutte le osservazioni, ma ti accorgi che sono milioni e vuoi interrompere il lavoro di STATA! STATA TUTORIAL Elisa Iezzi Analisi di mercato II 6 Stata Help E’ la finestra della guida all’uso del programma (in inglese). Si apre cliccando Help nel menù o premendo alt+h e scegliendo l’opzione desiderata. Il suo contenuto ha struttura ipertestuale. Data Editor Visualizza la matrice dei dati in memoria. Nelle colonne della matrice sono contenute variabili e nelle righe le singole osservazioni. Si apre con l’apposito pulsante sulla barra degli strumenti o digitando edit ↵ nella finestra Stata Command. Facendo doppio clic su un valore o una variabile ne vengono visualizzate nome, etichetta e formato. Il alto c’è una barra degli strumenti con la quale si possono eseguire alcune operazioni come mettere in ordine crescente i dati rispetto ad una variabile (sort) o cancellare dati o variabili. Una volta aperto l’editor, per accedere alle altre finestre è necessario chiuderlo. STATA TUTORIAL Elisa Iezzi Analisi di mercato II 7 Do File Editor Consiste in un sottoprogramma con il quale si può programmare Stata mediante la scrittura di una serie di comandi su un comune word editor (o sul word editor di stata con funzione apposita per la scrittura dei do-files).. Per eseguire un do file già elaborato, si clicca sul do-file editor al menu windows o sul pulsante dedicato nella barra degli strumenti Per le caratteristiche specifiche e la scrittura del do-file si rimanda alla apposita sezione. STATA TUTORIAL Elisa Iezzi Analisi di mercato II 10 Creando un do file è possibile programmare Stata, ossia creare un listato di istruzioni da fare eseguire al software. Rappresenta sicuramente il modo più ordinato, metodico e professionale per lavorare con Stata ed è una procedura il cui apprendimento è indispensabile se si desidera procedere in analisi di una qualche complessità. In pratica si tratta semplicemente di scrivere in sequenza i comandi da impartire: dall’apertura del dataset, passando per l’analisi vera e propria e concludendo con il salvataggio di dataset e log file. Se un do file è stato realizzato correttamente può essere possibile farlo eseguire dal programma con un semplice doppio clic sopra l’icona del file: Stata si aprirà automaticamente e tutte le procedure verranno effettuate senza inceppare in errori. Come creare un do-file Facendo clic sull’icona che raffigura foglio e matita sulla barra degli strumenti o nel menu Windows>do-file editor si apre la finestra dell’editor per do-file. Si può aprire un file già esistente o crearne uno nuovo. Al termine del lavoro si esegue il programma (icona “do current file”) e se ne verifica il corretto funzionamento. Una volta creato, un do-file può essere eseguito semplicemente con un doppio clic o scegliendo su Stata al menu file>do e indicando il file da eseguire. Oltre ai comandi si possono includere commenti iniziando la riga con * Essendo un semplice file di testo, il do-file può essere creato anche con un normale word processor ma tale operazione può comportare problemi di compatibilità la cui risolvibilità è sempre possibile ma spesso poco immediata. Semplice esempio di do-file: set mem 4m use " C:\temp\dati\dati.dta" log using "C C:\temp\dati\prova_log.log" , replace sum *eliminazione variabili non utili per l’analisi* drop id eta *regressione con reddito come var dipendente spiegata da istruzione e residenza* regress reddito istruz resid save "C:\temp\dati\prova.dta", replace Rimane da salvare anche il do-file con un nome. Un trucco che spesso si utilizza è quello di chiamare il log file e il do file nello stesso modo così da associare i comandi all’output (senza dover ricordare molti nomi). Allora da dentro il do-editor si salva il file con la stessa procedura usata per salvare un qualsiasi file di testo. Da FILE si clicca su SAVE FILE AS e si salva dandogli come nome dofile.do. E’ necessario ricordare la directory in cui viene salvato, generalmente è conveniente mettere il do file nella stessa directory del log file. A questo punto si chiude il DO-FILE EDITOR, torniamo in STATA, clicchiamo su File dalla barra degli strumenti, e poi su DO, selezioniamo il file dofile.do in c:\temp\dati e guardiamo i risultati. Si può anche vedere il nuovo dataset creato con le nuove variabili cliccando sul DATA BROWSER (terzo pulsante dalla destra). Adesso si puo’ uscire da Stata, scrivendo nella finestra STATA COMMAND: clear exit STATA TUTORIAL Elisa Iezzi Analisi di mercato II 11 Stata gaphs – Estensione: .gph Esempio icona: Con Stata è possibile realizzare grafici e poi salvarli su file. Per ulteriori precisazioni si rimanda alla parte specifica dedicata alla realizzazione dei grafici. Dataset Come detto in precedenza l'estensione utilizzata per salvare i dati è .dta. Per aprire ed utilizzare il file ad esempio dataset.dta i comandi sono: use C:/temp/dati/dataset Il modo più semplice è allocare la directory in cui sono salvati tutti i dati, in modo da non dover ripetere il path. cd C:/temp/dati use dataset save dataset !!! IMPORTANTE salvare sempre i file. Se si vuole salvare il file che è già presente: save dataset, replace Allocare memoria a STATA Generalmente STATA da 10.10 Mb di memoria. Per espanderla, basta scrivere nella finestra COMMAND “set memory 50m”, m sta per MegaByte. Qualora non sia sufficiente per i dati, sarà lo stesso STATA a dire “no room to add more observations”. Ed allora basterà aggiungere più memoria compatibilmente con il PC usato. Variabili In Stata, le variabili sono associate con le colonne di una matrice di dati, e le osservazioni con le righe Le variabili possono essere alfanumeriche (stringhe) o numeriche (numeri reali). Le variabili sono chiamate con il loro nome, che può contenere anche numeri, ma non spazi. Si può cambiare il nome delle variabili usando il comando rename x y significa cambiare il nome della variabile da x a y. Alle variabili possono essere assegnate etichette . Una volta che abbiamo creato delle nuove variabili vogliamo poter tener traccia di esse e ricordare cosa significano. Possiamo fare cio’ STATA TUTORIAL Elisa Iezzi Analisi di mercato II 12 creando labels e value labels. Queste labels non sono necessarie, ma rendono l’output più leggibile. Le variable labels corrispondono ai nomi delle variabili, le value labels corrispondono ai differenti valori che una variabile puo’ avere. La sintassi è: label variable varname “the name of this variable is…” es: label variable x “costi in euro” In STATA i nomi delle variabili appaiono nel riquadro in basso a sinistra (VARIABLES Window). Ogni qualvolta la variabile x appare sullo schermo apparirà anche la sua label. A questo punto può essere utile anche assegnare delle label. Guardiamo alla variabile sex. Essa non ha labels ed assume solo sue valori 1 e 2. Ma cosa significano? Per evitare di memorizzarlo o di consultare sempre un codebook, possiamo usare i seguenti comandi: label define grp 1 “male” 2 “female” label values sex grp Ricorda che bisogna prima bisogna definire (define) la label, poi associare quella label con una variabile. Ogni label può essere associata a più di una variabile, così che se ci sono molte domande a risposta “si/no/non so”, basta definire una value label e usarla per tutte le domande. Tuttavia si può associare una sola value label con una stessa variabile. e formati : format x %7.2g questo è il generico formato per identificare un numero con 2 decimali Automaticamente STATA assegna un certo spazio alle variabili. Scrivendo compress si ordina a STATA di utilizzare lo spazio in maniera efficiente (molto utile prima di salvare un dataset su cui si è lavorato creando molte variabili) DATI MANCANTI I dati mancanti sono identificati da . (un punto). Si possono codificare i valori mancanti come codici (es 9999) o viceversa utilizzando il comando mvdecode mvencode x, mv(9999) codifica i valori mancanti con il codice 9999 mvdecode x, mv(9999) decodifica il codice 9999 con i valori mancanti VARIABILE TEMPO I dati sono definiti da un numero di giorni dal 1/1/1960 e possono essere definite attraverso il formato della data che è %d. Se ad esempio la variabile time è in formato %7.0g list time +---------+ | time | |---------| 1. | 14976 | 2. | -2200 | 3. | 544 | 4. | 8454 | 5. | 4566 | In questo modo non è di facile lettura, se invece gli impostiamo il formato allora: format time %d list time STATA TUTORIAL Elisa Iezzi Analisi di mercato II 15 4. 2 2 5 3. 2 1 4 2. 1 2 3 1. 1 1 2 subj occ x . list A questo punto si possono raggruppare dati per ogni gruppo con misure statistiche standard. Calcola la media, la deviazione standard e conta la numerosità del gruppo che non sia mancante. collapse (mean) mean=x (sd) sdx=x (count) num=x, by(subj) list 2. 2 4.5 .707107 2 1. 1 2.5 .707107 2 subj mean sdx num Inserire i dati I dati possono essere inseriti usando il data editor, oppure da un file ASCII (word, notepad, ecc.) Inserire i dati dall’EDITOR (tramite tastiera) Iniziamo con il cliccare su DATA EDITOR sulla barra degli strumenti di STATA. Non è altro che un foglio di excel (molto simile) dove per riga ci sono le osservazioni e per colonna ci sono le variabili. I dati inseriti possono essere modificati semplicemente scegliendo la cella. Il DATA Editor chiama le variabili inizialmente con var1, var2 etc, ma possono essere cambiate cliccando due volte sull’intestazione della colonna (per es. su var1) in modo tale che appaia lo STATA VARIABLE INFORMATION dove poter inserire il nome desiderato. 1.Clicca sull’icona DATA EDITOR 2.Da sinistra a destra inserire i seguenti numeri (aiutati con l’invio e le freccette sulla tastiera per spostarti): 1 2 3 4 5 6 7 8 9 3.Doppio click su var1 e sostituisci var1 con a; fai lo stesso con var2 e metti al suo posto b, lo stesso con var3 e chiamala c 4.Chiudi il data editor (x in alto a destra) in modo da tornare alla finestra Stata Command 5.Scrivi save C:/temp/dati/one.dta, replace *ricordati che hai messo i dati in questa directory chiamata mydata Usare dati già esistenti in formato ASCII (o text) Infile (estensione con .txt oppure .asc) Il comando infile è uno dei più usati per dati che siano in formato libero o comma-separated La sintassi base è la seguente: infile varlist using filename [, clear] STATA TUTORIAL Elisa Iezzi Analisi di mercato II 16 dove varlist è una lista di nomi di variabili (varname1 varname2…), filename è il nome del file che si vuole trasformare (incluso il percorso per trovarlo), e clear è un’opzione che pulisce dati eventualmente in memoria che non sono stati salvati. Se non viene messa un’estensione si assume che essa sia .raw. Infile è molto utile nei dati scaricati: • il file non ha nomi di variabili sulla prima linea • le variabili che hanno spazi al loro interno, come per esempio nome e cognome di una persona, devono essere racchiusi tra virgolette • i numeri possono avere virgole e segni negativi, ma non dollari o segni di percentuale Infile assume che le variabili abbiano spazi tra di loro e che non ci siano spazi bianchi quando si aspetta dei dati (perciò i valori di missing devono essere rappresentati in qualche modo). Molto spesso però la cosa più conveniente da fare e portare un file in Excel, salvarlo con l’estensione .csv e poi usare insheet. Inoltre puoi usare il comando infile per leggere dati che contengono molte variabili o record multipli per osservazione, oppure in generale quando vuoi leggere dati salvati in un formato particolare. Insheet (estensione con .csv) Questo comando legge dati che sono organizzati nel modo seguente: i) le osservazioni sono per riga; ii) le variabili nelle colonne; iii) i valori delle variabili sono separati da una tabulazione o da virgole ma non da spazi. In questo caso, è necessario rinominare il file ASCII in modo che abbia l’estensione .raw e poi usare il comando insheet. In molti casi il modo più conveniente in cui leggere i dati è aprire il file in Excel e salvarlo con l’estensione .cvs e poi usare il comando insheet. La sintassi di base è: insheet using filename [, clear] Se si salvano i dati in excel, con il formato csv ad esempio dati.cvs In STATA e nella finestra COMMAND scriviamo: insheet using c:/…/dati.csv,clear save c:/…/dati.dta,replace A questo punto abbiamo i dati pronti in formato DTA, che non è altro che il formato dei dati in STATA. Il comando insheet è molto utile per leggere dati da un foglio di lavoro (come quello di Excel). Anche in questo caso ci sono alcuni requisiti da soddisfare: • La prima linea dovrebbe avere i nomi delle variabili e dalla seconda linea dovrebbero iniziare i dati • I dati numerici mancanti dovrebbero essere codificati come celle vuote, e non con spazi, punti, o altri dati numerici. Spesso vengono usati i valori 9, 99, 999. Questo è lecito purché questi non siano valori validi per quella variabile. • Le virgole sono problematiche perché Stata pensa che siano dei delimitatori e non li legge in modo corretto. Perciò è necessario rimuovere le virgole dai valori numerici prima di salvare il file. STATA TUTORIAL Elisa Iezzi Analisi di mercato II 17 • Il file deve essere salvato in formato “comma separated values” in Excel. Non basta dare un’estensione .cvs. Si deve selezionare sotto “File” poi “Save as…” e poi scegliere “comma separated values”. Quando si chiude il foglio di lavoro ed Excel ti chiede di salvare i cambiamenti bisogna rispondere “No”, perché Excel sta chiedendo di fare i cambiamenti per rendere il foglio di lavoro nuovamente un foglio regolare di Excel Dictionary Se invece i dati sono in formato fisso, è necessario usare un dictionary (dct). Un dictionary non è altro che un file ASCII (testo) che descrive il contenuto di un file di dati e permette di leggere i file in formato fisso o formato libero. I dati possono essere nello stesso file del dictionary o in un altro file. La sintassi di base è: infile filename [, using (filename2) clear] dove filename è il nome del file dictionary e filename2 è il nome del file che contiene i dati. Se l’opzione using () non è specificata, si assume che i dati seguano il dictionary in filename, o se il dictionary specifica il nome di un altro file, questo file si assume contenga i dati. La sintassi di base di un dictionary file è la seguente: ------ top of the dictionary file------------------- [infile] dictionary [using filename] { [type] varname } (dai vengono inseriti qui) ------------------ fine del dictionary file---------- Qui di seguito riporto un esempio possibile di file dictionary. Si scrivono le righe successive in un qualsiasi programma di testo (word). ___________________________________________________________________________ dictionary using e:\fss98~10.fil { _column(1) ril %2f "rilevazione" _column(3) anno %4f "anno" _column(7) ProgFam %6f "progressivo family" _column(13) nordcomp %2f "Num ordine componente" _column(15) ncomp %2f "numero comp family" _column(17) age %3f "eta" _column(20) relpar %2f "relazione parent" _column(23) sex %1f "sesso" } il file dictionary può essere scritto in un qualsiasi text editor ma deve essere salvato con l’estensione .dct. In particolare, il dizionario inizia con le parole dictionary using, che definisce il file come un dizionario di STATA. Il nome del file che contiene i dati appare dopo la parola using Infix Se i dati sono in formato fisso per colonna, il comando infix può essere usato. La sintassi di base è: infix using filename[, using (filename2) clear] dove filename è il nome di un file dictionary e filename2 è il nome del file contenente i dati Sintassi generale STATA TUTORIAL Elisa Iezzi Analisi di mercato II 20 L’ordine di valutazione segue le regole standard, l’espressione sulla sinistra è quella valutata prima, l’ultima sulla destra è quella valutata per ultima. Le parentesi possono essere usate per forzare un ordine differente di valutazione Funzioni Le funzioni sono usate nell’espressione exp nella sintassi vista. Al posto di exp molte funzioni possono essere utilizzate. L’argomento di una funzione può essere una qualsiasi espressione, anche un'altra funzione. Per esempio una versione semplificata della sintassi per generate è: generate newvar=exp e percio’ si potrebbe scrivere per esempio: generate loginc=ln(income), dove ln() è una funzione. Alcuni esempi di funzioni sono: • funzioni matematiche: exp(x), log(x) o ln(x), sqrt(x), abs(x) e le principali funzioni trigonometriche • funzioni statistiche: chiprob(df,x) (coda superiore della distribuzione cumulativa chiquadro con df gradi di libertà), fprob(df1, df2, f) (coda superiore della distribuzione cumulativa F con df1 e df2 gradi di libertà, invnorm(p) (funzione quantile della normale standardizzata), normd(z) (densità normale standardizzata), normprob(z) (funzione di distribuzione normale standardizzata), tprob(f,t) (distribuzione t a due code con df gradi di libertà • generatore di numeri pseudo-random: uniform(), che genera numeri pseudo-random uniformemente distribuiti sull’intervallo [0,1) (non c’è argomento dentro () ). I numeri pseudo-random secondo una distribuzione normale standardizzata possono essere anche generati usando il comando invnorm(uniform()) • funzioni speciali, per esempio float(x) (che riporta il valore di x nella tipologia float), int(x)(che riporta il valore intero di x), max(x1, x2, x3,… xn) e min(x1, x2, x3,… xn) (che riporta rispettivamente il valore massimo e minimo degli argomenti tra parentesi ignorando i valori missing, sign(x) (che riporta –1 se x<0 , 0 se x=0, e 1 se x>0 e . se x=.), e sum(x) (che riporta la somma di x, trattando i valori missing come zeri) Ci sono anche funzioni che trattano le date e funzioni di serie temporali, così come funzioni matrici che danno luogo a scalari come det(B) e trace(B) (rispettivamente il determinante e la traccia della matrice B). Esempi: generate eta2=eta*eta gen altoy=(y>20000 & y!=.) replace altoy=. if y<0 Un altro modo per generare la variabil altoy è la seguente: gen altoy=0 replace altoy=1 if y>20000 & y!=. gen sommay=yl+yta+ym gen ylag=y[_n-1] gen r=uniform() gen normals=invnorm(uniform)) sort sex by sex: gen avgy=sum(y)/sum(y!=.) by sex: replace avgy=avgy[_N] By group Talvolta è necessario eseguire un comando o un’analisi su gruppi differenti di osservazioni. Il comando “by variable” permette di ottenere lo stesso risultato che si sarebbe ottenuto usando il comando “if” su ogni sottogruppo. Prima di usare il comando “by” bisogna fare un sort (spiegato successivamente) cioè un ordinamento dei dati: STATA TUTORIAL Elisa Iezzi Analisi di mercato II 21 Esempi. sort sex by sex: sum eta by sex: gen lag2=eta[_n-1] Inoltre c’è un modo per far eseguire a STATA il comando senza far vedere tutto l’output. Per eliminare l’output dallo schermo ma non dal log file usare il comando “quietly”: quietly by sex: gen lag2=eta[_n-1] Sort e gsort Come già visto il comando sort sistema i dati in ordine crescente rispetto ai valori delle variabili in varlist. Non c’è limite al numero di variabili in varlist. I valori missing vengono interpretati come i valori più grandi e perciò sono messi in fondo. Come visto nel comando precedente è necessario usare il sort quando si vuole usare il comando by. La sintassi è: sort varlist [in range] Esempi sort age sort y gsort invece aggiusta le osservazioni in ordine crescente o decrescente delle variabili in varlist. Le osservazioni sono messe in ordine crescente di varname se + o niente è specificato di fronte al nome e in ordine discendente se è specificato – La sintassi è: gsort [+|-] varname [+|-] carname […] [, generate (newvar) mfirst] dove generate (newvar) crea delle variabili newvar contenenti 1, 2, 3… per ognuno dei gruppi indicati dalle varnames ordinate. mfirst indica che i valori missing devono essere messi per primi nell’ordine discendente piuttosto che per ultimi Esempi gsort y gsort +y gsort –y eta gsort –y, gen(revy) STATISTICHE DESCRITTIVE Count Count conta le osservazioni anche dopo aver specificato delle restrizioni. La sintassi è: [by varlist:] count[if exp] [in range] Se nessuna condizione è specificata, allora count conta il numero di osservazioni nel dataset Esempi count count if y>20000 by eta: count if y<0 Summarize Summarize (o la sua abbreviazione sum) riporta un insieme di statistiche descrittive per una certa variabile. La sua sintassi è: [by varlist:] summarize [varlist] [weight][if exp] [in range][, detail | meanonly format] STATA TUTORIAL Elisa Iezzi Analisi di mercato II 22 dove detail produce statistiche addizionali come kurtosis, skweness, i 4 valori più grandi e più piccoli, vari percentili, meanonly elimina il display dei risultati e il calcolo della varianza (è permesso solo quando detail non è specificato), format richiede che le summary statisitcs siano mostrate usando il display format associato con le variabili piuttosto che il formato default g. Esempi summarize sum eta sum y, detail Means Means riporta le medie aritmetiche, geometriche, armoniche, con i rispettivi intervalli di confidenza, per le variabili specificate. La sua sintassi è: means [varlist] if exp [in range] [, add(#) only level] dove add(#) aggiunge il valore # ad ogni variabile in varlist prima di calcolare la madia e intervallo di confidenza (utile quando si analizzano variabili con valori non positivi), only modifica l’azione dell’opzione add() (se specificato l’opzione add() aggiunge # solo alle variabili con almeno un valore non positivo) e level(#) specifica il livello di confidenza percentuale per gli intervalli di confidenza. Il comando ci (invece di means)può essere usato se si vogliono semplicemente medie aritmetiche e corrispondenti intervalli di confidenza, e standard errors. Centile centile riporta i centili delle variabili specificate e i lori intervalli di confidenza. Per default, gli intervalli di confidenza sono ottenuti usando un metodi binomiale che non fa assunzioni circa la distribuzione della variabile in questione. La sintassi è: centile [varlist] [if exp] [in range] [, centile(numlist) cci normal meansd level(#)] dove centile (numlist) specifica i centili che devono essere riportati (se non è specificato si riporta la mediana), cci (conservative confidence interval) previene che centile interpoli quando calcola i limiti di confidenza ottenuti senza assunzioni sulla distribuzione, normal specifica che gli intervalli di confidenza siano ottenuti assumendo che gli stessi centili stimati siano normalmente distribuiti, meansd calcola gli intervalli di confidenza assumendo che i centili stessi stimati sono distribuiti normalmente. Il comando pctile newvar=exp crea una nuova variabile che contiene i percentili di exp. Cumul cumul crea una nuova variabile che contiene la funzione di distribuzione cumulativa di una variabile. La sintassi è: cumul varname [weight][if exp] [in range], gen(newvar) [freq by(varlist)] dove gen(newvar) specifica il nome di una nuova variabili che deve essere creata e non è opzionale , freq richiede che la cumulativa sia in unità di frequenza, altrimenti è normalizzata in modo tale che newvar sia 1 per il valore più grande di varname, e by(varlist) specifica che la cumulativa deve essere calcolata separatamente nei gruppi indicati da by. Correlate correlate riporta la matrice di varianza o correlazione delle variabili specificate. Alcune osservazioni possono essere escluse dal calcolo a causa di missing values. La sintassi è: [by varlist:] correlate [varlist] [weight] [if exp] [in range] [, means noformat covariance wrap] STATA TUTORIAL Elisa Iezzi Analisi di mercato II 25 contract, expand e fillin. Combinare differenti dataset insieme Append Combina i dataset verticalmente, aggiungendo osservazioni. Viene usato per combinare un dataset in memoria, chiamato master data, a uno (o più) dataset memorizzato su disco in formato-STATA, chiamato using data. La sintassi di base è: append using filename [, nolable] dove nolable evita di copiare le definizioni dei valori delle label dal dataset su disco. Se filename è specificato senza un estensione, si assume che dia un file di Stata, cioè .dta. Esempio creiamo piccoli dataset digitando i seguenti comandi, one.dta: 10 11 12 13 14 15 16 17 18 double chick on var1 and substitute with a; do the same with var2 and var3 and substitute with b and c 4. close the Data Editor and come back to the STATA COMMAND Window 5. save c:/temp/dati/two.dta, replace 6. use c:/temp/dati/one.dta 7. append using c:/temp/dati/two.dta 8. click on DATA BROWSER (the third button from the right) 9. inspect the result append è creato per risolvere il problema di aggiungere più dati ad un dataset già esistente. Tale comando combina datasets differenti aggiungendo verticalmente osservazioni. Il nostro esempio riguardava 2 datasets con le stesse variabili (a,b,c), ma non è necessario avere tutte le variabili in comune. Per esempio potremmo avere una situazione in cui il dataset two.dta contiene a e b in comune con il dataset one.dta, ma contiene anche d che invece one.dta non ha. append funziona ugualmente e le osservazioni del dataset creato avranno un valore missing in corrispondenza della variabile d. Il dataset in memoria viene chiamato “master” mentre il dataset “attaccato” è chiamato “using” data. Questa distinzione è molto importante nel prossimo comando Merge Questo comando combina i datasets orizzontalmente, aggiungendo variabili. La sua forma più semplice è il one-to-one matching. Il comando merge combina osservazioni dal dataset correntemente in memoria (chiamato master dataset) con il dataset immagazzinato come filename (chiamato using dataset). La sintassi di base è: merge [varlist] using filename [, nolabel update replace nokeep _merge(varname)] dove nokeep ordina a merge di ignorare osservazioni nello using dataset che non hanno corrispondenti osservazioni nel master (per default invece queste osservazioni sarebbero aggiunte ai risultati del merge e segnalati con merge==2); merge(varname) specifica il nome della variabile che indicherà la sorgente della risultante osservazione (cioè se proviene dal master, dallo using data o è comune ad entrambi i datasets). Il default è merge(_merge). Vediamo come funziona con un esempio (i due datasets three.dta e four.dta, sono stati già creati e inseriti STATA TUTORIAL Elisa Iezzi Analisi di mercato II 26 nella directory mydata, perciò potete andare direttamente al punto 13) 1) pull down the DATA EDITOR button at the top of the screen (the fourth button from the right) 2) from the left to the right write the following numbers: 1 10 11 2 12 13 3 14 15 5 16 17 3) double click on var1 and substitute with id; do the same with var2 and var3 and substitute with a and b respectively 4) close the DATA EDITOR and come back to the STATA COMMAND window 5) sort id 6) save three.dta, replace 7) repeat point 1 8) from the left to the right write the following numbers: 1 18 2 19 4 20 9) double click on var1 and substitute with id; do the same with var2 substitute with d 10) close the Data Editor and come back to the STATA COMMAND window 11) sort id 12) save c:/temp/dati /four.dta, replace 13) use c:/temp/dati /three.dta, clear 14) merge id using c:/corso_lavoro/mydata/four.dta 15) list 16) tab _merge 17) keep if _merge==3 18) drop _merge Ci deve essere una o più variabile in comune ad entrambi i dataset da usare per il merge questa è chiamata IDENTIFIER(S). L’identifier(s) deve identificare ogni osservazione in modo univoco. Qui riportiamo cosa significano i codici in _merge: • _merge==1. Osservazione solo dal master, no merge, no update • _merge==2. Osservazione solo dal file using, no merge, no update • _merge==3. Osservazione merged, ma senza update. • _merge==4. Osservazione merged e updated, cioè almeno un valore missing nel master è stato updated a un valore non missing preso dallo using data. • _merge==5. Osservazione merged ma non updated, cioè l’update è rifiutato. Il risultato è uguale al _merge==3, ma c’erano degli updates nello using data inconsistenti con ciò che già si aveva e perciò l’update è rifiutato. N.B Quale dei _merge debba essere eliminato va deciso caso per caso. Collapse collapse sostituisce i dati in memoria con un nuovo dataset consistente di medie, mediane etxc, delle variabili specificate. La sua sintassi è: collapse clist [weight] [if exp ] [in range] [, by(varlist) cw fast] dove clist puo’ essere [(stat)] varlist [(stat)…] oppure [(stat)] target_var=varname [target_var=varname…] [(stat)…] o ogni combinazione di varlist o target_var, e stat è uno dei seguenti: mean (medie), sd (standar deviation), sum (somme), rawsum (somme ignorando i pesi eventualmente STATA TUTORIAL Elisa Iezzi Analisi di mercato II 27 specificati), count (numero di osservazioni non missing), max (massimo), min (minimo), median (mediana), p# (#-simo percentile), iqr (range interquantile). Se stat non è specificato si assume mean. L’opzione by(varlist) specifica i gruppi su cui le medie, etc vogliono essere calcolate, cw specifica casi da eliminare (se non specificato tutte le osservazioni vengono considerate), e fast indica che si puo’ tornare ad dataset originale premendo Break mentre il collapse viene eseguito. Contract contract crea un dataset di frequenze. Esso sostituisce un dataset in memoria con uno nuovo consistente in tutte le combinazioni di varlist che esistono nei dati insieme ad una nuova variabile che contiene le frequenze di ogni combinazione. La sintassi è: contract varlist [weight] [if exp ] [in range] [, freq(varname) zero nomiss] dove freq(varname) specifica il nome della variabile di frequenze (se non specificato, STATA crea automaticamente la variabile _freq, ma tale nome non deve essere già presente), zero specifica le combinazioni con frequenza zero desiderate, e nomiss specifica che le osservazioni con valori missing in ognuna delle variabili in varlist devono essere eliminate (se non specificato, tutte le osservazioni possibili vengono usate). Expand expand sostituisce ogni osservazione nel dataset corrente con n copie di ogni osservazione, dove n è uguale alla parte intera dell’espressione richiesta (se l’espressione è meno di uno o missing allora viene interpretata come uno e l’osservazione non viene duplicata). La sintassi è: expand [=]exp [if exp] [in range] esempio expand 2 Fillin fillin rettangolarizza un dataset aggiungendo osservazioni con dati mancanti così che esistano tutte le interazioni delle variabili in varlist. fillin aggiunge anche la variabile _fillin ai dati ed è uguale ad 1 se un’osservazione è stata creata e zero altrimenti. La sintassi è: fillin varlist Per esempio, se abbiamo sex=1 e perc=1, sex=1 e perc=0 ma abbiamo solo sex=2 e perc=0, questo comando aggiungerà un record per sex=2 e perc=1. APPLICAZIONE: DESCRIZIONE DATI E SEMPLICE INFERENZA DESCRIZIONE DATI I dati utilizzati in questa applicazione riguardano 118 pazienti con problemi psichiatrici su 9 variabili (Hand et al 1994) c:\temp\dati\fem.dat: 1. id : identificativo univoco del paziente 2. age : età in anni STATA TUTORIAL Elisa Iezzi Analisi di mercato II 30 Innanzitutto abbiamo bisogno di testare se le assunzioni del test t sono valide. Un modo semplice è quello “grafico”, confrontando i box-plot della variabile weight per ogni gruppo (ricordare di etichettare i grafici in modo da avere una lettura semplice e pulita!) label variable weight “Cambiamento di peso negli ultimi 6 mesi” graph box weight, by(life) box(1, bfcolor(none))/* */ box(2, bfcolor(none)) yline(0) medtype(line) -5 0 5 10 no si W E IG H T Graphs by LIFE L’opzione yline(0) ha permesso di mettere la linea orizzontale in posizione 0. L’istruzione /* */ servono per mettere i commenti, infatti STATA ignora ciò che è scritto al suo interno. La variabile weight non sembra avere valori mediani diversi nei due gruppi e le assunzioni del test t sembrano essere ragionevoli perché le distribuzioni sono asimmetriche con ampiezza simile- Si possono anche, testare le assunzioni di normalità,QQPLOT, dei residui. Se l’assunzione di normalità è soddisfatta, i quantili dei residui dovrebbero essere linearmente relazionati alla linea che identifica la distribuzione normale. I residui possono essere calcolati e disegnati usando: egen res=mean(weight), by(life) replace res=weight-res label variable res “residui del test-t per la var. weight” qnorm res, title(“Normal Q-Q plot”) I punti del Q-Q plot sono molto simili alla linea, ciò è sufficiente per per giustificare l’assunzione di normalità STATA TUTORIAL Elisa Iezzi Analisi di mercato II 31 -1 0 -5 0 5 10 re si du i d el te st -t pe r l a va r. w ei gh t -10 -5 0 5 10 Inverse Normal Normal Q-Q plot Anche la differenza tra le varianze può essere testate utilizzando: sdtest weight,by(life) Pr(F < f) = 0.2919 2*Pr(F < f) = 0.5837 Pr(F > f) = 0.7081 Ha: ratio < 1 Ha: ratio != 1 Ha: ratio > 1 Ho: ratio = 1 degrees of freedom = 44, 60 ratio = sd(no) / sd(si) f = 0.8527 combined 106 1.59434 .2649478 2.727805 1.068997 2.119682 si 61 1.731148 .3617847 2.825629 1.00747 2.454825 no 45 1.408889 .3889616 2.609234 .6249883 2.19279 Group Obs Mean Std. Err. Std. Dev. [95% Conf. Interval] Variance ratio test La varianza non è significativamente diversa (p-value=0.58). Da notache che il test di uguaglianza delle varianze è utilizzabile solo se la variabile è normalmente distribuita. Non avendo trovato forti differenze visive, possiamo passare all’applicazione del t-test ttest weight, by(life) Pr(T < t) = 0.2751 Pr(|T| > |t|) = 0.5502 Pr(T > t) = 0.7249 Ha: diff < 0 Ha: diff != 0 Ha: diff > 0 Ho: diff = 0 degrees of freedom = 104 diff = mean(no) - mean(si) t = -0.5993 diff -.3222587 .5376805 -1.388499 .743982 combined 106 1.59434 .2649478 2.727805 1.068997 2.119682 si 61 1.731148 .3617847 2.825629 1.00747 2.454825 no 45 1.408889 .3889616 2.609234 .6249883 2.19279 Group Obs Mean Std. Err. Std. Dev. [95% Conf. Interval] Two-sample t test with equal variances Il test mostra che la differenza in media stimata è -0.32 il cui intervallo di confidenza del 95% va da -1.39 a 0.74. Il p-value è di 0.55, attestando cosi che tra i due gruppi non c’è differenza in media sulla variabile weight STATA TUTORIAL Elisa Iezzi Analisi di mercato II 32 Ora supponiamo di voler confrontare la prevalenza di depressi tra coloro che hanno pensato di togliersi la vita e chi no. Le due variabili categoriche possono essere incrociate ed attraverso il test del chi-quadro utilizzando un solo comando: tabulate life depress, row chi2 Pearson chi2(2) = 43.8758 Pr = 0.000 23.85 60.55 15.60 100.00 Total 26 66 17 109 0.00 72.41 27.59 100.00 si 0 42 16 58 50.98 47.06 1.96 100.00 no 26 24 1 51 LIFE 1 2 3 Total DEPRESS row percentage frequency Key L’opzione row è usata per mostrare la percentuale di riga e per permette un facile confronto tra i gruppi. Per esempio, il 51% delle persone che non hanno pensato di togliersi la vita, non sono depresse a differenza del valore sotto 0%. Il valore della statistica chi-quadro afferma che vi sia una significativa associazione tra la depressione e il tentato suicidio (p<0.001). Questo test non tiene in considerazione la natura della variabile depressione che è ordinale e cosi sembra essere meno sensibile che la regressione ordinale (LOGIT che vedremo in seguito). Alcune celle in questa classificazione crociata ha solo pochi valori, per questo si potrebbe utilizzare il test esatto di Fisher piuttosto che il test chi-quadro. Il comando è: tabulate life depress, exact nofreq Fisher's exact = 0.000 stage 1: enumerations = 0 stage 2: enumerations = 12 stage 3: enumerations = 1 Enumerating sample-space combinations: Anche con questo test troviamo una forte associazione tra le due variabili Ora possiamo testare l’ipotesi nulla che la proporzione di donne che hanno perso interesse nel sesso non differiscano tra i due gruppi di potenziali suicidi. Possiamo ottenere la tabella ed entrambi i test con un’unica istruzione: tabulate life sex, row chi2 exact 1-sided Fisher's exact = 0.017 Fisher's exact = 0.032 Pearson chi2(1) = 5.6279 Pr = 0.018 15.04 84.96 100.00 Total 17 96 113 7.94 92.06 100.00 si 5 58 63 24.00 76.00 100.00 no 12 38 50 LIFE no si Total SEX row percentage frequency Key Chi pensava di metter fine alla propria vita sono molto simili a chi ha perso interesse nel sesso (92% vs 76%). STATA TUTORIAL Elisa Iezzi Analisi di mercato II 35 Dal grafico risulta che dentro entrambi i gruppi, ad un età maggiore è associato un maggiore peso ed i gruppi non si distinguono facilmente. Infine possiamo calcolare una correlazione tra depressione ed ansietà attraverso l’indice di Kendall che può essere ottenuto con: ktau depress anxiety Prob > |z| = 0.0000 (continuity corrected) Test of Ho: depress and anxiety are independent SE of score = 288.279 (corrected for ties) Kendall's score = 1603 Kendall's tau-b = 0.4951 Kendall's tau-a = 0.2827 Number of obs = 107 La statistica tau-b ha un valore di 0.50 con un pvalue<0.001. Depressione ed ansietà sono chiaramente correlati in questi pazienti psichiatrici 3° obiettivo: Esercizi 1. Calcola la media del peso nei diversi livelli di depressione 2. Calcola la media e la deviazione standard delle variabili age, iq e weight utilizzando “foreach” per ogni variabile di life 3. Crea uno scatterplot di iq e age nei due gruppi di life APPLICAZIONE: IL MODELLO LOGIT Quando la variabile dipendente è dicotomica (0/1) Il modello logit appartiene ai modelli di scelta binaria ed è quello maggiormente utilizzato data la sua convenienza matematica. La distribuzione logistica è la seguente: sotto le assunzioni di indipendenza date le probabilità delle variabili dipendenti . La funzione trasforma i valori continui in un intervallo (0,1), necessario per definire la probabilità. In modo equivalente il modello precedente può essere scritto come dove è una funzione che va da un intervallo ad un intervallo Di solito si parla di perché è più naturale pensare a predittori lineari che spiegano la probabilità piuttosto che il contrario. La curva della funzione logistica-inversa come mostrato nel grafico STATA TUTORIAL Elisa Iezzi Analisi di mercato II 36 La regressione logistica è un una regressione per variabili dipendenti dicotomiche o binarie. Gli odds1 sono il rapporto tra la probabilità di successo sulla probabilità di insuccesso. La trasformazione logaritmica trasforma una moltiplicazione a somma e trasforma anche un insieme di reali positivi all'intera linea reale . Una delle trasformazioni delle probabilità maggiormente utilizzate è definita da: Il modello a regressione logistica è un modello dove è una funzione lineare delle variabili esplicative (indipendenti). Il modello a regressione logistica è un modello dove è una funzione lineare delle variabili esplicative (indpendenti.) Per la stima dei parametri nel modello logistico viene massimizzata la log-verosimiglianza in modo numerico che utilizza un algoritmo iterativo Per una regressione logit , basta digitare logit depvar varlist STATA riporta le stime di massima verosimiglianza per i coefficienti originali sia nel comando logit. Il comando logistic stima un modello logit ma riporta gli odds-ratio per ogni variabile indipendente piuttosto che i coefficienti. Il comando logistic offre anche molti comandi post-stime che possono essere usati per alutare la bontà del modello. Questi comandi vengono eseguiti dopo che la stima viene realizzata. Vedere help logistic per una lista di questi comandi. In ultimo, tutti questi comandi (come regress) possono essere applicati su un sottocampione delle osservazioni, essere eseguiti senza una costante, e possono generare stime usando errori standar robusti tramite l’opzione robust. DESCRIZIONE DATI Il dataset tumor.dat è un clinical trial in cui i pazienti malati di tumore sono randomizzati per ricevere due diversi tipi di chemioterapia (terapia sequenziale e terapia alternata). Il risultato è classificato in una delle quattro categoria: malattia progressiva, nessun cambiamento, parziale regressione o totale remissione. La questione centrale è se c’è una differenza evidente nei diversi risultati nei due tipi di terapie. 1 Pg 211 Snijders T., Bosker R. MULTILEVEL ANALYSIS: An introduction to basic and advanced multilevel modeling. Sage Publications 1999 STATA TUTORIAL Elisa Iezzi Analisi di mercato II 37 Assumiamo di avere un file di testo tumor.dat che contiene una matrice 4x4 delle frequenze. Innanzitutto si dovrà leggere i dati e generare le variabili suddividendole per le terapie e il sesso utilizzando la funzione egen e seq(): infile fr1 fr2 fr3 fr4 using c:\temp\tumor.dat list 4. 12 7 3 1 3. 41 44 20 20 2. 4 12 5 2 1. 28 45 29 26 fr1 fr2 fr3 fr4 egen terapia=seq(), from(0) to(1) block(2) egen sesso=seq(), from(1) to(2) by(terapia) label define t 0 seq 1 alt label values terapia t label define s 1 maschio 2 femmina label values sesso s 4. 12 7 3 1 alt femmina 3. 41 44 20 20 alt maschio 2. 4 12 5 2 seq femmina 1. 28 45 29 26 seq maschio fr1 fr2 fr3 fr4 terapia sesso block(2) permette di creare blocchi bi-dimensionali in cui è ripetuta la sequenza di numeri (da 0 a 1), dove by(terapia) provoca la sequenza e ricomincia tutte le volte che terapia cambia. Dopo dovremmo ristrutturare i dati per il verso della lunghezza (long), mettendo i quattro livelli della variabile dipendente (out come) in una variabile outc ed espandendo i risultati al dataset replicando ogni osservazione per un numero di volte definito da freq cosicchè abbiamo un osservazione per soggetto: reshape long fr, i(terapia sesso) j(outc) fr1 fr2 ... fr4 -> fr xij variables: j variable (4 values) -> outc Number of variables 6 -> 4 Number of obs. 4 -> 12 Data wide -> long (note: j = 1 2 3 4) expand fr (238 observations created) Per controllare che la conversion dei dati sia corretta: table sesso outc, contents(freq) by(terapia) Terapia e outc sesso 1 2 3 4 seq maschio 28 45 29 26 femmina 4 12 5 2 alt maschio 41 44 20 20 femmina 12 7 3 1