Classification of Accuracy and Precision Assessment | ESRM 430, Study notes of Environmental Science

Download Classification of Accuracy and Precision Assessment | ESRM 430 and more Study notes Environmental Science in PDF only on Docsity! ESRM430_S08   May 22, 2008 5/22/2008 Dr. L. M. Moskal 1 Research problem definition Data requirements analysis ‐ aerial vs. satellite ‐high resolution vs. coarse resolution ‐spectral bands required l fu la tio n Data acquisition and  preprocessing Radiometric, geometric and atmospheric corrections Preliminary steps Data normalization‐tempora   requency Data availability determination ‐temporal coverage ‐spatial coverage ‐spectral coverage Data acquisition cost Pr oj ec t r ef or m u Data classification Analysis Example Change detection Accuracy assessment ESRM430_S08   May 22, 2008 5/22/2008 Dr. L. M. Moskal 2 Precision (deviation) is the measure of  the closeness of the experimental values  to each other, and is an indicator of  systematic error. It is possible to get  wrong answers that are very close  together, if the cause of the problem is  consistently repeated Accuracy (error) is a measure of the  closeness of the experimental value to  the best know value, or the assumed  true value.  The best know value may  change as better techniques are  developed.  Accuracy is an indicator of  random error Our capacity for producing maps far outstrips our ability to  meaningfully quantify their accuracy Limits the effective use of RS products A classification is not complete until its accuracy is assessed Once we have created our thematic map, we need to assess  th   lit   f    ke qua y o our wor We need to identify how accurate the classifier labelled each pixel or  feature object to a specific thematic class To find out how accurately the image was classified, a statistical  evaluation must be completed Pixels of known class membership are used for evaluation, where  we identify: Each pixel is correct (classified in right class), or Each pixel is incorrect (classified in wrong class) O f lptions  or accuracy eva uation: Use training pixels Use independent pixels (called cross‐validation) ▪ Preferred option ▪ Independent pixels can be acquired from locating field samples or by  comparison to other datasets (i.e. other classification done by someone else) ESRM430_S08   May 22, 2008 5/22/2008 Dr. L. M. Moskal 5 Training Set Data (Known Cover Types) Water Sand Forest Urban Corn Hay Total Water 480 5 485 Sand 52 20 72 Forest 313 40 353 Urban 16 126 142 Corn 38 342 79 459 Hay 38 24 60 359 481 Total 480 68 356 248 402 438 1992 Producer’s Accuracy Water = 480/480 = 100% Sand = 52/68 = 76% Forest = 313/356 = 88% Urban = 126/248 = 51% Corn = 342/402 = 85% Hay = 359/438 = 82% Producer’s accuracy Obtained by dividing correctly classified pixels  in each category by the column total (total pixels  used for that category) Measure of omission error Training Set Data (Known Cover Types) Water Sand Forest Urban Corn Hay Total Water 480 5 485 Sand 52 20 72 Forest 313 40 353 Urban 16 126 142 Corn 38 342 79 459 Hay 38 24 60 359 481 Total 480 68 356 248 402 438 1992 Users’s Accuracy Water = 480/485 = 99% Sand = 52/72 = 72% Forest = 313/353 = 89% Urban = 126/142 = 89% Corn = 342/459 = 74% Hay = 359/481 = 75% User’s accuracy Obtained by dividing correctly classified pixels in  each category by the row total (total pixels  committed to that category) Measure of commission error Maps are often characterized by it’s ‘overall’ accuracy, yet  accuracies for individual classes can be quite variable Training area accuracies are overstated, since the ‘test’  data were the same points used to train the decision rule Random, independent test points should be used whenever  possible ESRM430_S08   May 22, 2008 5/22/2008 Dr. L. M. Moskal 6 Even a random assignment of pixels will produce SOME  correct results The KHAT statistic is a measure of the difference between  the classification and a random / chance assignment of  pixels KHAT = observed accuracy – chance agreement 1 – chance agreement For example, KHAT = 0.67 An observed classification is 67% better than one resulting from  chance A KHAT of 0 = a given classification is no better than a  random assignment of pixels A KHAT  f      Th   l ifi ti  i   % b tt  th    o 1 = e c ass ca on s 100 e er an a random assignment of pixels KHAT statistic provides a measure of classification accuracy  confidence What constitutes ‘reference data’? Air photo interpretation, existing map/GIS data, ground‐truthed  landcover ▪ An attempt should also be made to quantify the precision of the  reference data Problem with ‘mixed pixels’ Normally, only homogenous regions (3x3 pixels) are considered for  training and testing ▪ Introduces subtle bias Accuracy statistics should be considered with the intended  application in mind ESRM430_S08   May 22, 2008 5/22/2008 Dr. L. M. Moskal 7 Data output What’s missing? •What  where  when?, , •Source data •Accuracy Hard‐copy map product Two‐dimensional thematic map with pseudo colour table, projection,  and all the elements of a map Summary statistics Tabular data presenting summary statistics (areal extent, for  example) for each cover type Digital files Digital data files for GIS integration Metadata!!! Pre classification data enhancements Post classification data cleanup and manual enhancements