John A.

Richards · Xiuping Jia

Remote Sensing Digital

Image Analysis
An Introduction

4th Edition

With 197 Figures

Contents

1 Sources and Characteristics of Remote Sensing Image Data . . . . . . . . 1

1.1 Introduction to Data Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Characteristics of Digital Image Data . . . . . . . . . . . . . . . . . . 1
1.1.2 Spectral Ranges Commonly Used in Remote Sensing . . . . 4
1.1.3 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2 Remote Sensing Platforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3 Image Data Sources in the Microwave Region . . . . . . . . . . . . . . . . . . 12
1.3.1 Side Looking Airborne Radar
and Synthetic Aperture Radar . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Spatial Data Sources in General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.1 Types of Spatial Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4.2 Data Formats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.3 Geographic Information Systems (GIS) . . . . . . . . . . . . . . . . 18
1.4.4 The Challenge to Image Processing and Analysis . . . . . . . . 20
1.5 A Comparison of Scales in Digital Image Data . . . . . . . . . . . . . . . . . . 21

2 Error Correction and Registration of Image Data . . . . . . . . . . . . . . . . 27

2.1 Sources of Radiometric Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.1 The Effect of the Atmosphere on Radiation . . . . . . . . . . . . . 28
2.1.2 Atmospheric Effects on Remote Sensing Imagery . . . . . . . . 31
2.1.3 Instrumentation Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.2 Correction of Radiometric Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.1 Detailed Correction of Atmospheric Effects . . . . . . . . . . . . . 33
2.2.2 Bulk Correction of Atmospheric Effects . . . . . . . . . . . . . . . . 34
2.2.3 Correction of Instrumentation Errors . . . . . . . . . . . . . . . . . . 36
2.3 Sources of Geometric Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.3.1 Earth Rotation Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.2 Panoramic Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3.3 Earth Curvature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3.4 Scan Time Skew . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
XVI Contents

2.3.5 Variations in Platform Altitude, Velocity and Attitude . . . . . 43

2.3.6 Aspect Ratio Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.3.7 Sensor Scan Nonlinearities . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.4 Correction of Geometric Distortion . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.4.1 Use of Mapping Polynomials for Image Correction . . . . . . 46
2.4.1.1 Mapping Polynomials
and Ground Control Points . . . . . . . . . . . . . . . . . . . 47
2.4.1.2 Resampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.4.1.3 Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.4.1.4 Choice of Control Points . . . . . . . . . . . . . . . . . . . . 51
2.4.1.5 Example of Registration to a Map Grid . . . . . . . . 51
2.4.2 Mathematical Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.4.2.1 Aspect Ratio Correction . . . . . . . . . . . . . . . . . . . . . 54
2.4.2.2 Earth Rotation Skew Correction . . . . . . . . . . . . . . 55
2.4.2.3 Image Orientation to North-South . . . . . . . . . . . . . 55
2.4.2.4 Correction of Panoramic Effects . . . . . . . . . . . . . . 55
2.4.2.5 Combining the Corrections . . . . . . . . . . . . . . . . . . 56
2.5 Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
2.5.1 Georeferencing and Geocoding . . . . . . . . . . . . . . . . . . . . . . . 56
2.5.2 Image to Image Registration . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.5.3 Control Point Localisation by Correlation . . . . . . . . . . . . . . 57
2.5.4 Example of Image to Image Registration . . . . . . . . . . . . . . . 58
2.6 Miscellaneous Image Geometry Operations . . . . . . . . . . . . . . . . . . . . 59
2.6.1 Image Rotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.6.2 Scale Changing and Zooming . . . . . . . . . . . . . . . . . . . . . . . . 61

3 The Interpretation of Digital Image Data . . . . . . . . . . . . . . . . . . . . . . . 67

3.1 Approaches to Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.2 Forms of Imagery for Photointerpretation . . . . . . . . . . . . . . . . . . . . . . 69
3.3 Computer Processing for Photointerpretation . . . . . . . . . . . . . . . . . . . 72
3.4 An lntroduction to Quantitative Analysis – Classification . . . . . . . . . 72
3.5 Multispectral Space and Spectral Classes . . . . . . . . . . . . . . . . . . . . . . 75
3.6 Quantitative Analysis by Pattern Recognition . . . . . . . . . . . . . . . . . . . 77
3.6.1 Pixel Vectors and Labelling . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.6.2 Unsupervised Classification . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.6.3 Supervised Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

4 Radiometric Enhancement Techniques . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.1.1 Point Operations and Look Up Tables . . . . . . . . . . . . . . . . . . 83
4.1.2 Scalar and Vector Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2 The Image Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3 Contrast Modification in Image Data . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3.1 Histogram Modification Rule . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.3.2 Linear Contrast Modification . . . . . . . . . . . . . . . . . . . . . . . . . 86
 Contents XVII

4.3.3 Saturating Linear Contrast Enhancement . . . . . . . . . . . . . . . . 88

4.3.4 Automatic Contrast Enhancement . . . . . . . . . . . . . . . . . . . . . . 88
4.3.5 Logarithmic and Exponential Contrast Enhancement . . . . . . 89
4.3.6 Piecewise Linear Contrast Modification . . . . . . . . . . . . . . . . 89
4.4 Histogram Equalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.4.1 Use of the Cumulative Histogram . . . . . . . . . . . . . . . . . . . . . . 90
4.4.2 Anomalies in Histogram Equalization . . . . . . . . . . . . . . . . . . 95
4.5 Histogram Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.5.1 Principle of Histogram Matching . . . . . . . . . . . . . . . . . . . . . . 97
4.5.2 Image to Image Contrast Matching . . . . . . . . . . . . . . . . . . . . 98
4.5.3 Matching to a Mathematical Reference . . . . . . . . . . . . . . . . . 99
4.6 Density Slicing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.6.1 Black and White Density Slicing . . . . . . . . . . . . . . . . . . . . . . 101
4.6.2 Colour Density Slicing and Pseudocolouring . . . . . . . . . . . . 104

5 Geometric Enhancement Using Image Domain Techniques . . . . . . . . 109

5.1 Neighbourhood Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.2 Template Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.3 Geometric Enhancement as a Convolution Operation . . . . . . . . . . . . . 110
5.4 Image Domain Versus Fourier Transformation Approaches . . . . . . . . 113
5.5 Image Smoothing (Low Pass Filtering) . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.5.1 Mean Value Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.5.2 Median Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.6 Edge Detection and Enhancement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.6.1 Linear Edge Detecting Templates . . . . . . . . . . . . . . . . . . . . . . 120
5.6.2 Spatial Derivative Techniques . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.6.2.1 The Roberts Operator . . . . . . . . . . . . . . . . . . . . . . . . 121
5.6.2.2 The Sobel Operator . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.6.2.3 The Prewitt Operator . . . . . . . . . . . . . . . . . . . . . . . . 122
5.6.3 Thinning, Linking and Border Responses . . . . . . . . . . . . . . . 123
5.6.4 Edge Enhancement by Subtractive Smoothing
(Sharpening) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
5.7 Line Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.7.1 Linear Line Detecting Templates . . . . . . . . . . . . . . . . . . . . . . 125
5.7.2 Non-linear and Semi-linear Line Detecting Templates . . . . . 125
5.8 General Convolution Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.9 Detecting Geometric Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.9.1 Texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.9.2 Spatial Correlation – The Semivariogram . . . . . . . . . . . . . . . 131
5.9.3 Shape Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132

6 Multispectral Transformations of Image Data . . . . . . . . . . . . . . . . . . . 137

6.1 The Principal Components Transformation . . . . . . . . . . . . . . . . . . . . . 137
6.1.1 The Mean Vector and Covariance Matrix . . . . . . . . . . . . . . . . 138
6.1.2 A Zero Correlation, Rotational Transform . . . . . . . . . . . . . . . 141
XVIII Contents

6.1.3
Examples – Some Practical Considerations . . . . . . . . . . . . . . 145
6.1.4
The Effect of an Origin Shift . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.1.5
Application of Principal Components
in Image Enhancement and Display . . . . . . . . . . . . . . . . . . . . 150
6.1.6 The Taylor Method of Contrast Enhancement . . . . . . . . . . . . 151
6.1.7 Other Applications of Principal Components Analysis . . . . 154
6.2 Noise Adjusted Principal Components Transformation . . . . . . . . . . . 154
6.3 The Kauth-Thomas Tasseled Cap Transformation . . . . . . . . . . . . . . . . 156
6.4 Image Arithmetic, Band Ratios and Vegetation Indices . . . . . . . . . . . 160

7 Fourier Transformation of Image Data . . . . . . . . . . . . . . . . . . . . . . . . . 165

7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.2 Special Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.2.1 The Complex Exponential Function . . . . . . . . . . . . . . . . . . . . 166
7.2.2 The Dirac Delta Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7.2.2.1 Properties of the Delta Function . . . . . . . . . . . . . . . 167
7.2.3 The Heaviside Step Function . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.3 Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.4 The Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.5 Convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
7.5.1 The Convolution Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
7.5.2 Convolution with an Impulse . . . . . . . . . . . . . . . . . . . . . . . . . 171
7.5.3 The Convolution Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.6 Sampling Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.7 The Discrete Fourier Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
7.7.1 The Discrete Spectrum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
7.7.2 Discrete Fourier Transform Formulae . . . . . . . . . . . . . . . . . . 177
7.7.3 Properties of the Discrete Fourier Transform . . . . . . . . . . . . 178
7.7.4 Computation of the Discrete Fourier Transform . . . . . . . . . . 179
7.7.5 Development of the Fast Fourier Transform Algorithm . . . . 179
7.7.6 Computational Cost of the Fast Fourier Transform . . . . . . . . 183
7.7.7 Bit Shuffling and Storage Considerations . . . . . . . . . . . . . . . 184
7.8 The Discrete Fourier Transform of an Image . . . . . . . . . . . . . . . . . . . . 184
7.8.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.8.2 Evaluation of the Two Dimensional, Discrete Fourier
Transform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.8.3 The Concept of Spatial Frequency . . . . . . . . . . . . . . . . . . . . . 185
7.8.4 Image Filtering for Geometric Enhancement . . . . . . . . . . . . 187
7.8.5 Convolution in Two Dimensions . . . . . . . . . . . . . . . . . . . . . . . 188
7.9 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

8 Supervised Classification Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . 193

8.1 Steps in Supervised Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
8.2 Maximum Likelihood Classification . . . . . . . . . . . . . . . . . . . . . . . . . . 194
8.2.1 Bayes’ Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
 Contents XIX

8.2.2 The Maximum Likelihood Decision Rule . . . . . . . . . . . . . . . 195

8.2.3 Multivariate Normal Class Models . . . . . . . . . . . . . . . . . . . . 196
8.2.4 Decision Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
8.2.5 Thresholds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
8.2.6 Number of Training Pixels Required for Each Class . . . . . . 199
8.2.7 A Simple Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
8.3 Minimum Distance Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
8.3.1 The Case of Limited Training Data . . . . . . . . . . . . . . . . . . . . 201
8.3.2 The Discriminant Function . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
8.3.3 Degeneration of Maximum Likelihood
to Minimum Distance Classification . . . . . . . . . . . . . . . . . . . 203
8.3.4 Decision Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.3.5 Thresholds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.4 Parallelepiped Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
8.5 Classification Time Comparison of the Classifiers . . . . . . . . . . . . . . . 206
8.6 Other Supervised Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8.6.1 The Mahalanobis Classifier . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8.6.2 Table Look Up Classification . . . . . . . . . . . . . . . . . . . . . . . . . 207
8.6.3 The kNN (Nearest Neighbour) Classifier . . . . . . . . . . . . . . . 207
8.7 Gaussian Mixture Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
8.8 Context Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
8.8.1 The Concept of Spatial Context . . . . . . . . . . . . . . . . . . . . . . . 209
8.8.2 Context Classification by Image Pre-processing . . . . . . . . . 210
8.8.3 Post Classification Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.4 Probabilistic Label Relaxation . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.4.1 The Basic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . 211
8.8.4.2 The Neighbourhood Function . . . . . . . . . . . . . . . . 212
8.8.4.3 Determining the Compatibility Coefficients . . . . . 213
8.8.4.4 The Final Step – Stopping the Process . . . . . . . . . 214
8.8.4.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
8.8.5 Handling Spatial Context by Markov Random Fields . . . . . 216
8.9 Non-parametric Classification: Geometric Approaches . . . . . . . . . . . 219
8.9.1 Linear Discrimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
8.9.1.1 Concept of a Weight Vector . . . . . . . . . . . . . . . . . . 220
8.9.1.2 Testing Class Membership . . . . . . . . . . . . . . . . . . . 221
8.9.1.3 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
8.9.1.4 Setting the Correction Increment . . . . . . . . . . . . . . 223
8.9.1.5 Classification – The Threshold Logic Unit . . . . . . 224
8.9.1.6 Multicategory Classification . . . . . . . . . . . . . . . . . 225
8.9.2 Support Vector Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
8.9.2.1 Linearly Separable Data . . . . . . . . . . . . . . . . . . . . . 226
8.9.2.2 Linear Inseparability –
The Use of Kernel Functions . . . . . . . . . . . . . . . . . 230
8.9.2.3 Multicategory Classification . . . . . . . . . . . . . . . . . 231
XX Contents

8.9.3 Networks of Classifiers – Solutions of Nonlinear Problems 231

8.9.4 The Neural Network Approach . . . . . . . . . . . . . . . . . . . . . . . 232
8.9.4.1 The Processing Element . . . . . . . . . . . . . . . . . . . . . 232
8.9.4.2 Training the Neural Network –
Backpropagation . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
8.9.4.3 Choosing the Network Parameters . . . . . . . . . . . . 238
8.9.4.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

9 Clustering and Unsupervised Classification . . . . . . . . . . . . . . . . . . . . . 249

9.1 Delineation of Spectral Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
9.2 Similarity Metrics and Clustering Criteria . . . . . . . . . . . . . . . . . . . . . . 249
9.3 The Iterative Optimization (Migrating Means)
Clustering Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
9.3.1 The Basic Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
9.3.2 Mergings and Deletions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
9.3.3 Splitting Elongated Clusters . . . . . . . . . . . . . . . . . . . . . . . . . . 254
9.3.4 Choice of Initial Cluster Centres . . . . . . . . . . . . . . . . . . . . . . 254
9.3.5 Clustering Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
9.4 Unsupervised Classification and Cluster Maps . . . . . . . . . . . . . . . . . . 255
9.5 A Clustering Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
9.6 A Single Pass Clustering Technique . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
9.6.1 Single Pass Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
9.6.2 Advantages and Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . 259
9.6.3 Strip Generation Parameter . . . . . . . . . . . . . . . . . . . . . . . . . . 259
9.6.4 Variations on the Single Pass Algorithm . . . . . . . . . . . . . . . . 259
9.6.5 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
9.7 Agglomerative Hierarchical Clustering . . . . . . . . . . . . . . . . . . . . . . . . 260
9.8 Clustering by Histogram Peak Selection . . . . . . . . . . . . . . . . . . . . . . . 263

10 Feature Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

10.1 Feature Reduction and Separability . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
10.2 Separability Measures
for Multivariate Normal Spectral Class Models . . . . . . . . . . . . . . . . . 268
10.2.1 Distribution Overlaps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
10.2.2 Divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
10.2.2.1 A General Expression . . . . . . . . . . . . . . . . . . . . . . . 269
10.2.2.2 Divergence of a Pair of Normal Distributions . . . 270
10.2.2.3 Use of Divergence for Feature Selection . . . . . . . 271
10.2.2.4 A Problem with Divergence . . . . . . . . . . . . . . . . . . 272
10.2.3 The Jeffries-Matusita (JM) Distance . . . . . . . . . . . . . . . . . . . 273
10.2.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
10.2.3.2 Comparison of Divergence and JM Distance . . . . 274
10.2.4 Transformed Divergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
10.2.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
 Contents XXI

10.2.4.2 Relation Between Transformed Divergence

and Probability of Correct Classification . . . . . . . 275
10.2.4.3 Use of Transformed Divergence in Clustering . . . 276
10.3 Separability Measures for Minimum Distance Classification . . . . . . 276
10.4 Feature Reduction by Data Transformation . . . . . . . . . . . . . . . . . . . . . 276
10.4.1 Feature Reduction
Using the Principal Components Transformation . . . . . . . . 277
10.4.2 Canonical Analysis as a Feature Selection Procedure . . . . . 279
10.4.2.1 Within Class
and Among Class Covariance Matrices . . . . . . . . . 280
10.4.2.2 A Separability Measure . . . . . . . . . . . . . . . . . . . . . . 281
10.4.2.3 The Generalised Eigenvalue Equation . . . . . . . . . . 281
10.4.2.4 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
10.4.3 Discriminant Analysis Feature Extraction (DAFE) . . . . . . . 285
10.4.4 Non-parametric Discriminant Analysis
and Decision Boundary Feature Extraction (DBFE) . . . . . . 286
10.4.5 Non-parametric Weighted Feature Extraction (NWFE) . . . 290
10.4.6 Arithmetic Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 292

11 Image Classification Methodologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
11.2 Supervised Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
11.2.1 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
11.2.2 Determination of Training Data . . . . . . . . . . . . . . . . . . . . . . . 296
11.2.3 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
11.2.4 Detecting Multimodal Distributions . . . . . . . . . . . . . . . . . . . 297
11.2.5 Presentation of Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
11.2.6 Effect of Resampling on Classification . . . . . . . . . . . . . . . . . 298
11.3 Unsupervised Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
11.3.1 Outline, and Comparison with Supervised Methods . . . . . . 299
11.3.2 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
11.4 A Hybrid Supervised/Unsupervised Methodology . . . . . . . . . . . . . . . 301
11.4.1 The Essential Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
11.4.2 Choice of the Clustering Regions . . . . . . . . . . . . . . . . . . . . . 302
11.4.3 Rationalisation of the Number of Spectral Classes . . . . . . . 302
11.5 Assessment of Classification Accuracy . . . . . . . . . . . . . . . . . . . . . . . . 303
11.5.1 Using a Testing Set of Pixels . . . . . . . . . . . . . . . . . . . . . . . . . 303
11.5.2 The Leave One Out Method of Accuracy Assessment –
Cross Validation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
11.6 Case Study 1: Irrigated Area Determination . . . . . . . . . . . . . . . . . . . . 307
11.6.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
11.6.2 The Study Region . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
11.6.3 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
11.6.4 Signature Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
11.6.5 Classification and Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
XXII Contents

11.6.6 Concluding Remarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

11.7 Case Study 2: Multitemporal Monitoring of Bush Fires . . . . . . . . . . 314
11.7.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
11.7.2 Simple Illustration of the Technique . . . . . . . . . . . . . . . . . . . 314
11.7.3 The Study Area . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
11.7.4 Registration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
11.7.5 Principal Components Transformation . . . . . . . . . . . . . . . . . 317
11.7.6 Classification of Principal Components Imagery . . . . . . . . . 319
11.8 Hierarchical Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
11.8.1 The Decision Tree Classifier . . . . . . . . . . . . . . . . . . . . . . . . . 321
11.8.2 Decision Tree Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
11.8.3 Progressive Two-Class Decision Classifier . . . . . . . . . . . . . . 324
11.8.4 Error Accumulation in a Decision Tree . . . . . . . . . . . . . . . . . 327
11.9 A Note on Hyperspectral Data Classification . . . . . . . . . . . . . . . . . . . 328

12 Multisource, Multisensor Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

12.1 The Stacked Vector Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
12.2 Statistical Multisource Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
12.2.1 Joint Statistical Decision Rules . . . . . . . . . . . . . . . . . . . . . . . 334
12.2.2 Committee Classifiers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
12.2.3 Opinion Pools and Consensus Theoretic Methods . . . . . . . . 336
12.2.4 Use of Prior Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
12.2.5 Supervised Label Relaxation . . . . . . . . . . . . . . . . . . . . . . . . . 337
12.3 The Theory of Evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
12.3.1 The Concept of Evidential Mass . . . . . . . . . . . . . . . . . . . . . . 338
12.3.2 Combining Evidence – the Orthogonal Sum . . . . . . . . . . . . 340
12.3.3 Decision Rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
12.4 Knowledge-Based Image Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
12.4.1 Knowledge Processing: Emulating Photointerpretation . . . 342
12.4.2 Fundamentals of a Knowledge-Based
Image Analysis System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
12.4.2.1 Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
12.4.2.2 Representation of Knowledge: Rules . . . . . . . . . . 345
12.4.2.3 The Inference Mechanism . . . . . . . . . . . . . . . . . . . 346
12.4.3 Handling Multisource and Multisensor Data . . . . . . . . . . . . 347
12.4.4 An Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
12.4.4.1 Rules as Justifiers for a Labelling Proposition . . . 350
12.4.4.2 Endorsement of a Labelling Proposition . . . . . . . . 351
12.4.4.3 Knowledge Base and Results . . . . . . . . . . . . . . . . . 352

13 Interpretation of Hyperspectral Image Data . . . . . . . . . . . . . . . . . . . . . 359

13.1 Data Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
13.2 The Challenge to Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
13.2.1 Data Volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
13.2.2 Redundancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
 Contents XXIII

13.2.3 The Need for Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

13.2.4 The Problem of Dimensionality:
The Hughes Phenomenon . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
13.3 Data Calibration Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
13.3.1 Detailed Radiometric Correction . . . . . . . . . . . . . . . . . . . . . . 366
13.3.2 Data Normalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
13.3.3 Approximate Radiometric Correction . . . . . . . . . . . . . . . . . . 368
13.4 Interpretation Using Spectral Information . . . . . . . . . . . . . . . . . . . . . . 368
13.4.1 Spectral Angle Mapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
13.4.2 Using Expert Spectral Knowledge
and Library Searching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
13.4.3 Library Searching by Spectral Coding . . . . . . . . . . . . . . . . . 371
13.4.3.1 Binary Spectral Codes . . . . . . . . . . . . . . . . . . . . . . 371
13.4.3.2 Matching Algorithms . . . . . . . . . . . . . . . . . . . . . . . 373
13.5 Hyperspectral Interpretation by Statistical Methods . . . . . . . . . . . . . . 373
13.5.1 Limitations of Traditional
Thematic Mapping Procedures . . . . . . . . . . . . . . . . . . . . . . . 373
13.5.2 Block-based Maximum Likelihood Classification . . . . . . . . 375
13.6 Feature Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
13.6.1 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
13.6.2 Spectral Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
13.6.3 Feature Selection from Principal Components
Transformed Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
13.7 Regularised Covariance Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
13.8 Compression of Hyperspectral Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
13.9 Spectral Unmixing: End Member Analysis . . . . . . . . . . . . . . . . . . . . . 385

A Missions and Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389

A.1 Weather Satellite Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
A.1.1 Polar Orbiting and Geosynchronous Satellites . . . . . . . . . . . 389
A.1.2 The NOAA AVHRR
(Advanced Very High Resolution Radiometer) . . . . . . . . . . 390
A.1.3 The Nimbus CZCS (Coastal Zone Colour Scanner) . . . . . . 390
A.1.4 GMS VISSR (Visible and Infrared Spin Scan Radiometer)
and GOES Imager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.2 Earth Resource Satellite Sensors
in the Visible and Infrared Regions . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.2.1 The Landsat System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.2.2 The Landsat Instrument Complement . . . . . . . . . . . . . . . . . . 393
A.2.3 The Return Beam Vidicon (RBV) . . . . . . . . . . . . . . . . . . . . . 393
A.2.4 The Multispectral Scanner (MSS) . . . . . . . . . . . . . . . . . . . . . 394
A.2.5 The Thematic Mapper (TM)
and Enhanced Thematic Mapper + (ETM+) . . . . . . . . . . . . . 396
A.2.6 The SPOT HRV, HRVIR, HRG, HRS and Vegetation
Instruments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
XXIV Contents

A.2.7 ADEOS (Advanced Earth Observing Satellite) . . . . . . . . . . 398

A.2.8 Sea-Viewing Wide Field of View Sensor (SeaWiFS) . . . . . . 399
A.2.9 Marine Observation Satellite (MOS) . . . . . . . . . . . . . . . . . . . 400
A.2.10 Indian Remote Sensing Satellite (IRS) . . . . . . . . . . . . . . . . . 401
A.2.11 RESURS-O1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
A.2.12 The Earth Observing 1 (EO-1) Mission . . . . . . . . . . . . . . . . 401
A.2.13 Aqua and Terra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
A.2.14 Ikonos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
A.3 Aircraft Scanners in the Visible and Infrared Regions . . . . . . . . . . . . 405
A.3.1 General Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
A.3.2 Airborne Imaging Spectrometers . . . . . . . . . . . . . . . . . . . . . . 406
A.4 Spaceborne Imaging Radar Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 407
A.4.1 The Seasat SAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
A.4.2 Spaceborne (Shuttle) Imaging Radar-A (SIR-A) . . . . . . . . . 407
A.4.3 Spaceborne (Shuttle) Imaging Radar-B (SIR-B) . . . . . . . . . 409
A.4.4 Spaceborne (Shuttle) Imaging Radar-C (SIR-C)/X-Band
Synthetic Aperture Radar (X-SAR) . . . . . . . . . . . . . . . . . . . . 409
A.4.5 ERS-1,2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
A.4.6 JERS-1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
A.4.7 Radarsat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
A.4.8 Shuttle Radar Topography Mission (SRTM) . . . . . . . . . . . . 410
A.4.9 Envisat Advanced Synthetic Aperture Radar (ASAR) . . . . . 411
A.4.10 The Advanced Land Observing Satellite
(ALOS) PALSAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
A.5 Aircraft Imaging Radar Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

B Satellite Altitudes and Periods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

C Binary Representation of Decimal Numbers . . . . . . . . . . . . . . . . . . . . . 415

D Essential Results from Vector and Matrix Algebra . . . . . . . . . . . . . . . . 417

D.1 Definition of a Vector and a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
D.2 Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419
D.3 Multiplication, Addition and Subtraction of Matrices . . . . . . . . . . . . 420
D.4 The Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . 420
D.5 Some Important Matrix, Vector Operations . . . . . . . . . . . . . . . . . . . . . 421
D.6 An Orthogonal Matrix – The Concept of Matrix Transpose . . . . . . . 421
D.7 Diagonalisation of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

E Some Fundamental Material from Probability and Statistics . . . . . . . 423

E.1 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
E.2 The Normal Probability Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . 424
E.2.1 The Univariate Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 424
E.2.2 The Multivariate Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
 Contents XXV

F Penalty Function Derivation

of the Maximum Likelihood Decision Rule . . . . . . . . . . . . . . . . . . . . . . 427
F.1 Loss Functions and Conditional Average Loss . . . . . . . . . . . . . . . . . . 427
F.2 A Particular Loss Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

Subject Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431