Contents

Intro
11
1.1 Some of What We Will Cover . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2 Some Basic Mathematical Entities in Physics . . . . . . . . . . . . . . . . . . 11
1.3 Describing Mathematical/Physical Objects and Phenomenon . . . . . . . . . . 13

Traditional Vector Theory

2.1 Fundamental Defining Concepts . . . . . . . . . . . . . . . . . . . . .
Fundamental Geometrically Defined Concepts . . . . . . . . . . . .
Subsequent Geometric Concepts . . . . . . . . . . . . . . . . . . . .
Fundamental Geometrically Defined Algebraic Operations . . . . . .
Decomposing Vectors, Part I (Length and Direction) . . . . . . . . .
2.2 Traditional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . .
Linear Combinations and Related Notions . . . . . . . . . . . . . . .
Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3 The Dot Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Geometric Definition . . . . . . . . . . . . . . . . . . . . . . . . . .
Projections and Linearity of the Dot Product . . . . . . . . . . . . .
Components and the Dot Product . . . . . . . . . . . . . . . . . . .
2.4 The Cross Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Geometric Definition . . . . . . . . . . . . . . . . . . . . . . . . . .
Area and Volume and the Cross Product . . . . . . . . . . . . . . . .
Area of a Parallelogram . . . . . . . . . . . . . . . . . . . . . . . .
Volume of a Parallelepiped . . . . . . . . . . . . . . . . . . . . . . .
Linearity of the Cross Product . . . . . . . . . . . . . . . . . . . . .
Right-Handed Bases and the Classical Formula for the Cross Product
2.5 Triple Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 Reciprocal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

General Vector Spaces

3.1 Elementary Complex Analysis . . . . . .
Basic Ideas, Notation and Terminology
The Complex Exponential . . . . . . .
Derivation . . . . . . . . . . . . . . .
3.2 General Vector Spaces . . . . . . . . . .
Definition . . . . . . . . . . . . . . . .

4/24/2012

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

21
22
22
23
24
25
25
26
27
210
210
211
215
216
216
217
217
217
218
220
220
221

.
.
.
.
.
.

31
31
31
32
34
35
35

Chapter & Page: 0 2

3.3

3.4

3.5

3.6

Linear Combinations, Basis and Components . . . . . . . . . .

Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . .
Vector Subspaces . . . . . . . . . . . . . . . . . . . . . . . . .
Inner Products and Norms . . . . . . . . . . . . . . . . . . . . .
Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . .
Inner Products and Vector Components . . . . . . . . . . . . . .
When the Basis is Arbitrary . . . . . . . . . . . . . . . . . . .
When the Basis is Orthogonal, but Not Necessarily Orthonormal
When the Basis is Orthonormal . . . . . . . . . . . . . . . . .
Constructing Orthonormal Sets from Arbitrary Sets . . . . . . . .
Normalizing . . . . . . . . . . . . . . . . . . . . . . . . . . .
Components Orthogonal to a Set . . . . . . . . . . . . . . . . .
The Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . .
Volumes of N-Dimensional Hyper-Parallelepipeds (Part I) . . .
Basics and Notation . . . . . . . . . . . . . . . . . . . . . . .
Linear Dependence and Volumes of Hyper-Parallelepiped . . .
Component Formulas . . . . . . . . . . . . . . . . . . . . . . .
Geometric Formulas . . . . . . . . . . . . . . . . . . . . . . .

Elementary Matrix Theory

4.1 Basics . . . . . . . . . . . . . . . . . . . . . .
Our Basic Notation . . . . . . . . . . . . . .
Basic Algebra . . . . . . . . . . . . . . . . .
Inner Products of Matrices . . . . . . . . . .
Conjugates, Transposes and Adjoints . . . .
Transposes . . . . . . . . . . . . . . . . . .
4.2 Extending the Bra Ket Notation . . . . . .
Using an Orthonormal Basis . . . . . . . . .
Using an Arbitrary Basis . . . . . . . . . . .
4.3 Square Matrices . . . . . . . . . . . . . . . . .
The Zero, Identity and Inverse Matrices . . .
4.4 Determinants . . . . . . . . . . . . . . . . . .
Definition, Formulas and Cramers Rule . . .
Properties and Applications of Determinants
Change of Basis
5.1 Unitary and Orthogonal Matrices . . . . . .
Definitions . . . . . . . . . . . . . . . .
Rows and Columns of Unitary Matrices .
An Important Consequence and Exercise
5.2 Change of Basis for Vector Components:
The General Case . . . . . . . . . . . . . .
5.3 Change of Basis for Vector Components:
When the Bases Are Orthonormal . . . . .
The Main Result . . . . . . . . . . . . .
Finding the Matrices . . . . . . . . . . .

version: 4/24/2012

.
.
.
.

.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

36
38
310
310
310
311
313
314
314
315
316
316
316
317
319
321
321
323
324
326

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

41
41
41
42
43
44
44
46
46
47
48
48
49
49
411

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

51
51
51
52
54

. . . . . . . . . . . . . . . . . . . 55
. . . . . . . . . . . . . . . . . . . 58
. . . . . . . . . . . . . . . . . . . 58
. . . . . . . . . . . . . . . . . . . 510

Chapter & Page: 0 3

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

511
511
511
512
513
514
515
515
515
516

Elementary Linear Transform Theory

6.1 Basic Definitions and Examples . . . . . . . . . . . . . . . . . . . .
6.2 A Note on Notation . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3 Matrices for Linear Transforms . . . . . . . . . . . . . . . . . . . . .
Defining the Matrix in General . . . . . . . . . . . . . . . . . . . .
So What? (Using the Matrix) . . . . . . . . . . . . . . . . . . . .
Special (but Common) Cases . . . . . . . . . . . . . . . . . . . . .
6.4 Change of Basis for Transform Matrices . . . . . . . . . . . . . . . .
6.5 Adjoints of Operators . . . . . . . . . . . . . . . . . . . . . . . . . .
6.6 Inner-Product Preserving Operators and Unitary/Orthogonal Matrices
6.7 On Confusing Matrices and Linear Operators A Brief Rant . . . .

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

61
61
63
63
63
65
67
68
610
611
612

Eigenvectors and Hermitian Operators

7.1 Eigenvalues and Eigenvectors . . . . . . . . . . . . . .
Basic Definitions . . . . . . . . . . . . . . . . . . .
Eigenspaces and Multiple Eigenvalues . . . . . . . .
Finding Eigenpairs (Finite-Dimensional Case) . . .
7.2 More Basic Eigen-Theory . . . . . . . . . . . . . .
Basis Independence of the Characteristic Polynomial
Eigenvectors as Basis Vectors . . . . . . . . . . . .
Diagonalizing a Matrix . . . . . . . . . . . . . .
7.3 Self-Adjoint/Hermitian Operators and Matrices . . . .
Some General Background Stuff . . . . . . . . . . .
Eigenpairs for Hermitian Operators and Matrices . .
The Completeness of the Set of Eigenvectors . . . .
Summary of the Big Results . . . . . . . . . . . . .
7.4 Diagonalizing Hermitian Matrices and Operators . . .
General Ideas and Procedures . . . . . . . . . . . .
Cheap Tricks . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

71
71
71
73
73
78
78
710
712
713
713
714
716
719
720
720
726

.
.
.
.
.
.

81
82
82
83
83
85
85

5.4

5.5
5.6

Multiple Change of Basis . . . . . . . . . . . . . . . . .

Traditional Rotated and Flipped Bases . . . . . . . . . . . .
Direction Cosines . . . . . . . . . . . . . . . . . . . . . .
Two-Dimensional Case . . . . . . . . . . . . . . . . . . .
Three-Dimensional Case . . . . . . . . . . . . . . . . . .
Sidenote: Vectors Defined by a Transformation Law . . . . .
Volumes of N-Dimensional Hyper-Parallelpipeds (Part II)
Recollections from Section 3.6 . . . . . . . . . . . . . . .
General Component Formulas . . . . . . . . . . . . . . .
Special Cases . . . . . . . . . . . . . . . . . . . . . . . .

Multidimensional Calculus: Basics

8.1 Fundamental Geometric Entities and Concepts .
Spaces of Points/Positions/Locations . . . .
Curves and Angles . . . . . . . . . . . . . .
Curves and Distance . . . . . . . . . . . . .
8.2 Euclidean-ness . . . . . . . . . . . . . . . . .
Euclidean Spaces . . . . . . . . . . . . . . .

version: 4/24/2012

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

Chapter & Page: 0 4

Non-Euclidean Spaces . . . . . . . . . . . . . . . . . . . . .
So What Is a Space? . . . . . . . . . . . . . . . . . . . . .
8.3 Coordinate Systems . . . . . . . . . . . . . . . . . . . . . . . .
Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Basis-Based Coordinate Systems in Euclidean Spaces . . . .
8.4 Describing Curves . . . . . . . . . . . . . . . . . . . . . . . .
Parametrizations . . . . . . . . . . . . . . . . . . . . . . . .
Orientation for Curves . . . . . . . . . . . . . . . . . . . . .
Arclength Parametrization for Curves . . . . . . . . . . . . .
8.5 Parametrized Surfaces in E 3 . . . . . . . . . . . . . . . . . . .
Parametrizations . . . . . . . . . . . . . . . . . . . . . . . .
Surfaces Given by Graphs . . . . . . . . . . . . . . . . . . .
Generalizations . . . . . . . . . . . . . . . . . . . . . . . . .
8.6 Differentiation of Position (Along a Curve) . . . . . . . . . . .
In Euclidean Space . . . . . . . . . . . . . . . . . . . . . . .
In General . . . . . . . . . . . . . . . . . . . . . . . . . . .
Partial Derivatives . . . . . . . . . . . . . . . . . . . . . . .
8.7 Tangent Spaces of Vectors . . . . . . . . . . . . . . . . . . . .
8.8 Scaling Factors and Vectors Associated with Coordinate Systems
Scaling Factors and Associated Tangent Vectors . . . . . . .
Local Bases and Orthogonality . . . . . . . . . . . . . . . . .
The Metric . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.9 The Chain Rule . . . . . . . . . . . . . . . . . . . . . . . . . .
In Euclidean Spaces . . . . . . . . . . . . . . . . . . . . . .
The Chain Rule in Non-Euclidean Spaces . . . . . . . . . . .
The General Result . . . . . . . . . . . . . . . . . . . . . . .
8.10 Converting Between Two Coordinate Systems . . . . . . . . . .
9

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

87
88
89
89
810
812
812
813
814
815
815
816
817
817
817
820
821
822
824
824
828
829
830
830
830
831
831

Multidimensional Calculus:
Mainly Differential Theory
9.1 Motion, Curves, Arclength, Acceleration and the Christoffel Symbols
Velocity and Speed . . . . . . . . . . . . . . . . . . . . . . . . . .
Distance Traveled / Arclength . . . . . . . . . . . . . . . . . . . .
Acceleration and the Christoffel Symbols . . . . . . . . . . . . . .
9.2 Scalar and Vector Fields . . . . . . . . . . . . . . . . . . . . . . . .
Basic Definitions and Concepts . . . . . . . . . . . . . . . . . . .
Some Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Change of Coordinates and the Coordinate Formulas . . . . . . . .
A Few Words About Continuity and Differentiability . . . . . . . .
9.3 The Classic Gradient, Divergence and Curl . . . . . . . . . . . . . .
Basic Definitions in Euclidean Space . . . . . . . . . . . . . . . .
Invariance Under Change of Cartesian Coordinates . . . . . . . . .
Product and Chain Rules . . . . . . . . . . . . . . . . . . . . . . .
9.4 The General Gradient Operator . . . . . . . . . . . . . . . . . . . . .
Geometric Significance of . . . . . . . . . . . . . . . . . . .
General Definition and Formula for the Gradient . . . . . . . . . .
9.5 General Formulas for the Divergence and Curl . . . . . . . . . . . . .
9.6 Repeated Applications of the Del Operator . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

91
91
91
93
94
99
99
911
911
912
913
913
914
914
915
915
917
919
921

version: 4/24/2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

Chapter & Page: 0 5

9.7

General Observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 921

The Laplacian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 922
Multidimensional Differential Operators under Radial Symmetry . . . . . . . . 924

10 Multidimensional Integration
10.1 Integrals over Curves/Paths/Lines/Contours . . . . . . . . . . . . .
Basic Definitions . . . . . . . . . . . . . . . . . . . . . . . . . .
Various Notes on Computing Line Integrals . . . . . . . . . . . .
Coordinate Formulas for Computing Line Integrals . . . . . . . .
10.2 A Little Potential Theory . . . . . . . . . . . . . . . . . . . . . . .
Conservative Vector Fields . . . . . . . . . . . . . . . . . . . . .
Conservative Vector Fields and Path-Independence of Integrals
Finding the Potential, If Possible . . . . . . . . . . . . . . . . . .
Comments on the Potentials Being Well Defined . . . . . . . .
10.3 Surface Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . .
Basic Definitions . . . . . . . . . . . . . . . . . . . . . . . . . .
Coordinate Formulas for the Element of Area . . . . . . . . . . .
Using Jacobians . . . . . . . . . . . . . . . . . . . . . . . . . .
10.4 Volume Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.5 Normal Vector Fields . . . . . . . . . . . . . . . . . . . . . . . . .
General Definitions and Concepts . . . . . . . . . . . . . . . . .
Standard Conventions . . . . . . . . . . . . . . . . . . . . . . .
Integrals with Normal Vector Fields . . . . . . . . . . . . . . . .
A Brief Physical Interpretation of F n . . . . . . . . . . . . . .
10.6 The Basic Fundamental Theorem of Multidimensional Calculus . .
The Basic Lemma . . . . . . . . . . . . . . . . . . . . . . . . .
Extending the Lemma . . . . . . . . . . . . . . . . . . . . . . .
10.7 The Classical Theorem of Gauss . . . . . . . . . . . . . . . . . . .
10.8 The Classical Theorems of Green and Stokes . . . . . . . . . . . .
Greens Theorem . . . . . . . . . . . . . . . . . . . . . . . . . .
Stokes Theorem . . . . . . . . . . . . . . . . . . . . . . . . . .
10.9 The General Divergence and Curl . . . . . . . . . . . . . . . . . .
Coordinate-Free Definitions . . . . . . . . . . . . . . . . . . . .
Some Integral Limit Facts . . . . . . . . . . . . . . . . . . . . .
Divergence in Two Dimensions . . . . . . . . . . . . . . . . . .
Divergence in Higher Dimensions . . . . . . . . . . . . . . . . .
The Curl and Stokes Theorem . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

101
101
101
103
104
106
106
107
109
1011
1012
1012
1013
1016
1018
1019
1019
1020
1021
1021
1022
1023
1025
1026
1028
1028
1030
1032
1032
1033
1033
1037
1038

11 Tensors
11.1 The Reciprocal Basis Fields . . . . . . . . . . . . . . . . . . . . .
11.2 Co- and Contravariant Components of Vector Fields . . . . . . . . .
Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Some Examples . . . . . . . . . . . . . . . . . . . . . . . . . .
11.3 Converting Between Co- and Contravariant Representations . . . .
Components of the Reciprocal Bases with Respect to Each Other
Co/Contra-variant Conversion for Vector Fields . . . . . . . . . .
11.4 Converting Between Two Coordinate Systems . . . . . . . . . . . .
11.5 So What Is A Tensor, Anyway? . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

111
111
112
112
114
115
115
117
118
1110

version: 4/24/2012

Chapter & Page: 0 6

A Good (but Long) Definition of Tensors . . . . . . . . . . . . . . . . . . . 1110

Traditional Definition of Tensors . . . . . . . . . . . . . . . . . . . . . . . . 1112
11.6 And What Is This Mysterious Metric That Keeps Popping Up? . . . . . . . . 1112
12 Infinite Series
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.2 Series of Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . .
Basics on Convergence . . . . . . . . . . . . . . . . . . . . . . .
The Geometric Series . . . . . . . . . . . . . . . . . . . . . . .
Convergence Tests for Other Series . . . . . . . . . . . . . . . .
Appendix: On the Convergence of Absolutely Convergence Series
12.3 Infinite Series of Functions . . . . . . . . . . . . . . . . . . . . . .
Functions as Terms . . . . . . . . . . . . . . . . . . . . . . . . .
Convergence and Error Functions . . . . . . . . . . . . . . . . .
The Importance of Uniform Convergence . . . . . . . . . . . . .
12.4 Optional Addendum for Section 12.3:
Abels Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.5 Power Series . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Radii of Convergence . . . . . . . . . . . . . . . . . . . . . . .
Uniform Convergence and the Calculus of Power Series . . . . .
Power Series Representations of Functions . . . . . . . . . . . .
12.6 Power Series of Other Things . . . . . . . . . . . . . . . . . . . . .
12.7 Convergence in Norm . . . . . . . . . . . . . . . . . . . . . . . . .
Definition and General Commentary . . . . . . . . . . . . . . . .
Some Basic Inequalities . . . . . . . . . . . . . . . . . . . . . .
13 Power Series and Differential Equations:
The Method of Frobenius
13.1 The Basic Method of Frobenius (Illustrated) . . . . . . .
Preliminaries . . . . . . . . . . . . . . . . . . . . . .
The Basic Steps . . . . . . . . . . . . . . . . . . . . .
13.2 Practical Advice and Possibly Helpful Comments . . . .
13.3 Theory Behind the Method (Without Proofs) . . . . . . .
Basic Theory and Ordinary Points . . . . . . . . . . .
More Advanced Theory . . . . . . . . . . . . . . . .
Behavior of Solutions Near Regular Singular Points .
More on the Indicial Equation and Complex Solutions
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Some Answers to Some of the Exercises . . . . . . .
14 Complex Analysis I: The Basic Calculus
14.1 Complex Numbers . . . . . . . . . . . . . . .
14.2 Sets of Complex Numbers . . . . . . . . . . .
14.3 Functions . . . . . . . . . . . . . . . . . . . .
Basics . . . . . . . . . . . . . . . . . . . . .
Single-Valued Versus Multi-Valued Functions
Exponential and Trigonometric Functions . .

version: 4/24/2012

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

121
121
124
124
127
129
1214
1215
1215
1215
1220

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

1222
1225
1225
1225
1231
1233
1237
1239
1239
1241

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

131
131
131
132
1310
1312
1312
1313
1316
1319
1321
1326

.
.
.
.
.
.

141
141
143
144
144
145
146

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

Chapter & Page: 0 7

The Natural Logarithm . . . . .

Square Roots and Such . . . . .
14.4 Derivatives . . . . . . . . . . . .
Partial Derivatives . . . . . . .
The Complex Derivative . . . .
14.5 Complex Integration Over Curves
Basics . . . . . . . . . . . . . .

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

148
148
149
149
1410
1415
1415

15 Complex Analysis II: Cauchy Integral Theorems and Formulas

15.1 Relating Integrability with Differentiability . . . . . . . . . . . .
Recalling a Little Potential Theory . . . . . . . . . . . . . . . .
Cauchys Theorem Relating Integrability with Differentiability .
A Converse to the Cauchy Integral Theorem? . . . . . . . . . .
15.2 Line Integrals Around Bad Points . . . . . . . . . . . . . . . .
15.3 Cauchys Integral Formulas . . . . . . . . . . . . . . . . . . . . .
The Basic Cauchy Integral Formula . . . . . . . . . . . . . . .
All the Cauchy Integral Formulas . . . . . . . . . . . . . . . .
Some Other Consequences of the Cauchy Integral Formulas . .
15.4 APPENDIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Goursats Proof of the Cauchy Integral Theorem . . . . . . . .
Maximum Modulus Theorems . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

151
151
151
152
155
156
158
158
159
1512
1514
1514
1518

16 Complex Analysis III: Laurent Series and Singularities

16.1 Laurent Series . . . . . . . . . . . . . . . . . . . . .
Derivation and Main Theorem . . . . . . . . . . .
16.2 Computing Laurent Series . . . . . . . . . . . . . .
Using Geometric Series . . . . . . . . . . . . . .
Using Known Taylor or Laurent Series . . . . . .
Products of Laurent Series . . . . . . . . . . . . .
16.3 Singularities and the Laurent Series . . . . . . . . .
Singularities at Finite Points . . . . . . . . . . . .
Identifying Singularities in Practice . . . . . . . .
Zeroes at Finite Points . . . . . . . . . . . . . . .
Singularities and Zeroes at Infinity (A Sidenote) .

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

161
161
161
165
165
168
168
1611
1611
1614
1616
1617

17 Residue Theory
17.1 Basic Residue Theory . . . . . . . . . . . . . . . . . . . .
The Residue Theorem . . . . . . . . . . . . . . . . . .
Computing Residues . . . . . . . . . . . . . . . . . . .
17.2 Simple Applications R. . . . . . . . . . . . . . . . . . .
2
Integrals of the form R0 f (sin , cos ) d . . . . . . .

Integrals of the form f (x) d x . . . . . . . . . . .

Standard Simple Tricks . . . . . . . . . . . . . . . .
Appendices to this Section . . . . . . . . . . . . . . . .
17.3 Integrals Over Branch Cuts of Multi-Valued Functions . .
17.4 Integrating Through Poles and the Cauchy Principal Value
The Cauchy Principal Value of an Integral . . . . . . . .
Linearity of the Cauchy Principal Value . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

171
171
171
173
174
174
176
179
1714
1717
1720
1720
1722

version: 4/24/2012

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

Chapter & Page: 0 8

Integrating Through Singularities . . . . . . . . . . . . . . . . . . . . . . . 1722

18 Partial Differential Equations I: Basics and Separable Solutions
18.1 Intro and Examples . . . . . . . . . . . . . . . . . . . . . . . . .
Simple Examples . . . . . . . . . . . . . . . . . . . . . . . . .
Basic Terminology . . . . . . . . . . . . . . . . . . . . . . . .
Linearity/Principle of Superposition . . . . . . . . . . . . . . .
General Solutions . . . . . . . . . . . . . . . . . . . . . . . . .
18.2 Separation of Variables for Partial Differential Equations (Part I) .
Separable Functions . . . . . . . . . . . . . . . . . . . . . . .
Finding Separable Solutions . . . . . . . . . . . . . . . . . . .
Further Notes on this Procedure . . . . . . . . . . . . . . . . .
18.3 Boundary and Initial Conditions . . . . . . . . . . . . . . . . . .
18.4 Separation of Variables for Partial Differential Equations (Part II) .
Superposition and the Role of Boundary and Initial Conditions .
The Full Separation of Variables Procedure . . . . . . . . . . .
A Few Notes . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.

181
181
181
182
183
184
185
185
186
1810
1811
1812
1812
1814
1820

19 Sturm-Liouville Theory
19.1 Preliminaries to the Sturm-Liouville Theory . . . . . . . . . . . . . . . . . . .
Preliminaries to the Preliminaries . . . . . . . . . . . . . . . . . . . . . . .
The Weight Function and Interval of Interest . . . . . . . . . . . . . . . . .
The Inner Product and Norm . . . . . . . . . . . . . . . . . . . . . . . . . .
Generalized Fourier Series . . . . . . . . . . . . . . . . . . . . . . . . . . .
Completeness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19.2 The Sturm-Liouville Theory . . . . . . . . . . . . . . . . . . . . . . . . . . .
The Problem and Basic Terminology . . . . . . . . . . . . . . . . . . . . .
Greens Formula, Boundary Conditions, and the Sturm-Liouville Problem
19.3 The Main Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Using (Mainly) Hermitian Operator Theory from Last Term . . . . . . . . .
Other Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
19.4 The Main Results Summarized (Sort of) . . . . . . . . . . . . . . . . . . . . .
A Mega-Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Illustrating the Mega-Theorem . . . . . . . . . . . . . . . . . . . . . . . . .
19.5 APPENDIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
(Re)Deriving Some Results Already Derived . . . . . . . . . . . . . . . . .

191
191
191
192
192
193
194
195
195
198
1912
1912
1915
1918
1918
1919
1921
1921

20 Partial Differential Equations II: Solving (Homogeneous) PDE Problems

20.1 Problems with Two Variables . . . . . . . . . . . . . . . . . . . . . . .
Putting It All Together . . . . . . . . . . . . . . . . . . . . . . . . .
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
What About Convergence? . . . . . . . . . . . . . . . . . . . . . . .
20.2 Higher Dimensional Problems . . . . . . . . . . . . . . . . . . . . . .
General Comments . . . . . . . . . . . . . . . . . . . . . . . . . . .
Heat Flow on a Disk (Part I) . . . . . . . . . . . . . . . . . . . . . .
Separating the Variables . . . . . . . . . . . . . . . . . . . . . . . .
The Radial Problem, Slightly Generalized and Simplified . . . . . . .

201
201
201
205
206
207
207
208
209
2011

version: 4/24/2012

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

Chapter & Page: 0 9

21 Special Functions
21.1 The Gamma Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Basic Definition and Identities . . . . . . . . . . . . . . . . . . . . . . . . .
The Big Identity for (z) , and Factorials . . . . . . . . . . . . . . . . . . .
The Extended Definition of the Gamma Function . . . . . . . . . . . . . . .
Even More Formulas and Identities for the Gamma Function . . . . . . . . .
21.2 Bessel Functions of the First Kind . . . . . . . . . . . . . . . . . . . . . . . .
The Frobenius Solutions to Bessels Equation . . . . . . . . . . . . . . . . .
Recursion Formulas and the Generating Function . . . . . . . . . . . . . . .
Qualitative Behavior of Bessel Functions (of the First Kind) on the Real Line
Using the Bessel Functions . . . . . . . . . . . . . . . . . . . . . . . . . . .
21.3 Other Bessel Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Bessel Functions of the Second Kind . . . . . . . . . . . . . . . . . . . . .
The Hankel Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21.4 Other Special Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Even More Bessel Functions . . . . . . . . . . . . . . . . . . . . . . . . .
And Others . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21.5 Appendix: Verifying Identity (21.8) . . . . . . . . . . . . . . . . . . . . . . .

211
211
211
213
214
215
216
216
2110
2111
2119
2120
2121
2122
2122
2122
2123
2124

22 Nonhomogeneous PDE Problems

221
22.1 Eigenfunction Expansions of Solutions . . . . . . . . . . . . . . . . . . . . . . 221
A A Brief Review of Elementary Ordinary Differential Equations
A.1 Basic Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.2 Some Analytic Methods for Solving First-Order ODEs . . . . . . . . . .
Separable Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Other Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.3 Higher-Order Linear Differential Equations . . . . . . . . . . . . . . . . .
Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Notes About Linear Independence . . . . . . . . . . . . . . . . . . . . .
Second-Order Linear Homogeneous Equations with Constant Coefficients
Second-Order Euler Equations . . . . . . . . . . . . . . . . . . . . . . .
Other Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Some Answers to Some of the Exercises . . . . . . . . . . . . . . . . .

version: 4/24/2012

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

A1
A1
A2
A2
A2
A4
A4
A4
A5
A6
A7
A8
A9
A11