Download Lectures on Linear Algebra and Matrices

Lectures on Linear Algebra and Matrices
G. Donald Allen
Department of Mathematics
Texas A&M University
College Station, TX 77843-3368
September 22, 2003
2
Contents
1 Vectors and Vector Spaces
1.1 Vector Spaces . . . . . . . . . . . . . . . . .
1.1.1 Subspaces . . . . . . . . . . . . . . .
1.2 Linear independence and linear dependence
1.3 Bases . . . . . . . . . . . . . . . . . . . . .
1.4 Extension to a basis . . . . . . . . . . . . .
1.5 Dimension . . . . . . . . . . . . . . . . . . .
1.6 Norms . . . . . . . . . . . . . . . . . . . . .
1.7 Ordered Bases . . . . . . . . . . . . . . . .
1.8 Exercises. . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
7
10
13
15
16
17
23
30
32
2 Matrices and Linear Algebra
35
2.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2 Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.3 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.4 Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.4.1 An important equality for matrix multiplication and
the inner product . . . . . . . . . . . . . . . . . . . . . 63
2.4.2 The Legendre Polynomials . . . . . . . . . . . . . . . . 64
2.4.3 Orthogonal matrices . . . . . . . . . . . . . . . . . . . 66
2.5 Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.5.1 Minors and Determinants . . . . . . . . . . . . . . . . 72
2.6 Partitioned Matrices . . . . . . . . . . . . . . . . . . . . . . . 78
2.7 Linear Transformations . . . . . . . . . . . . . . . . . . . . . 80
2.8 Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . 83
2.9 Appendix A – Solving linear systems . . . . . . . . . . . . . 85
2.10 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
3
4
CONTENTS
3 Eigenvalues and Eigenvectors
3.1 Matrix Norms . . . . . . . . . . . . . . . .
3.2 Convergence and perturbation theory . .
3.3 Eigenvectors and Eigenvalues . . . . . . .
3.4 The Hamilton-Cayley Theorem . . . . . .
3.5 Similarity . . . . . . . . . . . . . . . . . .
3.6 Equivalent norms and convergent matrices
3.7 Exercises . . . . . . . . . . . . . . . . . .
3.8 Appendix A . . . . . . . . . . . . . . . . .
3.9 Appendix B . . . . . . . . . . . . . . . . .
3.9.1 Infinite Series . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
95
95
99
103
117
123
131
135
138
140
140
4 Unitary Matrices
147
4.1 Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
4.2 Schur’s theorem . . . . . . . . . . . . . . . . . . . . . . . . . . 153
4.3 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5 Hermitian Theory
5.1 Diagonalizability of Hermitian Matrices
5.2 Finding eigenvectors. . . . . . . . . . .
5.3 Positive definite matrices . . . . . . . .
5.4 Exercises . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6 Normal Matrices
7 Factorization Theorems
7.1 The PLU Decomposition
7.2 LR factorization . . . .
7.3 The QR algorithm . . .
7.4 Least Squares . . . . . .
161
. 161
. 166
. 170
. 170
171
.
.
.
.
8 Jordan Normal Form
8.1 Minimal Polynomials . . .
8.2 Invariant subspaces . . . .
8.3 The Jordan Normal Form
8.4 Convergent matrices . . .
8.5 Exercises . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
175
. 175
. 183
. 185
. 191
.
.
.
.
.
195
. 195
. 198
. 204
. 208
. 209
CONTENTS
5
9 Hermitian and Symmetric Matrices
211
9.1 Variational Characterizations of Eigenvalues . . . . . . . . . . 215
9.2 Matrix inequalities . . . . . . . . . . . . . . . . . . . . . . . . 217
9.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
10 Nonnegative Matrices
10.1 Definitions . . . . . . . . . . .
10.2 General Theory . . . . . . . . .
10.3 Mean Ergodic Theorem . . . .
10.4 Irreducible Matrices . . . . . .
10.4.1 Sharper estimates of the
10.5 Stochastic Matrices . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . .
maximal eigenvalue
. . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
219
. 219
. 220
. 224
. 227
. 233
. 236
6
CONTENTS