CONTENTS 5

12 Inner Product Spaces, Least Squares 30712.1 Orthogonal Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . 30712.2 Formula for Distance to a Subspace . . . . . . . . . . . . . . . . . . . . . 31212.3 Riesz Representation Theorem, Adjoint Map . . . . . . . . . . . . . . . . 31312.4 Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31712.5 Fredholm Alternative . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31812.6 The Determinant and Volume . . . . . . . . . . . . . . . . . . . . . . . . 31912.7 Finding an Orthogonal Basis . . . . . . . . . . . . . . . . . . . . . . . . 32012.8 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

13 Matrices and the Inner Product 32913.1 Schur’s Theorem, Hermitian Matrices . . . . . . . . . . . . . . . . . . . . 32913.2 Quadratic Forms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33313.3 The Estimation Of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 33413.4 Advanced Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33613.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33913.6 Cauchy’s Interlacing Theorem, Eigenvalues . . . . . . . . . . . . . . . . 34813.7 The Right Polar Factorization . . . . . . . . . . . . . . . . . . . . . . . . 35113.8 The Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35413.9 An Application To Statistics . . . . . . . . . . . . . . . . . . . . . . . . . 35513.10 Simultaneous Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . 35713.11 Fractional Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36213.12 Roots of Positive Linear Maps . . . . . . . . . . . . . . . . . . . . . . . . 363

13.12.1 The Product of Positive Self Adjoint Operators . . . . . . . . . . 36313.12.2 Roots of Positive Self Adjoint Operators . . . . . . . . . . . . . 364

13.13 Spectral Theory of Self Adjoint Operators . . . . . . . . . . . . . . . . . 36613.14 Positive and Negative Linear Transformations . . . . . . . . . . . . . . . 37013.15 The Singular Value Decomposition . . . . . . . . . . . . . . . . . . . . . 37213.16 Approximation In The Frobenius Norm . . . . . . . . . . . . . . . . . . . 37413.17 Least Squares And Singular Value Decomposition . . . . . . . . . . . . . 37713.18 The Moore Penrose Inverse . . . . . . . . . . . . . . . . . . . . . . . . . 37713.19 The Spectral Norm And The Operator Norm . . . . . . . . . . . . . . . . 38113.20 The Positive Part Of A Hermitian Matrix . . . . . . . . . . . . . . . . . . 38213.21 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

14 Analysis Of Linear Transformations 38914.1 The Condition Number . . . . . . . . . . . . . . . . . . . . . . . . . . . 38914.2 The Spectral Radius . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39014.3 Series And Sequences Of Linear Operators . . . . . . . . . . . . . . . . . 39314.4 Iterative Methods For Linear Systems . . . . . . . . . . . . . . . . . . . . 39814.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

15 Numerical Methods, Eigenvalues 41115.1 The Power Method For Eigenvalues . . . . . . . . . . . . . . . . . . . . . 411

15.1.1 The Shifted Inverse Power Method . . . . . . . . . . . . . . . . 41415.1.2 The Explicit Description Of The Method . . . . . . . . . . . . . 415

15.2 Automation With Matlab . . . . . . . . . . . . . . . . . . . . . . . . . . 41515.2.1 Complex Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . 418