NoBSLinearAlgebra
                   andVectorGeometry
                        Jeffrey Wang
                   January 29, 2018 – May 20, 2018
                     version 2018.05.20.18:56
                        First edition
     ii
            Contents
            Author’s Notes                                                                                               i
                0.1   NoBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     i
                0.2   WhatNoBSLinearAlgebracovers . . . . . . . . . . . . . . . . . . . . . . . . . . . .                i
                0.3   Whatthisstudyguidedoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .             i
                0.4   Whatthisstudyguidedoesnotdo . . . . . . . . . . . . . . . . . . . . . . . . . . . .                i
                0.5   Otherstudyresources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .          i
                0.6   Dedication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     i
                0.7   Sources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   ii
                0.8   Copyrightandresale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        ii
            1   Systemsoflinearequations                                                                                1
                1.1   Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    1
                1.2   Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    2
                      Matrix notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     2
                      Solving matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    3
                      Existence and uniqueness (part 1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .       3
                      Rowreductionandechelonform . . . . . . . . . . . . . . . . . . . . . . . . . . . . .              4
                      Evaluating solutions of a linear system . . . . . . . . . . . . . . . . . . . . . . . . . .       5
                      Existence and uniqueness (part 2) of matrices . . . . . . . . . . . . . . . . . . . . . .         6
                1.3   Vectors and vector equations        . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
                      Vector operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     6
                      Vectors and matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .      7
                      Combiningvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        7
                1.4   Linear combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .       7
                      Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    8
                      Existence and uniqueness (part 3) of linear combinations . . . . . . . . . . . . . . .            8
                1.5   Basic matrix multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .    10
                                                     ~
                1.6   ThematrixequationA~x = b . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .         11
                      Existenceanduniqueness(part4): Fourwaystorepresentaconsistentlinearsystem 11
                1.7   Homogeneouslinearsystems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .           12
                      Parametric vector form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     12
                      Non-homogeneouslinearsystemsintermsofhomogeneouslinearsystems . . . . 13
                1.8   Linear independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .      13
                      Linear independence of a set of one vector . . . . . . . . . . . . . . . . . . . . . . . .       13
                      Linear independence of a set of two vectors . . . . . . . . . . . . . . . . . . . . . . .        14
                      Linear independence of a set of multiple vectors . . . . . . . . . . . . . . . . . . . .         14
                1.9   Linear transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .     14
                                                                  iii
             iv                                                                                                CONTENTS
                       Properties of linear transformations         . . . . . . . . . . . . . . . . . . . . . . . . . . .   15
                 1.10 The matrix of a linear transformation . . . . . . . . . . . . . . . . . . . . . . . . . . .           16
                       Geometrictransformations in R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .             16
                       Anothervectorrepresentation format . . . . . . . . . . . . . . . . . . . . . . . . . .               16
                       Existence and uniqueness (part 5): Onto and one-to-one . . . . . . . . . . . . . . . .               17
                 1.11 SummaryofChapter1: Waystorepresentexistenceanduniqueness . . . . . . . . 18
             2   Matrixalgebra                                                                                              19
                 2.1   Matrix operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        19
                       Additionandscalarmultiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . .              19
                       Matrix multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        20
                 2.2   Transpose and inverse matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .           22
                       Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        22
                       Inverse matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .       23
                       Inverse matrices and row equivalence . . . . . . . . . . . . . . . . . . . . . . . . . .             24
                 2.3   Characteristics of invertible matrices: the Invertible Matrix Theorem . . . . . . . .                25
                       Invertible linear transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . .          26
                 2.4   Partitioned matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .       26
                 2.5   Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        26
                       Columnspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .          27
                       Nullspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        27
                       Relating column space and null space together . . . . . . . . . . . . . . . . . . . . .              28
                 2.6   Basis    . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .   28
                       Standardbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        29
                       Nonstandardbasis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .           29
                       Basis examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .       29
                 2.7   Coordinate vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .        31
                 2.8   Dimension,rank,andnullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .              31
             3   Determinants                                                                                               33
                 3.1   Introduction to determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .           33
                       Pre-definition notations and conventions . . . . . . . . . . . . . . . . . . . . . . . .              33
                       Definition of the determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .           34
                       Laplace expansion (cofactor expansion) . . . . . . . . . . . . . . . . . . . . . . . . .             34
                       Sign patterns for terms of a determinant summation . . . . . . . . . . . . . . . . . .               34
                       Triangular matrix determinant calculation . . . . . . . . . . . . . . . . . . . . . . . .            35
                 3.2   Properties of determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .         35
                       Summaryofdeterminantproperties . . . . . . . . . . . . . . . . . . . . . . . . . . .                 36
                 3.3   Cramer’srule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .         36
             4   Vector spaces                                                                                              37
                 4.1   Introduction to vector spaces and their relation to subspaces . . . . . . . . . . . . .              37
                       Subspacesinrelation to vector spaces . . . . . . . . . . . . . . . . . . . . . . . . . .             38
                 4.2   Nullspaces, column spaces, and linear transformations . . . . . . . . . . . . . . . .                39
                 4.3   Spanningsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .         40
                 4.4   Coordinate systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .         40
                 4.5   Dimensionofavectorspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .              41
                 4.6   Rankofavectorspace’smatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .               42