《2023年MIT公开课线性代数笔记.docx》由会员分享，可在线阅读，更多相关《2023年MIT公开课线性代数笔记.docx（44页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、目录方程组的几何解释2矩阵消元3乘法和逆矩阵4A的LU分解6转置-置换-向量空间R8求解AX=0：主变量，特解9求解AX=b：可解性和解的解构10线性相关性、基、维数11四个基本子空间12矩阵空间、秩1矩阵和小世界图13图和网络14正交向量与子空间15子空间投影18投影矩阵与最小二乘20正交矩阵和Gram-Schmidt正交化21特征值与特征向量24对角化和A的幂24微分方程和exp(At)（待处理）25对称矩阵与正定性25正定矩阵与最小值27相似矩阵和若尔当型（未完成）28奇异值分解(SVD)29线性变换及对应矩阵30基变换和图像压缩32NOTATIONp：projection vector
2、P：projection matrixe：error vectorP：permutation matrixT：transport signC(A)：column spaceN(A)：null spaceU：upper triangularL：lower triangularE：elimination matrixQ：orthogonal matrix, which means the column vectors are orthogonalE：elementary/elimination matrix, which always appears in the elimination of m
3、atrixN：null space matrix, the “solution matrix” of AX=0R：reduced matrix, which always appears in the triangular matrix, “IF00”I：identity matrixS：eigenvector matrix：eigenvalue matrixC：cofactor matrix关于LINER ALGEBA名垂青史的分析方法：由具象到抽象，由二维到高维。方程组的几何解释1. 行图像，列图像2. 矩阵乘法：方法一. 列向量的线性组合方法二. 左行乘以右列3. 矩阵右乘向量（竖直）：
4、矩阵列的线性组合4. 矩阵左乘向量（横平）：矩阵行的线性组合矩阵消元1. 课程目的：讨论消元法有效，以及无效的情况 用矩阵语言描述消元法2. 消元有效和失效a) 消元目的：把A矩阵化为U矩阵（主元不能出现0）b) 消元失效：主元是0：行互换可以解决主元为0的暂时性失效，但当底下的行中再也没有非0元素时，消元就彻底失效了。3. 用矩阵来表达矩阵变换（消元）a) 例：b) 针对上一例，假设总变换E=E32E21，这个矩阵对于消元法中出现的乘数来说太不直观了，然而E-1=E21-1E32-1,这个逆比较直观，由于它们是初等列变换的逆变换，只用改变乘数的系数就可以得到它们的逆，这就引出了下一章的内容：
5、A的LU分解。=a+b+c+d=a+b+c+d4. 置换矩阵乘法和逆矩阵1. 矩阵乘法的四个方法AB=Ca) 左行乘右列b) 线性组合列=a+b+c+dc) 线性组合行 =a+b+c+dd) 左列乘右行 2. 矩阵的逆a) 只有方阵才也许可逆（非方阵也可以求逆矩阵，但是是伪逆）b) 左逆等于右逆c) 没有逆的情况i. 行列式为0，列向量共线ii. 存在非零向量X，使AX=0（零空间有非零元素）d) 存在逆的情况i. 求逆和解方程组是一回事ii. Gauss-Jordan消元法例：环节： 就是所求的A-1。3. 求逆总结a) 正交矩阵Q-1=QTb) 上三角或者下三角矩阵求逆：i. 例：ii.
6、例：c) 克拉默法则求逆（代数余子式）A的LU分解1. 假设A和B都可逆，(AB)-1=B-1A-1,由于括号可以移动,就像先脱鞋子，再脱袜子，逆动作是先穿袜子，再穿鞋子2. (A-1)T=(AT)-1(转置和逆可以颠倒)3. A的LU分解a) 例：A=，对其进行消元，目的是得到U。i. = A L Ui.ii. A=LUA=LDUd) 3*3矩阵的情形i. E32E31E21A=UA=E21-1E31-1E32-1UA=LUii. 例：E31E21=E和(E21)-1(E31)-1=L的例子：求E不容易，但是想要得到L，只要把所有消元乘数写进来，就可以得到！iii. 总结：E不好求，E不重要
7、，好求的是L，重要的是L。e) 一个n*n矩阵A，消元需要多少次？（“一次”：一般乘法+减法一次） n2+(n-1)2+22+12=f) 考虑行互换的情形：转置与置换(3*3)i. 互换0行：Iii. P12=iii. P13=iv. 总共有6种。v. 假如取逆，只要把行换回去即可。逆矩阵仍然在这六个里。vi. P-1=PT4. 总结：A的LU分解，U是直观上看的消元得到上三角矩阵的结果，L比较特殊，它记录了每一次的行变换。要注意的是，由于L是初等变换矩阵的逆矩阵，所以L中对角线元素的符号不发生改变，但是要取倒数；而其他元素的符号均发生改变。转置-置换-向量空间R1. 置换矩阵：P,用来完毕行
8、互换的矩阵。2. 置换矩阵是行重新排列了的单位矩阵。3. 置换矩阵的逆矩阵和它的转置矩阵相等。PTP=I.4. 转置矩阵（略）5. 对称矩阵：symmetric matrix，转置后和原矩阵相等（注意：对角线两边符号不同也有也许是对称矩阵，满足AT=A即可）。6. ATA一定是一个对称阵。7. 向量空间：向量张成的空间。8. 由于向量乘以0必须在向量空间里，所以向量空间的子空间必然过原点。9. 一个向量空间自身就是它自己的一个子空间。它是最大的子空间。10. 零向量是所有实空间的子空间。它总是构成最小的子空间。11. 矩阵如何构造子空间？1.1 通过列向量构造。每列的元素个数m代表这个列向量属
9、于几维的空间，假如列向量个数nm，代表这个矩阵展现的是“降维打击“，此时列向量的所有线性组合（列空间）构成一个子空间。1.2 个人将其命名为“棒型矩阵”。求解AX=0：主变量，特解注：主元，每行的第一个非零元素1. 课程目的：AX=0的算法是如何的？2. 消元时要保证：零空间不会改变。3. 若主元为0，则看下面是否有可以互换的行，或右边是否有可以互换的列。4. A的目的是化为阶梯矩阵。5. 非0主元的个数：秩，这就是秩在算法下的定义。6. 化为阶梯矩阵后，寻找主变量。先找到主元所在的列（主列），剩余的列称为自由列，表达可以任意分派数值给这些列所相应的解向量的元素。例如：=0 中，c1和c3是主
10、列，c2和c4是自由列，所以x2和x4可以自由赋值，而x1和x3需要解出。7. r（rank）表达的是起到作用的主元个数，也就是起作用的方程个数，n-r=自由变量的个数=不起作用的方程个数=零空间的维数8. 简化行阶梯矩阵：让主元上下都是0，包含了所有信息，涉及主行和主列，单位矩阵（主行和主列交汇处），0行表达这一行是非0行的线性组合9. 简化的环节相称于回代10. R=，F是自由矩阵，I是r*r单位方阵。如何用这个矩阵解出所有特解？构造一个零空间矩阵N，它的各列由特解组成。 N=, RN=0.11. 矩阵主列的个数与其转置相同。12. X=cN.求解AX=b：可解性和解的解构1. 一方面要交
11、代的是：AX=b不一定有解，是否有解要通过消元来判断。2. b要满足什么条件，AX=b才有解？a) b属于A的列空间b) 假如A各行的线性组合得到零行，b中同样线性组合也得到0.3. 假如有解，如何求解？a) 找一个特解：将所有自由变量设为0，解出AX=b中的主变量b) 特解加上零空间中的任意X，最终结果是所有解。为什么？ 由于Axp=b，Axn=0所以A(xp+xn)=Axp+Axn=b+0=b. c) 对于方程组某解，它与零空间里任意向量之和仍然是方程组的解。d) 注：零空间的一组基向量，往往也被称为“基础解系”。4. 列满秩：r=nm，棒型矩阵，意味着没有自由变量，N(A)=0,解假如存
12、在，只有一个 当b为列向量的线性组合时，解一定存在！有1个解。R=5. 行满秩：r=mn, 饼型矩阵，自由变量为n-r个，对任意b，X一定有解！有无穷多解。R=6. 当r=n=m：矩阵可逆，R=I，其零空间只有0，只有唯一解。7. rm, r0说明什么 为什么我们对正定性如此感爱好 正定性的几何解释 以及把主元、行列式、特性值、不稳定性整合到一起2. 正定矩阵的判断方法，以2*2（对称）矩阵为例a) 10, 20b) 0, 0c) pivots a0, 0d) * （任意待定）3. 实际举例a) 我们构造一个矩阵，很明显它是正定的。b) 运用判断方法2-d，设=，即f(x,y)=2x2+12x
13、y+20y20c) 如何看出f(x,y)为正？麻烦出在xy项上。假如可以把f(x,y)配方成平方和的形式，就可以拟定f(x,y)肯定为正。即f(x,y)=2(x+3y)2+2y2i. 这一步的配方，方法绝非偶尔，它和矩阵相关，涉及到高斯消元法。ii. AU, L=，主元是2,2做平方项的系数，倍数3做括号内y的系数。d) 分析：对函数f(x, y)是否为正的分析也许非常麻烦，涉及到求导，求偏导等问题，但是假如把f(x,y)表达为矩阵A的形式，通过判断矩阵A的正定性就可以判断f(x,y)的正负！e) 总结：正主元，平方和，一切为正，图像向上，原点是极小值，一切都联系在一起，描述了一个正定矩阵。4
14、. 由于函数最值和导数、微分方程有关，而函数又可以用矩阵来表达，那么矩阵和微分方程之间必然存在着某种联系。相似矩阵和若尔当型（未完毕）1. 关于正定矩阵的结论a) 假如A, B都是正定矩阵，那么A+B也是正定矩阵。2. 重新定义A是一个一般矩阵。现在研究ATAa) ATA一定是对称矩阵b) ATA一定是正定矩阵或半正定矩阵3. 相似矩阵：n*n矩阵A和矩阵B=M-1AM（没有说A和B是对称矩阵）a) 为什么称此矩阵为相似？相似矩阵具有相同的特性值。b) 为什么A和B特性值相等？ Ax=x (B=M-1AM) AMM-1x=x M-1AMM-1x=M-1x BM-1x=M-1x (A和B的特性值
15、向量不相等)奇异值分解(SVD)1. A=UVT，是缩放因子组成的对角矩阵， V是行空间的正交矩阵，U是列空间的正交矩阵，A可以是任意矩阵2. ATA=ATUVT=VTUTUVT=VVT，AAT =V是ATA的特性向量矩阵，U是AAT的特性向量矩阵。a) 例：A=i. ATA=，特性向量是，特性值是32,18ii. AAT=，特性向量是，特性值是32,18iii. A= UVT=b) 例：A=3. 总结：在线性代数的四个子空间里选出合适的基，v1-vr是行空间的标准正交基，u1-ur是列空间的标准正交基，然后用v（u）r+1到v(u)n补充完整，v（u）r+1到v(u)n是A（AT）零空间的标
16、准正交基，解出特性值。线性变换及相应矩阵一) 前言：线性变换的概念自身不涉及坐标系和坐标值，对于我们大多数人来说，我们需要定量描述线性变换是如何进行的，这才引入了坐标系和坐标值，以及矩阵。二) 线性变换的判断条件A) T(v+w)=T(v)+T(w)B) T(cv)=cT(v)C) 例a. 投影是线性变换b. 原点不动的平面平移不是线性变换c. 求向量的长度不是线性变换d. 旋转是线性变换e. T(X)=AX三) 用矩阵表达线性变换A) 例：，那么B) 假设T: R3R2a. 例：T(v)=Av, v是输入向量，T(v)是输出向量，那么A是一个2X3矩阵四) 同时线性变换多个向量的情况A) 从
17、二维开始a. 假设v1 v2线性无关，v在v1 v2张成的空间里b. T(v1), T(v2)已知c. T(v)可以得到B) 推广到多维有类似结论。只要知道一个空间的基和它们线性变换后的结果，那么这个空间里的任意向量线性变换后的结果都可以求得。五) 线性变换和矩阵的联系A) 坐标源自一组基，这组基通常是标准基B) v=c1v1+c2v2+cnvn, (c1 c2 cn)是它在v1,v2,vn这组基下的坐标。C) 例：a. 构造矩阵A，相应线性变换T：RnRmb. 选择基向量v1,vn作为输入空间的基c. 选择基向量w1,wm作为输出空间的基D) 例：投影a. v=c1v1+cnvnb. T(v
18、)=c1v1c. 坐标的转变：（c1,c2）（c1,0）d. A=，A输入坐标=输出坐标E) 注意：输入空间和输出空间使用的是同一组坐标！六) 拟定A各列的方法A) 给定输入基v1,vn， 输出基w1,wmB) T（v1）=a11w1+a21w2+am1wmC) T（v2）=a12w1+a22w2+am2wmD) E) 总结：A的各列就是旧基底线性变换后在旧基底下的坐标。基变换和图像压缩一) 基变换A) 概念：已知向量在旧基下的坐标，求其在新基下的坐标。二) 图像压缩A) 图像：一个黑白图像有a*b个像素点，每个像素点有一个0-255的灰度值，所以这个图像可以表达为一个a*b维向量。B) JP
19、EG：运用基变换来压缩图像 例子：一个512*512的黑白图像a. 本来使用的基：b. 重新选取的基：傅里叶基，c. 把图像提成许多8*8的小块，每一个块内，64个系数，64个基向量，64个像素d. 使用新基，得到系数组ce. 把系数差别过小的基向量抛弃，留下一部分基向量f. 用剩余的系数来重构信号三) 线性变换与矩阵的关联总结篇从以下几个方面来看线性代数1. 矩阵2. 方程组3. 线性空间和变换1 矩阵1.1 矩阵的运算1.1.1 四则运算（注意与行列式的区别）1.1.2 矩阵乘法1.1.3 矩阵求逆1.1.3.1 消元法求逆1.1.3.2 代数余子式法求逆1.2 行列式的运算1.2.1 四
20、则运算（注意与矩阵运算的区别）1.2.2 行列式展开（运用代数余子式）1.3 矩阵的描述1.4 几种重要而特殊的矩阵1.4.1 转置矩阵AT1.4.1.1 (A+B)T=AT+BT1.4.1.2 (AB)T=BTAT1.4.2 对称矩阵1.4.2.1 对称矩阵的特性向量是正交的1.4.2.2 对称矩阵的分解：A=QQ-1=QQT, Q是正交矩阵1.4.3 上三角矩阵、下三角矩阵和对角矩阵1.4.4 正交矩阵Q1.4.4.1 QT=Q-12 方程组2.1 AX=0的解2.2 AX=b的解3 线性空间和线性变换3.1 线性空间3.1.1 子空间3.1.1.1 行空间 维数r3.1.1.2 列空间
21、维数r3.1.1.3 零空间 维数 n-r3.1.1.4 转置矩阵的零空间 维数m-r3.1.2 向量张成的空间3.1.3 同一个向量在不同基下的坐标 X=MY M是以/新基的基向量在旧基下的坐标/为列组成的矩阵3.1.4 正交基，标准正交基，正交矩阵，Gram-Schmidt正交化3.1.4.1 概念3.1.4.2 Gram-Schmidt正交化：（此公式较为难记，注意：下标不变的是已知向量，拥有trace的是（先前）所求向量）3.2 线性变换3.2.1 线性变换的定义：T法则3.2.2 线性空间中线性变换的矩阵3.2.2.1 线性变换在一个基下的矩阵 基底向量在线性变换后，用原基底表达出来，组成矩阵的列3.2.2.2 同一个线性变换在不同基下的矩阵 B=M-1AM 3.2.3 矩阵的对角化3.2.3.1 矩阵的特性值 AX=X 3.2.3.2 矩阵的特性向量 回代后A的零空间的列向量就是矩阵的特性向量3.2.3.3 矩阵的对角化3.2.3.3.1 是否能对角化：看满不满足有几个特性值，就有几个特性向量3.2.3.3.2 如何对角化：A=SS-1，S是特性向量矩阵，是特性值矩阵