HackerTube English?
表示、直觉与反馈 →

矩阵做了什么,为什么有些输出再也到不了?

先把一列数看作箭头,再把矩阵看作改变箭头的动作。这个视角让方程从「如何算」变成「目标能否到达」,也使降维、特征向量和旋转有了具体含义。

本文的问题 · 11
  1. 几何与数值互译如何帮助理解向量
  2. 数乘不等于两个向量相乘
  3. 几何图像和坐标计算,是理解同一个线性操作的两种方式
  4. 向量几何直觉与列组合视角
  5. 体积消失后,哪些方程还可解?
  6. 把空间压到更低维时,就失去了某些可达的输出
  7. 从空间降维理解特征方程
  8. 三维固定轴与四维旋转平面分别描述什么?
  9. 高维图看不见时,哪一个距离还信得过?
  10. 两次镜像反射,会把图形转一下还是挪一段?
  11. 画出圆形表示,怎样知道模型真的用它来做加法?

几何与数值互译如何帮助理解向量

系列导言区分几何直觉对选工具和解释结果的作用与数值计算的执行作用;向量一课具体说明如何把空间中的箭头变成数字列表,也把数据列表转为可视模式。

对照原文与时间戳 · 2
the geometric understanding is what lets you judge what tools to use
Essence of linear algebra preview · ▶ 1:08–1:24
a language to describe space and the manipulation of space using numbers that can be crunched and run through a computer.
Vectors | Chapter 1, Essence of linear algebra · ▶ 9:00–9:11

这是同一教学路线的实质展开,不只是章节先后;不主张箭头是所有抽象向量空间的完整定义。

数乘不等于两个向量相乘

向量入门把加法与标量乘法作为线性代数的两项基础操作;几何代数演讲另外定义向量与向量的几何积,结果同时含标量点积和双向量楔积。把两者连接能明确:数乘的缩放规则不能直接当成两个向量相乘的规则,后者引入了额外的代数结构和结果类型。

对照原文与时间戳 · 2
these two fundamental operations, vector addition and scalar multiplication.
Vectors | Chapter 1, Essence of linear algebra · ▶ 8:14–8:19
multiplying two vectors together is the dot product plus the wedge product
Why can't you multiply vectors? · ▶ 38:28–38:37

这是从向量空间基础到几何代数的扩展,不是对入门视频的纠错;点积、叉积等也各有合法定义,不能据此宣称几何积是唯一正确的向量乘法。

几何图像和坐标计算,是理解同一个线性操作的两种方式

前两讲从学习方法切入,Strang 的列组合是一个实例;不同表示各有适用场景。

对照原文与时间戳 · 3
the ability to translate back and forth between them
Vectors | Chapter 1, Essence of linear algebra · ▶ 8:45–8:49
the geometric understanding is what lets you judge what tools to use
Essence of linear algebra preview · ▶ 1:08–1:24
A times x is a combination of the columns of A.
Lec 1 | MIT 18.06 Linear Algebra, Spring 2005 · ▶ 38:24–38:36

向量几何直觉与列组合视角

向量课程强调几何表示与数字表示之间的转换;MIT 线代课用矩阵列的线性组合解释 Ax=b 的解。两者可作为理解线性代数的互补视角。

对照原文与时间戳 · 2
the ability to translate back and forth between them
Vectors | Chapter 1, Essence of linear algebra · ▶ 8:45–8:49
linear combinations of the columns fill three dimensional space
Lec 1 | MIT 18.06 Linear Algebra, Spring 2005 · ▶ 28:43–29:03

向量入门片段不覆盖线性方程组;MIT 讲座也包含更完整的矩阵运算背景。

体积消失后,哪些方程还可解?

行列式给出三维体积被压为零的判据;Strang 从矩阵列的线性组合解释后果:三列若共面,平面之外的目标向量就无法达到。

对照原文与时间戳 · 2
A determinant of 0 would mean that all of space is squished onto something with 0 volume
The determinant | Chapter 6, Essence of linear algebra · ▶ 6:32–6:42
If these three columns all lie in the same plane, then their combinations will lie in that same plane.
Lec 1 | MIT 18.06 Linear Algebra, Spring 2005 · ▶ 31:06–31:18

降维表示某些右端向量不可达;不能推出所有右端向量都无解。

把空间压到更低维时,就失去了某些可达的输出

特征值例子中降维的是 A−λI,不一定是 A;并非每个方程都无解。

对照原文与时间戳 · 3
A determinant of 0 would mean that all of space is squished onto something with 0 volume
The determinant | Chapter 6, Essence of linear algebra · ▶ 6:32–6:42
If these three columns all lie in the same plane, then their combinations will lie in that same plane.
Lec 1 | MIT 18.06 Linear Algebra, Spring 2005 · ▶ 31:06–31:18
make this determinant zero, meaning the tweaked transformation squishes space into a lower dimension
Eigenvectors and eigenvalues | Chapter 14, Essence of linear algebra · ▶ 7:58–8:07

从空间降维理解特征方程

行列式一课把零行列式解释为空间被压入低维;求特征值时,把同一判据应用到 A−λI,就得到存在非零特征向量的条件。

对照原文与时间戳 · 2
A determinant of 0 would mean that all of space is squished onto something with 0 volume
The determinant | Chapter 6, Essence of linear algebra · ▶ 6:32–6:42
make this determinant zero, meaning the tweaked transformation squishes space into a lower dimension
Eigenvectors and eigenvalues | Chapter 14, Essence of linear algebra · ▶ 7:58–8:07

A 本身可以满秩;要使行列式为零的是移去 λI 后的矩阵。

三维固定轴与四维旋转平面分别描述什么?

特征向量一课用三维旋转中的固定轴理解变换;四元数一课描述四维左乘时直接跟踪两组垂直的旋转平面。合读可以区分旋转维度和用来解释它的几何对象。

对照原文与时间戳 · 2
what you have found is the axis of rotation
Eigenvectors and eigenvalues | Chapter 14, Essence of linear algebra · ▶ 4:11–4:20
two separate 2D rotations, happening perpendicular to and in sync with each other
Visualizing the 4d numbers Quaternions · ▶ 23:19–23:34

四维单位四元数的左乘与三维向量的共轭旋转是两种作用。不能把任意四维旋转都套用这一同步模型。

为什么一个指数会描出圆?

先退回到平面,区分「所在的位置」与「接下来怎样移动」。若速度等于位置乘以 i,速度总与半径垂直,长度等于半径。从 1 出发,点沿单位圆以单位角速度前进。这个解释回答的是一条轨迹怎样被局部运动规则确定。

原文与时间戳 · 1
the velocity at that time will be a 90 degree rotation of that position.
e^(iπ) in 3.14 minutes, using dynamics | DE5 · ▶ 2:21–2:33

换一种问法:先走角度 a、再走 b,结果是否等于一次走 a+b?群论的讲解从动作组合出发:输入相加,对应输出相乘。前一个解释给了速度,后一个解释让你检查两次动作怎样合成。平面里的这一个角度很好用;它并不意味着四维的任意旋转也只需记住一个角度。

原文与时间戳 · 1
adding the inputs corresponds with multiplying the outputs
Euler's formula with introductory group theory · ▶ 16:54–17:05

高维图看不见时,哪一个距离还信得过?

把角球中心写成每个坐标都是 ±1,原点到角的距离便是 √d。角球半径固定为 1,贴着它们的中心球半径就是 √d−1,而原点到外盒最近面的距离始终为 2。在十维,比较这两个数就能判断中心球伸出了外盒。三维图只给了猜想;能推广的是长度公式与相切条件。把结论带到新维度之前,检查图上觉得「显然相同」的两段距离是否以同样速度增长。

原文与时间戳 · 2
the radius of the inner circle is square root of 2 minus 1
Thinking outside the 10-dimensional box · ▶ 9:58–10:10
the face of the box is always two units away from the origin
Thinking outside the 10-dimensional box · ▶ 21:50–21:59

两次镜像反射,会把图形转一下还是挪一段?

在 SIGGRAPH 2019 的口述例子里,沿两条相交直线依次作镜像反射,得到绕交点的旋转。沿两条不同的平行线依次反射,则得到平移。演讲还从射影模型看同一对平行线:它们的交点落在无穷远处,表示两条线共有的方向。于是可以先认出参与运算的是哪两条直线,再问合成的动作会留下哪个点不动,或把每个点沿同一方向挪多远。

原文与时间戳 · 2
rotation is actually just a composition of two reflections of lines that intersect
Siggraph2019 Geometric Algebra · ▶ 73:04–73:11
you will get an infinite point exactly in the right direction
Siggraph2019 Geometric Algebra · ▶ 35:35–35:43

画出圆形表示,怎样知道模型真的用它来做加法?

本篇先把向量坐标和几何动作互相翻译。三角加法论文把同一个阅读动作带进模型内部:整数表示同时含线性变化与周期结构,作者把它们拟合成广义螺旋。但把数投影成圆还不够。作者替换模型内部的激活,检查拟合后的表示能否恢复原来正确答案的倾向,并用消融寻找这些分量的作用。

这里应分开“几何图像解释了一种表示”和“计算的每一步都已解释”。论文在所测模型与两位数单词元加法上给出因果干预证据,但没有隔离出如何从两个输入螺旋构造答案螺旋的精确机制。画出结构是提出问题的一步;预测并检验改动会怎样影响输出,才让图像承担更多解释责任。

原文与时间戳 · 2
all patching experiments only use prompts the model can successfully complete.
Language Models Use Trigonometry to Do Addition · 论文 · § 4.4 Evaluating the Quality of the Helical Fit · PDF 第 4 页
we do not know the exact mechanism
Language Models Use Trigonometry to Do Addition · 论文 · § 5.5 Limitations of Our Understanding · PDF 第 7 页

读完再想一步

任选一个压扁平面的矩阵:画出一个能到达和一个到不了的目标,再用列组合验证。