线性变换与矩阵乘法

在前面的章节中，我们指出矩阵 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$ 乘一个向量 $\mathit{v}\in {\mathbb{R}}^{n\times 1}$，可以看作是将 $\mathit{v}$ 作为系数对矩阵 $\mathbf{X}$的列向量进行线性组合，得到一个新的 $m$ 维向量。在本章，我们尝试从线性变换的角度重新理解这个过程。

线性变换的定义

设 $V$ 和 $W$ 是两个线性空间，如果存在一个映射 $T:V\to W$，使得对于任意的 $x,y\in V$ 和任意的常数 $\alpha$，都有

1. 可加性：$T(x+y)=T(x)+T(y)$

2. 齐次性：$T(\alpha x)=\alpha T(x)$

那么我们称映射 $T$ 是一个线性映射。

如果，一个线性映射是从一个线性空间到它自身的映射，即 $T:V\to V$ ，那么我们称这个线性映射是一个线性变换。

对于一组基 $\mathbf{X}\in {\mathbb{R}}^{n\times n}$，定义如下的变换

$$T(\mathit{v})=\mathbf{X}\mathit{v},$$

可以验证，变换 $T$ 是一个线性变换：

1. 如果 $\mathit{v}\in {\mathbb{R}}^{n\times 1}$，那么 $T(\mathit{v})=\mathbf{X}\mathit{v}\in {\mathbb{R}}^{n\times 1}$
2. 可加性: $T({\mathit{v}}_1+{\mathit{v}}_2)=\mathbf{X}({\mathit{v}}_1+{\mathit{v}}_2)=\mathbf{X}{\mathit{v}}_1+\mathbf{X}{\mathit{v}}_2=T({\mathit{v}}_1)+T({\mathit{v}}_2)$
3. 齐次性: $T(\alpha \mathit{v})=\mathbf{X}\alpha \mathit{v}=\alpha \mathbf{X}\mathit{v}=\alpha T(\mathit{v})$

二维线性变换

在这一小节，我们尝试以二维线性变换为例，从几何的角度来感受一下线性变换。根据上文的定义，我们知道一个二维的线性变换可以用一个 $2\times 2$的矩阵来表示

$$\mathbf{X}=\left[\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\end{array}\right].$$

这个矩阵可以将一个二维向量 $\mathit{v}={\left[\begin{array}{cc}{v}_1& v_2\end{array}\right]}^{\mathrm{T}}$ 变换为另一个二维向量

$${\mathit{v}}^{\prime }=\mathbf{X}\mathit{v}=\left[\begin{array}{c}{x}_{11}{v}_1+x_{12}{v}_2\\ x_{21}{v}_1+x_{22}{v}_2\end{array}\right].$$

于此同时，我们对于二维平面上的一些常见操作，比如旋转，缩放等等，都比较熟悉，那么这些操作如何用矩阵来表示呢？

1. 缩放

   $$\mathbf{X}=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right].$$

   可以发现，变换后的向量分别在两个方向上被缩放了 $s_1,s_2$ 倍

   $${\mathit{v}}^{\prime }=\mathbf{X}\mathit{v}=\left[\begin{array}{c}{s}_1{v}_1\\ s_2{v}_2\end{array}\right].$$

2. 反射

   $$\mathbf{X}=\left[\begin{array}{cc}-1& 0\\ 0& 1\end{array}\right].$$

   此时，变换后的向量在第一个轴上被反转了

   $${\mathit{v}}^{\prime }=\mathbf{X}\mathit{v}=\left[\begin{array}{c}-v_1\\ v_2\end{array}\right].$$

3. 旋转

   $$\mathbf{X}=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right].$$

   该矩阵相当将向量以原点为中心旋转了 $\theta$ 度

   $${\mathit{v}}^{\prime }=\mathbf{X}\mathit{v}=\left[\begin{array}{c}\cos \theta v_1-\sin \theta v_2\\ \sin \theta v_1+\cos \theta v_2\end{array}\right].$$

4. 剪切

   $$\mathbf{X}=\left[\begin{array}{cc}1& 0.5\\ 0& 1\end{array}\right].$$

   此时，变换后的向量为

   $${\mathit{v}}^{\prime }=\mathbf{X}\mathit{v}=\left[\begin{array}{c}{v}_1+0.5v_2\\ v_2\end{array}\right].$$

(a)

(b)

(c)

(d)

常见的线性变换 (a) 缩放 (b) 反射 (c) 旋转 (d) 剪切

线性变换的组合

两个乃至多个线性变换的组合依旧是一个线性变换吗？这里我们简单证明一下，设有两个线性变换 $T_1,T_2$ , 那么这两个线性变换的组合记作 $T=T_1\circ T_2$, 该变换满足

$$T\mathit{v}=(T_1\circ T_2)\mathit{v}=T_2(T_1(\mathit{v})),$$

即线性变换的组合构成的新的变换 $T$ 等价于先进行线性变换 $T_1$ 然后再进行线性变换 $T_2$。可以验证

1. 如果 $\mathit{v}\in {\mathbb{R}}^{n\times 1}$，那么 $T_2(T_1(\mathit{v}))\in {\mathbb{R}}^{n\times 1}$
2. 可加性: $T({\mathit{v}}_1+{\mathit{v}}_2)=T_2(T_1({\mathit{v}}_1+{\mathit{v}}_2))=T_2(T_1({\mathit{v}}_1)+T_1({\mathit{v}}_2))=T_2(T_1({\mathit{v}}_1))+T_2(T_1({\mathit{v}}_2))=T({\mathit{v}}_1)+T({\mathit{v}}_2)$
3. 齐次性: $T(\alpha \mathit{v})=T_2(T_1(\alpha \mathit{v}))=T_2(\alpha T_1(\mathit{v}))=\alpha T_2(T_1(\mathit{v}))=\alpha T(\mathit{v})$

因此，$T=T_1\circ T_2$ 也是一个线性变换。设 $T_1,T_2$对应的变换矩阵分别为 $\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{N\times N}$，那么 $T$ 对应的矩阵该有什么表达呢？

注意到，对于线性变换 $T$ 我们有

$$T(\mathit{v})=T_2(T_1(\mathit{v}))=\mathbf{B}(\mathbf{A}\mathit{v}).$$

令 $A_{ij},B_{ij}$ 为矩阵 $\mathbf{A}$ 和 $\mathbf{B}$ 的第 $i$ 行，第 $j$ 列元素，则有如下等式

$$(\mathbf{A}\mathit{v}{)}_k=\sum _{i=1}^N{A}_{ki}{v}_i,$$$$\begin{array}{}\text{(1)}& (\mathbf{B}(\mathbf{A}\mathit{v}){)}_k=\sum _{j=1}^N{B}_{kj}(\mathbf{A}\mathit{v}{)}_j=\sum _{j=1}^n{B}_{kj}\sum _{i=1}^N{A}_{ji}{v}_i=\sum _{i=1}^N\left(\sum _{j=1}^N{B}_{kj}{A}_{ji}\right)v_i.\end{array}$$

设 $T$ 对应的矩阵为 $\mathbf{C}$，则有

$$T(\mathit{v})=\mathbf{C}\mathit{v},$$

变换后向量的第 $k$ 个元素有如下表达式

$$\begin{array}{}\text{(2)}& (\mathbf{C}\mathit{v}{)}_k=\sum _{i=1}^N{C}_{ki}{v}_i,\end{array}$$

对比式 (1) 和式 (2) 可知，变换矩阵 $\mathbf{C}$ 中的元素有如下表达式

$$C_{ki}=\sum _{j=1}^N{B}_{kj}{A}_{ji}.$$

为了表达美观，我们可以将对应的变量进行替换，得到如下表达式

$$\begin{array}{}\text{(3)}& C_{ij}=\sum _{k=1}^N{B}_{ik}{A}_{kj}.\end{array}$$

我们将式 (3) 中的运算称作矩阵乘法，记作 $\mathbf{C}=\mathbf{B}\mathbf{A}$。

实际上，矩阵乘法可以这样计算，如 $\mathbf{C}=\mathbf{B}\mathbf{A}$，那么矩阵 $\mathbf{C}$ 的第 $i,j$ 个元素 ${\mathbf{C}}_{ij}$，为矩阵 $\mathbf{B}$ 的第 $i$ 行行向量 和矩阵 $\mathbf{A}$ 的第 $j$ 列列向量的内积。

此外，上文的推导都是基于方阵的（也就是行和列具有相同长度的矩阵）。对于一般的矩阵，同样可以使用矩阵乘法来计算，设有矩阵 $\mathbf{A}\in {\mathbb{R}}^{M\times N},\mathbf{B}\in {\mathbb{R}}^{N\times L}$，那么这两个矩阵的乘积为

$$\mathbf{C}=\mathbf{A}\mathbf{B}\in {\mathbb{R}}^{M\times L}.$$

可以看到，如果两个矩阵能够进行矩阵乘法，那么第一个矩阵的每一行都和第二个矩阵的每一列都有相同的长度。正是这样，矩阵乘法并不满足交换率，显然 $\mathbf{A}\mathbf{B}$ 能够计算并不代表 $\mathbf{B}\mathbf{A}$ 也能进行矩阵乘法。

小结

1. 线性变换可以用矩阵表示
2. 常见的线性变换就几何意义来说，有缩放、反射、旋转、剪切
3. 线性变换的组合可以用矩阵乘法表示