Skip to content

Commit

Permalink
docs: 圆盘定理初步完成，添加部分习题 (#72)
Browse files Browse the repository at this point in the history 
* docs: 圆盘定理初步完成，添加部分习题

* fix: compile error, ref & typo

* docs: rename theorems

---------

Co-authored-by: 45gfg9 <[email protected]>
  • Loading branch information
@shadowash0215 @45gfg9
shadowash0215 and 45gfg9 authored Sep 3, 2024
1 parent 80ce90e commit 830da5b
Show file tree
Hide file tree
Showing 4 changed files with 202 additions and 5 deletions.
101 changes: 101 additions & 0 deletions 讲义/专题/15 相似标准形：动机与基础.tex
View file
Original file line number Diff line number Diff line change
Expand Up @@ -843,6 +843,97 @@ \section{实数域与复数域的讨论}

\section{特征值的估计}

对于低阶的矩阵来说，我们可以通过解特征多项式来精确求得特征值；但对于高阶矩阵而言，解特征多项式是非常困难的，所幸相关的工作一般来说也不需要我们精确求得特征值，所以我们可以通过一些方法来估计特征值.

\begin{definition}{Gershgorin 圆盘}{Gershgorin disks}
设 $T \in \mathcal{L}(V)$，并且 $v_1, \ldots, v_n$ 是 $V$ 的一组基，$A = (a_{ij})_{n \times n}$ 为 $T$ 在这组基下的矩阵表示. 那么 $T$ 关于这组基的一个 Gershgorin 圆盘是指如下形式的集合：
\[ D_i = \left\{z \in \mathbf{F} \mid \lvert z - a_{ii} \rvert \leqslant \sum_{j \neq i} \lvert a_{ij} \rvert\right\}, i = 1, \ldots, n. \]
\end{definition}

因为有 $n$ 个对角元可供选择，所以 $T$ 共有 $n$ 个 Gershgorin 圆盘. 在复数域考虑的话，上述的 $D_i$ 就是闭圆盘，而在实数域考虑的话，$D_i$ 就是闭区间.

在进一步讨论之前，先考虑一种特殊的情况：对角矩阵. 设 $T \in \mathcal{L}(V)$，并且 $v_1, \ldots, v_n$ 是 $V$ 的一组基，$A = (a_{ij})_{n \times n}$ 为 $T$ 在这组基下的矩阵表示. 若 $A$ 是对角矩阵，那么 $T$ 相应的 Gershgorin 圆盘就是 $n$ 个单点，也就是对应的特征值. 这让我们朦胧之中觉得 Gershgorin 圆盘或许可以“控制”特征值. 事实上，这一想法是正确的：

\begin{theorem}{Gershgorin 圆盘第一定理}{Gershgorin disks theorem}
设 $T \in \mathcal{L}(V)$，并且 $v_1, \ldots, v_n$ 是 $V$ 的一组基. 那么 $T$ 的每个特征值都在其关于 $v_1, \ldots, v_n$ 这组基的某个 Gershgorin 圆盘内.
\end{theorem}

\begin{proof}
设 $\lambda \in \mathbf{F}$ 是 $T$ 的一个特征值，$w \in V$ 是对应的一个特征向量，所以存在 $c_1,\ldots, c_n \in \mathbf{F}$ 使得
\[
w = c_1 v_1 + \cdots + c_n v_n.
\]
设 $A$ 是 $T$ 关于 $v_1, \ldots, v_n$ 这组基的矩阵表示，对上式两侧同时作用 $T$，便有
\begin{align*}
\lambda w & = Tw = \sum_{i = 1}^n c_i T v_i \\
& = \sum_{i = 1}^n c_i \sum_{j = 1}^n a_{ji} v_j \\
& = \sum_{j = 1}^n \left( \sum_{i = 1}^n a_{ji} c_i \right) v_j.
\end{align*}
设 $j$ 是使得 $\lvert c_j \rvert = \max_{1 \leqslant i \leqslant n} \lvert c_i \rvert$ 的下标，那么结合 $w$ 在这组基下的展开式，我们有
\[
\lambda c_j = \sum_{i = 1}^n a_{ji} c_i.
\]
进而在两边减去 $a_{jj} c_j$，并且除以 $c_j$，可以得到
\begin{align*}
\lvert \lambda - a_{jj} \rvert & = \left\lvert \sum_{i \neq j} a_{ji} \frac{c_i}{c_j} \right\rvert \\
& \leqslant \sum_{i \neq j} \lvert a_{ji} \rvert \frac{\lvert c_i \rvert}{\lvert c_j \rvert} \\
& \leqslant \sum_{i \neq j} \lvert a_{ji} \rvert.
\end{align*}
所以 $\lambda$ 位于 $T$ 的关于 $v_1, \ldots, v_n$ 这组基的第 $j$ 个 Gershgorin 圆盘内.
\end{proof}

依据这条定理，我们成功地将特征值的可行区域从复平面或实数轴缩小到了有限个 Gershgorin 圆盘. 而根据对角矩阵的例子，很自然便会考虑特征值与 Gershgorin 圆盘之间是否存在一一对应的关系，即一个 Gershgorin 圆盘内必有一个特征值（重数按照特征值的代数重数计算）. 遗憾的是，这一定理是不成立的.

\begin{example}{}{}
设 $A = \begin{pmatrix}
1 & -\frac{4}{5} & 0 \\
\frac{1}{2} & 0 & 0 \\
0 & 0 & \i
\end{pmatrix}$，求出其特征值与 Gershgorin 圆盘，并在复平面上进行标注.
\end{example}

不过我们可以看看这个例子的特殊之处，它的其中两个 Gershgorin 圆盘是相交的，所以尽管对应的两个特征值都落在了同一个圆盘内，但也可以被描述为其特征值落在了两个圆盘构成的连通区域内. 而考虑到对角矩阵对应的 Gershgorin 圆盘是 $n$ 个单点，除了重合外没有连通的情况，会出现一个 Gershgorin 圆盘对应一个特征值的情况也就不奇怪了. 所以，或许将连通的圆盘看作一个整体，而不是单独考虑每个圆盘，会更有利于我们的讨论.

\begin{theorem}{Gershgorin 圆盘第二定理}{Strengthening of Gershgorin disks theorem}
设 $T \in \mathcal{L}(V)$，并且 $v_1, \ldots, v_n$ 是 $V$ 的一组基，$D_i, i = 1, \ldots, n$ 是 $T$ 关于这组基的 Gershgorin 圆盘. 若 $\cup_{i = 1}^n D_i$ 是 $k$ 个不相交的连通区域 $R_1, \ldots, R_k$ 的并，并且 $R_r$ 是一个 $m_r$ 个 Gershgorin 圆盘的并，那么 $T$ 有 $m_r$ 个特征值落在 $R_r$ 中，$r = 1, \ldots, k$.
\end{theorem}

这一定理的证明需要用到特征值的连续性，这里不做过多展开. 借助于这一条定理，我们限制了每个连通区域内特征值的个数，从而使得我们可以更好地估计特征值的位置. 而自然地，我们也可以利用 Gershgorin 圆盘来刻画一些与特征值有关的性质.

\begin{corollary}{}{}
\begin{enumerate}
\item 若 $T$ 的 $n$ 个 Gershgorin 圆盘互不相交，那么 $T$ 可对角化；
\item 若 $T$ 是实算子，且 $T$ 的 $n$ 个 Gershgorin 圆盘互不相交，那么 $T$ 的特征值都是实数.
\end{enumerate}
\end{corollary}

\begin{proof}
\begin{enumerate}
\item 是平凡的，运用 $n$ 个不同的特征值是可对角化的充分条件即可；
\item 考虑到实系数多项式的复根是成对出现并且共轭，以及实系数矩阵的 Gershgorin 圆盘的圆心都落在实数轴上即可.
\end{enumerate}
\end{proof}

以上提到的 Gershgorin 圆盘都是使用的去心绝对行和作为半径，实际上我们也可以使用其他的方法来构造 Gershgorin 圆盘，比如使用去心绝对列和作为半径，即 \[
C_i = \left\{z \in \mathbf{F} \mid \lvert z - a_{ii} \rvert \leqslant \sum_{j \neq i} \lvert a_{ji} \rvert\right\}, i = 1, \ldots, n.
\]
可以证明，这样构造的 Gershgorin 圆盘也满足 \nameref{thm:Gershgorin disks theorem}和 \nameref{thm:Strengthening of Gershgorin disks theorem}. 所以在估计的时候，我们可以根据具体情况选择适合的 Gershgorin 圆盘，或者将两种方法结合起来使用.

有些时候，我们还是觉得某个 Gershgorin 圆盘太大，无法给出特征值的精确估计. 这时，我们可以考虑将矩阵进行相似变换，使得新的矩阵对应的 Gershgorin 圆盘更小. 设 $D = \diag(p_1, p_2, \ldots, p_n), p_i > 0$ 是一个对角矩阵，那么有 \[
D^{-1} A D = \begin{pmatrix}
a_{11} & \frac{p_2}{p_1} a_{12} & \cdots & \frac{p_n}{p_1} a_{1n} \\
\frac{p_1}{p_2} a_{21} & a_{22} & \cdots & \frac{p_n}{p_2} a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
\frac{p_1}{p_n} a_{n1} & \frac{p_2}{p_n} a_{n2} & \cdots & a_{nn}
\end{pmatrix}.
\]

第 $j$ 行对应的 Gershgorin 圆盘的半径为 \[
\frac{1}{p_j} \sum_{i \neq j} p_i \lvert a_{ij} \rvert,
\]

如果想要第 $j$ 行对应的 Gershgorin 圆盘更小，那么就需要让 $p_j$ 更大. 但是这样做的话，其他行对应的 Gershgorin 圆盘就会变大，所以我们需要在这些矛盾之间取得平衡.

\vspace{2ex}
\centerline{\heiti \Large 内容总结}

Expand Down Expand Up @@ -947,6 +1038,16 @@ \section{特征值的估计}
\item 设$\lambda_1,\lambda_2,\ldots,\lambda_n$是矩阵$A=(a_{ij})_{n\times n}$的$n$个特征值，证明：$\lambda_1^2,\lambda_2^2,\ldots,\lambda_n^2$是$A^2$的$n$个特征值，且$\displaystyle\sum_{i=1}^{n}\lambda_i^2=\sum_{j=1}^{n}\displaystyle\sum_{k=1}^{n}a_{jk}a_{kj}$.

\item 设$A$为$n$阶矩阵，$X_1,X_2,X_3$为$n$元列向量，且$AX_1=kX_1\enspace(X_1\neq 0),AX_2=lX_1+kX_2,AX_3=lX_2+kX_3\enspace(l\neq 0)$. 证明：$X_1,X_2,X_3$线性无关.

\item \begin{enumerate}
\item 使用 \nameref{thm:Gershgorin disks theorem} 证明：严格对角占优的矩阵是可逆的；
\item 证明：矩阵 $A = \begin{pmatrix}
1 + \i & 0.2 & 0.2 \\
0.2 & 2 - \i & 0.2 \\
0.2 & 0.3 & -0.4 - 0.3\i
\end{pmatrix}
$ 是可逆的.
\end{enumerate}
\end{enumerate}

\centerline{\heiti C组}
Expand Down
73 changes: 71 additions & 2 deletions 讲义/专题/20 内积空间.tex
View file
Original file line number Diff line number Diff line change
Expand Up @@ -571,17 +571,86 @@ \subsubsection*{$^*$ 极小化问题的应用：最小二乘解}

\centerline{\heiti A组}
\begin{enumerate}
\item
\item 证明：下列 $\langle A, B \rangle$ 分别定义了 $n$ 阶实矩阵空间和 $n$ 阶复矩阵空间上的内积（称为 Frobenius 内积）：
\begin{enumerate}
\item 设 $V$ 为 $n$ 阶实矩阵空间，对任意的 $n$ 阶实矩阵 $A = (a_{ij})$ 和 $B = (b_{ij})$，定义
\[
\langle A, B \rangle = \tr(A B^{\mathrm{T}}) \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{ij}b_{ij}.
\]
\item 设 $V$ 为 $n$ 阶复矩阵空间，对任意的 $n$ 阶复矩阵 $A = (a_{ij})$ 和 $B = (b_{ij})$，定义
\[
\langle A, B \rangle = \tr(A B^{\mathrm{H}}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{ij}\overline{b_{ij}}.
\]
（其中 $B^{\mathrm{H}}$ 表示 $B$ 的共轭转置）
\end{enumerate}
\item 设 $V$ 是实系数多项式全体构成的实线性空间，任取
\[ f(x) = a_0 + a_1 x + \cdots + a_n x^n, \enspace g(x) = b_0 + b_1 x + \cdots + b_m x^m, (a_n, b_m \neq 0), \]
证明：如下的二元运算是 $V$ 上的内积：
\[ \langle f, g \rangle = \sum_{i, j} \dfrac{a_i b_j}{i + j + 1}. \]
\end{enumerate}

\centerline{\heiti B组}
\begin{enumerate}
\item 设 $ (e_1, \ldots , e_m) $ 是复内积空间 $ V $ 的一个标准正交组，证明：$ \forall v \in V $，均有
\[ \sum_{j = 1}^{m} \lvert \langle v, e_j \rangle \rvert^2 \leqslant \lVert v \rVert^2, \]
等号成立当且仅当 $ v = \displaystyle\sum_{j = 1}^{m} \langle v, e_j \rangle e_j $. 这个不等式被称为 Bessel 不等式.\index{Bessel@Bessel 不等式 (Bessel's inequality)}
\item 设 $e_1, \ldots, e_n$ 是 $V$ 的一个标准正交基. 证明：
\begin{enumerate}
\item 若 $v_1, \ldots, v_n \in V$ 满足
\[
\lVert e_k - v_k \rVert < \dfrac{1}{\sqrt{n}}, \quad k = 1, 2, \ldots, n,
\]
那么 $v_1, \ldots, v_n$ 是 $V$ 的一组基.
\item 存在 $v_1, \ldots, v_n \in V$ 满足
\[
\lVert e_k - v_k \rVert \leqslant \dfrac{1}{\sqrt{n}}, \quad k = 1, 2, \ldots, n,
\]
但 $v_1, \ldots, v_n$ 线性相关.
\end{enumerate}
\end{enumerate}

\centerline{\heiti C组}
\begin{enumerate}
\item
\item 令 $V$ 是区间 $[-1, 1]$ 上次数不超过 $n$ 的实系数多项式构成的实线性空间，$V$ 上的内积定义为
\[
\langle f, g \rangle = \int_{-1}^{1} f(t)g(t)\,\mathrm{d}t.
\]
证明：$V$ 是 $n + 1$ 维欧式空间，并且下列多项式组成 $V$ 的一组正交基：
\[
P_0(x) = 1, \ P_k(x) = \dfrac{1}{2^k k!} \cdot \dfrac{\mathrm{d}^k}{\mathrm{d}x^k} (x^2 - 1)^k, \ k = 1, 2, \ldots, n.
\]
称之为 Legendre 多项式.
\item 对于欧式空间 $V$ 向量组 $u_1, u_2, \ldots, u_m$，也同样存在着 Gram 矩阵的概念。称下述矩阵：
\[
G(u_1, u_2, \ldots, u_m) = \begin{pmatrix}
\langle u_1, u_1 \rangle & \langle u_1, u_2 \rangle & \cdots & \langle u_1, u_m \rangle \\
\langle u_2, u_1 \rangle & \langle u_2, u_2 \rangle & \cdots & \langle u_2, u_m \rangle \\
\vdots & \vdots & \ddots & \vdots \\
\langle u_m, u_1 \rangle & \langle u_m, u_2 \rangle & \cdots & \langle u_m, u_m \rangle
\end{pmatrix}
\]
为向量组 $u_1, u_2, \ldots, u_m$ 的 Gram 矩阵. 证明：
\begin{enumerate}
\item 若用 Gram-Schmidt 过程将 $ V $ 的一个线性无关向量组 $\{u_1, u_2, \ldots, u_m\}$ 变为正交向量组 $\{v_1, v_2, \ldots, v_n\}$，则这两组向量组的 Gram 矩阵的行列式不变，即
\[
\det G(u_1, u_2, \ldots, u_m) = \det G(v_1, v_2, \ldots, v_n) = \lvert v_1 \rvert^2 \lvert v_2 \rvert^2 \cdots \lvert v_n \rvert^2.
\]
\item 向量组 $u_1, u_2, \ldots, u_m$ 线性无关的充要条件是其 Gram 矩阵可逆.
\item 不等式：
\[
0 \leqslant \det G(u_1, u_2, \ldots, u_m) \leqslant \lvert u_1 \rvert^2 \lvert u_2 \rvert^2 \cdots \lvert u_m \rvert^2.
\]
后一个等号成立的条件式 $u_i$ 两两正交或某个 $u_i$ 为 0.
\item Hadamard 不等式：$A = (a_{ij})$ 为 $n$ 阶实矩阵，则
\[
\lvert \det A \rvert^2 \leqslant \prod_{j = 1}^n \sum_{i = 1}^n a_{ij}^2.
\]
\end{enumerate}
\item 设 $f: [-\pi, \pi] \to \mathbf{R}$ 是连续函数. 对于每个非负的整数 $k$，定义
\[
a_k = \dfrac{1}{\sqrt{\pi}} \int_{-\pi}^{\pi} f(x) \cos kx \mathrm{d}x, \quad b_k = \dfrac{1}{\sqrt{\pi}} \int_{-\pi}^{\pi} f(x) \sin kx \mathrm{d}x.
\]
证明：\[
\dfrac{a_0^2}{2} + \sum_{k = 1}^{\infty} (a_k^2 + b_k^2) \leqslant \dfrac{1}{\pi} \int_{-\pi}^{\pi} f^2(x) \mathrm{d}x.
\]
\end{enumerate}
31 changes: 29 additions & 2 deletions 讲义/专题/21 内积空间上的算子.tex
View file
Original file line number Diff line number Diff line change
Expand Up @@ -176,7 +176,7 @@ \subsection{内积空间的保积自同构}
设 $ A $ 是 $ n $ 阶酉矩阵或正交矩阵，$ \lambda $ 是 $ A $ 的一个特征值，则 $ \lvert \lambda \rvert = 1 $.
\end{theorem}

这意味着酉矩阵和正交矩阵的特征值都落在单位圆上. 联系一下特征值的几何意义的话，我们便会发现，酉矩阵和正交矩阵对内积空间的变换方式无非就是旋转和镜像，更进一步来说，旋转也可以依靠镜像实现. 不过我们也发现了正交矩阵难以刻画的几何原因，在复数域上能够轻易描述的旋转在实数域上需要一个更高的维度. 所以关于二者的标准形式，尤其是正交矩阵，我们需要更有力的工具.
这意味着酉矩阵和正交矩阵的特征值都落在单位圆上. 联系一下特征值的几何意义的话，我们便会发现，酉矩阵和正交矩阵对内积空间的变换方式无非就是旋转和镜像，更进一步来说，旋转也可以依靠镜像实现（见习题 C 组\ref*{item:24:镜像变换}）. 不过我们也发现了正交矩阵难以刻画的几何原因，在复数域上能够轻易描述的旋转在实数域上需要一个更高的维度. 所以关于二者的标准形式，尤其是正交矩阵，我们需要更有力的工具.

\section{自伴算子}

Expand Down Expand Up @@ -866,5 +866,32 @@ \subsection{正算子}

\centerline{\heiti C组}
\begin{enumerate}
\item
\item \label{item:24:镜像变换}
\begin{enumerate}
\item \begin{enumerate}
\item 设 $e$ 是欧式空间中的一个单位向量，定义线性变换
\[
\varphi(x) = x - 2\langle e, x \rangle e.
\]
证明：$\varphi$ 是正交变换且 $\det \varphi = -1$（上述 $\varphi$ 称为镜像变换）；
\item 设 $\xi$ 是 $n$ 维欧式空间 $V$ 中的正交变换，$1$ 是 $\xi$ 的特征值且几何重数等于 $n - 1$，证明：必存在 $V$ 中的一个单位向量 $e$ 使得
\[
\xi(x) = x - 2\langle e, x \rangle e.
\]
\end{enumerate}
\item 设 $n$ 阶矩阵 $M = E_n - 2v v^{\mathrm{T}}$，其中 $v$ 是 $n$ 维实列向量，并且满足 $v^{T}v = 1$. 这样的 $M$ 称为镜像阵. 设 $\varphi$ 是 $n$ 维欧式空间 $V$ 上的线性变换，求证：$\varphi$ 是镜像变换的充分必要条件是 $\varphi$ 在 $V$ 的某一组（任一组）标准正交基下的表示矩阵是镜像阵.
\item 设 $u, v$ 是欧式空间 $V$ 中的两个范数相等的不同向量，求证：必存在镜像变换 $\varphi$ 使得 $\varphi(u) = v$.
\item （Cartan–Dieudonné theorem）证明：$n$ 维欧式空间 $V$ 上的任一正交变换均可表示为不超过 $n$ 个镜像变换之积.
\end{enumerate}
\item 设 $n$ 为一正整数，记 $z \in \mathbb{C}^n$ 为 $z = (z_0, z_1, \ldots, z_{n - 1})$，其中 $z_i \in \mathbb{C}$. 定义 $\mathbb{C}^n$ 上的线性函数 $\omega_0, \omega_1, \ldots, \omega_{n - 1}$ 如下：
\[
\omega_j(z_0, z_1, \ldots, z_{n - 1}) = \dfrac{1}{\sqrt{n}}\sum_{m = 0}^{n - 1}z_m e^{-2\pi \i jm/n}.
\]
则离散傅里叶变换（Discrete Fourier Transform）定义为 $\mathcal{F}: \mathbb{C}^n \to \mathbb{C}^n$，其中 \[ \mathcal{F}(z) = (\omega_0(z), \omega_1(z), \ldots, \omega_{n - 1}(z)). \]
证明：
\begin{enumerate}
\item $\mathcal{F}$ 是酉变换；
\item 若定义 $z_n = z_0$，则 \[ \mathcal{F}^{-1}(z_0, z_1, \ldots, z_{n - 1}) = \mathcal{F}(z_n, z_{n - 1}, \ldots, z_1). \]
\item $\mathcal{F}^4 = I$.
\end{enumerate}
\end{enumerate}
2 changes: 1 addition & 1 deletion 讲义/专题/22 奇异值分解.tex
View file
Original file line number Diff line number Diff line change
Expand Up @@ -164,7 +164,7 @@ \subsection{极分解定理}

极分解定理将所有一般的算子表成了一个等距同构和一个正算子的乘积，而这两种算子我们之前的章节都已经给出了完全的描述. 所以我们也得到了一般算子的第二种刻画方式.

\subsection*{$^*$ 算子范数和}
\subsection*{$^*$ 算子范数}

\vspace{2ex}
\centerline{\heiti \Large 内容总结}
Expand Down

0 comments on commit 830da5b

Please sign in to comment.