泛函分析3-2 内积空间-正交与正交分解

第三章 第二节 正交与正交分解

正交的定义

在内积空间中，我们可以类似于 \(n\) 维欧氏空间，当 \((x,y)=0\) 时，定义元素 \(x\) 和 \(y\) 正交。

定义
设 \(X\) 是内积空间，\(x,y \in X\)，如果 \((x,y)=0\)，则称 \(x\) 与 \(y\) 正交，记为 \(x \perp y\)。

定理（勾股定理）
设 \(X\) 是内积空间，\(x,y,z \in X\)，\(x = y + z\)，且 \(y \perp z\)，则

\[\|x\|^2 = \|y\|^2 + \|z\|^2 \]

证明

\[\|x\|^2 = (y + z, y + z) = (y,y) + (z,y) + (y,z) + (z,z) = \|y\|^2 + \|z\|^2 \]

定义
设 \(X\) 是内积空间，\(M \subset X\)，\(x \in X\)，如果对于任意的 \(y \in M\)，有 \((x,y)=0\)，则称 \(x\) 正交于 \(M\)，记为 \(x \perp M\)。

定义
设 \(X\) 是内积空间，\(M\) 和 \(N\) 是 \(X\) 中的两个子集，如果对于任意的 \(x \in M\)，\(y \in N\)，有 \((x,y)=0\)，则称 \(M\) 正交于 \(N\)，记为 \(M \perp N\)。

正交补

定义
设 \(X\) 是内积空间，\(M\) 是 \(X\) 的子集，\(X\) 中所有与 \(M\) 正交的元素组成的集合称为 \(M\) 的正交补，记为 \(M^\perp\)，即

\[M^\perp = \{ y \in X \mid (x,y) = 0,\ \forall x \in M \} \]

以下是正交补的性质，证明略。

定理
设 \(X\) 是内积空间，\(M\) 是 \(X\) 的子集，那么

1. \(0 \in M^\perp\)；
2. 如果 \(0 \in M\)，那么 \(M \cap M^\perp = \{0\}\)，否则 \(M \cap M^\perp = \varnothing\)；
3. \(\{0\}^\perp = X\)，\(X^\perp = \{0\}\)；
4. 如果 \(M \supset B(a,r)\)（其中 \(B(a,r)\) 是以 \(a \in X\) 为中心、以 \(r\) 为半径的开球），那么 \(M^\perp = \{0\}\)；进一步地，如果 \(M\) 是一个非空的开集，则 \(M^\perp = \{0\}\)；
5. 如果 \(N \subset M\)，那么 \(M^\perp \subset N^\perp\)；
6. \(M \subset (M^\perp)^\perp\)。

定理
设 \(X\) 是内积空间，\(M\) 是 \(X\) 的任意子集，则 \(M^\perp\) 是 \(X\) 中的闭子空间。

证明
(1) 证明 \(M^\perp\) 是子空间。任取 \(x \in M^\perp\)，\(y \in M^\perp\)，\(\alpha,\beta \in \mathbb{K}\)，则对于任意的 \(z \in M\)，

\[(\alpha x + \beta y, z) = \alpha(x,z) + \beta(y,z) = 0 \]

因此 \(\alpha x + \beta y \in M^\perp\)，即 \(M^\perp\) 是 \(X\) 的子空间。

(2) 证明 \(M^\perp\) 是闭的。如果 \(\{x_n\} \in M^\perp\ (n=1,2,\cdots)\)，且 \(x_n \to x\ (n \to \infty)\)，则对于任意的 \(z \in M\)，由内积的连续性可得

\[(x,z) = \left( \lim_{n \to \infty} x_n, z \right) = \lim_{n \to \infty} (x_n, z) = 0 \]

因此 \(x \in M^\perp\)，所以 \(M^\perp\) 是闭子空间。

注：\(M\) 是 \(X\) 的子集，\(M\) 不一定是子空间，但是 \(M^\perp\) 是 \(X\) 的闭子空间。

定理
设 \(M\) 是内积空间 \(X\) 的一个线性子空间，则 \(x \in M^\perp\) 当且仅当对于任意的 \(y \in M\)，有 \(\|x - y\| \geq \|x\|\)。

证明

• “\(\Rightarrow\)” 因为 \(x \in M^\perp\)，\(y \in M\)，由勾股定理得

  \[\|x - y\|^2 = \|x + (-y)\|^2 = \|x\|^2 + \|y\|^2 \geq \|x\|^2. \]

• “\(\Leftarrow\)” 设 \(M\) 是 \(X\) 的线性子空间，且对于 \(x \in X\)，有

  \[\|x - y\| \geq \|x\|,\quad \forall y \in M. \]

  由 \(M\) 是线性子空间知，\(\forall t \neq 0\ (t \in \mathbb{R})\)，有 \(ty \in M\)。从而得到 \(\|x - ty\|^2 \geq \|x\|^2\)。再根据内积的定义

  \[\|x - ty\|^2 = \|x\|^2 - t(x,y) - t(y,x) + t^2\|y\|^2. \]

  于是 \(0 \leq -2t \mathrm{Re}(x,y) + t^2\|y\|^2\)，即 \(2t \mathrm{Re}(x,y) \leq t^2\|y\|^2\)。从而

  • 当 \(t > 0\) 时，\(\mathrm{Re}(x,y) \leq \frac{1}{2}t\|y\|^2\)，由 \(t\) 的任意性得 \(\mathrm{Re}(x,y) \leq 0\)；
  • 当 \(t < 0\) 时，\(\mathrm{Re}(x,y) \geq \frac{1}{2}t\|y\|^2\)，由 \(t\) 的任意性得 \(\mathrm{Re}(x,y) \geq 0\)。
    故 \(\mathrm{Re}(x,y) = 0\)。同样地，以 \(it\) 代替 \(t\)，可得 \(\mathrm{Im}(x,y) = 0\)。从而 \((x,y) = 0\)，即 \(x \perp y\)。

注：注意这里的 \(M\) 是一个子空间，在实的情况时，也可以从最优化里面的一阶最优性条件的角度证明。

最佳逼近

我们曾经定义了一点 \(x\) 到一个集合 \(A\) 的距离

\[d(x,A) = \inf\left\{ d(x,y) \mid y \in A \right\} \]

如果存在点 \(x_0 \in A\)，使得

\[\|x - x_0\| = d(x,A) \]

则称 \(x_0\) 是 \(x\) 在集合 \(A\) 中的最佳逼近点（即 \(x_0\) 是集合 \(A\) 中与 \(x\) “最接近的”点）。
但是这样的点是否存在、存在的话是否唯一？这就是最佳逼近问题。在 Hilbert 空间，最佳逼近的问题相对比较简单。

定义
一个赋范空间 \(X\) 称为是严格凸的，如果对于任意的 \(x,y \in X\)，\(x \neq y\)，并且 \(\|x\| = \|y\| = 1\)，都有

\[\|\alpha x + \beta y\| < 1 \quad (\forall \alpha,\beta > 0,\ \alpha + \beta = 1). \]

定理
内积空间是严格凸的赋范空间。

证明
设 \(X\) 是内积空间。任给 \(0 < \lambda < 1\)，\(x,y \in X\)，\(\|x\| = \|y\| = 1\)，且 \(x \neq y\)：

• 当 \(x = -y\) 时
  \[\|\lambda x + (1 - \lambda)y\| = \|2\lambda y - y\| = |2\lambda - 1|\|y\| = |2\lambda - 1| < 1. \]

• 当 \(x = \alpha y\)，\(|\alpha| = 1\)，\(\alpha \neq \pm 1\) 时
  \[\begin{align*} \|\lambda x + (1 - \lambda)y\| &= \|\lambda \alpha y + (1 - \lambda)y\| = |\alpha \lambda + (1 - \lambda)|\|y\|\\ &= |\alpha \lambda + (1 - \lambda)| < |\alpha| + |1 - \lambda| = \lambda + 1 - \lambda = 1. \end{align*} \]

• 当 \(x \neq \alpha y\ (\forall \alpha \in \mathbb{C})\) 时，Schwarz 不等式中的不等号严格成立
  \[|(x,y)|^2 < (x,x)(y,y). \]
  注意到 \(\mathrm{Re}(x,y) \leq |\mathrm{Re}(x,y)| \leq |(x,y)| < \|x\|\|y\| = 1\)，则
  \[\begin{align*} \|\lambda x + (1 - \lambda)y\|^2 &= \lambda^2 \|x\|^2 + 2\lambda(1 - \lambda)\mathrm{Re}(x,y) + (1 - \lambda)^2 \|y\|^2\\ &= \lambda^2 + 2\lambda(1 - \lambda)\mathrm{Re}(x,y) + (1 - \lambda)^2 < \left[ \lambda + (1 - \lambda) \right]^2 = 1. \end{align*}\]
  因此 \(\|\lambda x + (1 - \lambda)y\| < 1\)，故内积空间是严格凸的。

注：不是所有的赋范空间都是严格凸的，可以验证 \(C[a,b]\) 就不是严格凸的。

定理
设 \(M\) 是 Hilbert 空间 \(H\) 中的非空闭凸集，则对于任意的 \(x \in H\)，存在唯一的最佳逼近点 \(x_0 \in M\)，使得

\[\|x - x_0\| = d(x,M) = \inf\left\{ \|x - y\| \mid y \in M \right\}. \]

证明

• 存在性。不妨假定 \(M\) 是 \(H\) 的真子集，并且 \(x \notin M\)。记 \(\alpha = \inf\limits_{y \in M} \|x - y\|\)，于是存在 \(\{x_n\} \subset M\)，使得

  \[\|x_n - x\| \to \alpha\ (n \to \infty). \]

  由于 \(M\) 是凸集，对于任意的正整数 \(m,n\)，有 \(\frac{x_m + x_n}{2} \in M\)，因此

  \[\left\| x - \frac{x_m + x_n}{2} \right\| \geq \alpha. \]

  由平行四边形法则可得

  \[\begin{align*} \|x_m - x_n\|^2 &= 2\|x_m - x\|^2 + 2\|x - x_n\|^2 - 4\left\| x - \frac{x_m + x_n}{2} \right\|^2\\ &\leq 2\|x_m - x\|^2 + 2\|x - x_n\|^2 - 4\alpha^2. \end{align*} \]

  于是当 \(m,n \to \infty\) 时，\(\|x_m - x_n\|^2 \to 0\)，即 \(\{x_n\}\) 是 \(M\) 中的 Cauchy 列。
  由于 \(H\) 是 Hilbert 空间，\(M\) 是闭的，于是存在 \(x_0 \in M\)，使得 \(x_n \to x_0\ (n \to \infty)\)。由于范数是连续的，有 \(\|x_0 - x\| = \alpha\)。

• 唯一性。依然假设 \(x \notin M\)，由于 \(M\) 是闭集，\(\alpha = \inf\limits_{y \in M} \|x - y\| > 0\)。假如最佳逼近点不唯一，即存在 \(y_0 \in M\)，\(y_0 \neq x_0\)，且 \(\|x - y_0\| = \alpha\)。我们可推出 \(\frac{1}{2}(x_0 + y_0)\) 也是最佳逼近点。事实上

  \[\left\| x - \frac{1}{2}(x_0 + y_0) \right\| = \left\| \frac{1}{2}(x - x_0) + \frac{1}{2}(x - y_0) \right\| \leq \frac{1}{2}\|x - x_0\| + \frac{1}{2}\|x - y_0\| = \alpha. \]

  于是由 \(M\) 是凸的，\(\frac{x_0 + y_0}{2} \in M\)，由 \(\alpha\) 的定义有 \(\left\| x - \frac{1}{2}(x_0 + y_0) \right\| = \alpha\)，即 \(\frac{1}{2}(x_0 + y_0)\) 也是最佳逼近点。
  考虑 \(\frac{x - x_0}{\alpha}\) 和 \(\frac{x - y_0}{\alpha}\)，显然 \(\left\| \frac{x - x_0}{\alpha} \right\| = \left\| \frac{x - y_0}{\alpha} \right\| = 1\)，并且

  \[\left\| \frac{1}{2}\left( \frac{x - x_0}{\alpha} \right) + \frac{1}{2}\left( \frac{x - y_0}{\alpha} \right) \right\| = \frac{1}{\alpha}\left\| x - \frac{x_0 + y_0}{2} \right\| = \frac{1}{\alpha} \cdot \alpha = 1. \]

  这与 Hilbert 空间严格凸矛盾，唯一性得证。

希尔伯特空间的正交分解

定理（正交分解定理）
设 \(H\) 是 Hilbert 空间，\(M\) 是 \(H\) 中的闭子空间，则对于任意的 \(x \in H\)，存在唯一的 \(x_0 \in M\) 及 \(y \in M^\perp\)，使得

\[x = x_0 + y \]

并且

\[\|x\|^2 = \|x_0\|^2 + \|y\|^2. \]

证明

• 存在性。因为 \(M\) 是 Hilbert 空间 \(H\) 的闭子空间（凸集），因此由定理 \ref{最佳逼近}，对于任意的 \(x \in H\)，存在最佳逼近点 \(x_0 \in M\)，使得

  \[\|x - x_0\| = d(x,M) = \inf\limits_{y \in M} \|x - y\|. \]

  令 \(y = x - x_0\)，对于任意 \(z \in M\)，有

  \[\|y - z\| = \|x - (x_0 + z)\| \geq \|x - x_0\| = \|y\|. \]

  因此根据定理 \ref{th3.11} 有 \(y \in M^\perp\)，即存在 \(x_0 \in M\) 及 \(y \in M^\perp\)，使得 \(x = x_0 + y\)。

• 唯一性。反证法。如果还有 \(x = x_0' + y'\)，其中 \(x_0' \in M\)，\(y' \in M^\perp\)。结合 \(x = x_0 + y\)，我们有 \(x_0' - x_0 = -(y' - y)\)，于是 \(y' - y \in M \cap M^\perp = \{0\}\)，所以 \(y' = y\)，且 \(x_0' = x_0\)。

• 由于 \(x_0 \in M\) 和 \(y \in M^\perp\)，根据勾股定理得

  \[\|x\|^2 = \|x_0\|^2 + \|y\|^2. \]

注：设 \(M\) 是 \(H\) 的真闭线性子空间，则 \(H = M \oplus M^\perp\)，其中 \(\oplus\) 表示两个子空间的正交直接和。
从证明中看出，\(x_0\) 是 \(x\) 在 \(M\) 中的最佳逼近点，\(y = x - x_0\) 且 \(y \perp M\)，\(x_0\) 称为 \(x\) 在 \(M\) 上的正交投影。

定理
设 \(X_0\) 是 Hilbert 空间 \(H\) 中的一个闭的线性子空间，则 \(X_0^{\perp\perp} = (X_0^\perp)^\perp = X_0\)。

证明
显然 \(X_0 \subset X_0^{\perp\perp}\)。
设 \(x \in X_0^{\perp\perp}\)，要证明 \(x \in X_0\)。根据正交分解定理，

\[x = x_0 + y,\quad \text{其中 } x_0 \in X_0,\ y \in X_0^\perp. \]

由 \(y \in X_0^\perp\)，\(x \in X_0^{\perp\perp}\)，我们有 \((x,y) = 0\)。于是

\[0 = (x,y) = (x_0 + y, y) = (x_0, y) + (y, y). \]

因为 \(x_0 \in X_0\)，\(y \in X_0^\perp\)，故 \((x_0, y) = 0\)。于是 \(\|y\| = 0\)，故 \(y = 0\)，从而 \(x = x_0 \in X_0\)。因此 \(X_0^{\perp\perp} = X_0\)。

由上述定理容易证得：

定理
设 \(X_0\) 是 Hilbert 空间 \(H\) 中的线性子空间，则

1. \(X_0^{\perp\perp} = \overline{X_0}\)，其中 \(\overline{X_0}\) 是 \(X_0\) 的闭包；
2. \(X_0^\perp = \{0\}\) 当且仅当 \(X_0\) 在 \(H\) 中稠密。

证明
证明的关键在于闭包的正交空间等于原来集合的正交空间，这主要是由于内积的连续性。