선형 대수(linear algebra)와 함수형 해석(functional analysis)에서 최소-최대 정리(min-max theorem), 또는 변이 정리(variational theorem), 또는 쿠란트-피셔-바일 최소-최대 원리(Courant–Fischer–Weyl min-max principle)는 힐베르트 공간 위에 컴팩트 에르미트 연산자의 고윳값(eigenvalues)의 변이 특성을 제공하는 결과입니다. 그것은 유사한 본성의 많은 결과의 출발점으로 볼 수 있습니다.
이 가사는 무한-차원 힐베르트 공간 위에 컴팩트 연산자를 고려하기 전에 먼저 유한-차원 경우와 해당 그것의 응용에 대해 설명합니다. 컴팩트 연산자에 대해, 주요 정리의 증명이 본질적으로 유한-차원 논증에서 같은 아이디어를 사용한다는 것을 알 수 있을 것입니다.
연산자가 비-에르미트인 경우에서, 그 정리는 결합된 특이값(singular values)의 동등한 특성화를 제공합니다. 최소-최대 정리는 아래에 경계진 자체-인접 연산자(self-adjoint operators)로 확장될 수 있습니다.
Matrices
A를 n × n 에르미트 행렬(Hermitian matrix)이라고 놓습니다. 고윳값에 대한 많은 다른 변이 결과와 마찬가지로, 레일리–리츠 몫(Rayleigh–Ritz quotient) \(R_A : \mathbf{C}^n \backslash \{0\} \to \mathbf{R}\)을 다음에 의해 정의된 것으로 생각해 보십시오:
\(\quad \displaystyle R_A(x) = \frac{(Ax, x)}{(x,x)}\)
여기서 (⋅, ⋅)는 \(\mathbf{C}^n\) 위에 유클리드 안의 곱(Euclidean inner product)을 나타냅니다. 분명하게, 고유벡터의 레일리 몫은 그것의 결합된 고윳값입니다. 동등하게, 레일리–리츠 몫은 다음에 의해 대체될 수 있습니다:
\(\quad \displaystyle f(x) = (Ax, x), \; \|x\| = 1.\)
에르미트 행렬 A에 대해, 연속 함수 \(R_A (x)\), 또는 f(x)의 치역은 실수 직선의 컴팩트 구간 [a, b]입니다. 최댓값 b와 최솟값 a는 각각 A의 최대 고윳값과 최소 고윳값입니다. 최소-최대 정리는 이 사실을 개선한 것입니다.
Min-max theorem
A를 고윳값 \(\lambda_1 \le ... \le \lambda_k \le ... \le \lambda_n\)을 갖는 n × n 에르미트 행렬(Hermitian matrix)이라고 놓습니다. 그런-다음
\(\quad\displaystyle \lambda_k = \min_U \{ \max_x \{ R_A(x) \mid x \in U \text{ and } x \neq 0 \} \mid \dim(U)=k \}\)
그리고
\(\quad\displaystyle \lambda_k = \max_U \{ \min_x \{ R_A(x) \mid x \in U \text{ and } x \neq 0 \} \mid \dim(U)=n-k+1 \}\),
특히,
\(\quad\displaystyle \forall x \in \mathbf{C}^n\backslash\{0\} \colon \lambda_1 \leq R_A(x) \leq \lambda_n\)
그리고 이들 경계는 x가 적절한 고윳값의 고유벡터일 때 달성됩니다.
역시 최대 고윳값 \(\lambda_n\)에 대한 더 간단한 공식은 다음에 의해 제공됩니다:
\(\quad\displaystyle \lambda_n = \max \{R_A(x) : x \neq 0 \}. \)
유사하게, 최소 고윳값 \(\lambda_1\)은 다음에 의해 제공됩니다:
\(\quad\displaystyle \lambda_1 = \min \{R_A(x) : x \neq 0 \}. \)
Proof
행렬 A가 에르미트이기 때문에, 그것은 대각화-가능이고 우리는 고유벡터 \(\{u_1,...,u_n\}\)의 직교정규 기저를 선택할 수 있습니다. 즉, \(u_i\)는 고윳값 \(\lambda_i\)에 대해 고유벡터이고 모든 i ≠ j에 대해 \((u_i,u_i) = 1\) 및 \((u_i,u_j)=0\)을 만족합니다.
만약 U가 차원 k의 부분공간이면 부분공간 \(\text{span}\{u_k, ..., u_n\}\)과 그것의 교차점은 영은 아니며, 그렇다면, 두 부분공간의 스팬의 차원은 \(\displaystyle k + (n-k+1)\)일 것이고, 이는 불가능합니다. 따라서 이 교차점에서 다음과 같이 쓸 수 있는 벡터 v ≠ 0가 존재합니다:
\(\quad\displaystyle v = \sum_{i=k}^n \alpha_i u_i\)
그리고 그 레일리 몫은 다음과 같습니다:
\(\quad\displaystyle R_A(v) = \frac{\sum_{i=k}^n \lambda_i |\alpha_i|^2}{\sum_{i=k}^n |\alpha_i|^2} \geq \lambda_k\)
(i=k,..,n에 대해 모든 \(\displaystyle \lambda_i \geq \lambda_k\)일 때)
그리고 따라서
\(\quad\displaystyle \max \{ R_A(x) \mid x \in U \} \geq \lambda_k\)
이것은 모든 U에 대해 참이기 때문에, 다음과 같이 결론을 내릴 수 있습니다:
\(\quad\displaystyle \min \{ \max \{ R_A(x) \mid x \in U \text{ and } x \neq 0 \} \mid \dim(U)=k \} \geq \lambda_k\)
이것은 하나의 부등식입니다. 다른 부등식을 설정하기 위해, 특정 k-차원 공간을 선택하십시오: \(V=\text{span}\{u_1,...,u_k\}\), 이에 대해,
\(\quad\displaystyle \max \{ R_A(x) \mid x \in V \text{ and } x \neq 0 \} \leq \lambda_k\)
왜냐하면 \(\displaystyle \lambda_k\)는 V에서 가장 큰 고윳값입니다. 그러므로, 역시
\(\quad\displaystyle \min \{ \max \{ R_A(x) \mid x \in U \text{ and } x \neq 0 \} \mid \dim(U)=k \} \leq \lambda_k\)
다른 공식을 얻기 위해, 에르미트 행렬 \(\displaystyle A' = -A\)을 생각해 보십시오, 증가하는 순서에서 그 고윳값은 \(\displaystyle \lambda'_k = -\lambda_{n-k+1}\)입니다. 방금 입증된 결과를 적용하여,
\(\quad\displaystyle
\begin{align}
-\lambda_{n-k+1} = \lambda'_k &= \min \{ \max \{ R_{A'}(x) \mid x \in U \} \mid \dim(U) = k \} \\
& = \min \{ \max \{ -R_{A}(x) \mid x \in U \} \mid \dim(U) = k \} \\
& = - \max \{ \min \{ R_{A}(x) \mid x \in U \} \mid \dim(U) = k \}
\end{align}
\)
결과는 \(\displaystyle k\)를 \(\displaystyle n-k+1\)로 대체하여 따릅니다.\(\square\)
Counterexample in the non-Hermitian case
N을 다음과 같은 거듭제곱영 행렬이라고 놓습니다:
\(\quad\displaystyle \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}.\)
레일리 몫 \(\displaystyle R_N(x) \)를 에르미트 사례에서 위와 같이 정확히 정의하십시오. 그런-다음 N의 유일한 고윳값은 영이고, 반면 레일리 몫의 최댓값은 1/2임을 쉽게 알 수 있습니다. 즉, 레일리 몫의 최댓값이 최대 고윳값보다 큽니다.
Applications
Min-max principle for singular values
정사각 행렬 M의 특이값(singular values) \(\{\sigma_k\}\)은 M*M (동등하게 MM*)의 고윳값의 제곱근입니다. 최소-최대 정리에서 첫 번째 상등의 즉각적인 결과는 다음과 같습니다:
\(\quad\displaystyle \sigma_k^{\uparrow} = \min_{S:\dim(S)=k} \max_{x \in S, \|x\| = 1} (M^* Mx, x)^{\frac{1}{2}}=\min_{S:\dim(S)=k} \max_{x \in S, \|x\| = 1} \| Mx \|.\)
유사하게,
\(\quad\displaystyle \sigma_k^{\uparrow} = \max_{S:\dim(S)=n-k+1} \min_{x \in S, \|x\| = 1} \| Mx \|.\)
여기서 \(\displaystyle \sigma_k=\sigma_k^\uparrow\)는 \(\displaystyle \sigma_1\leq\sigma_2\leq\cdots \)가 되도록 σ의 증가하는 순서열에서 k-번째 엔트리를 나타냅니다.
Cauchy interlacing theorem
A를 대칭 n × n 행렬이라고 놓습니다. m × m 행렬 B는, 여기서 m ≤ n, 만약 PAP* = B임을 만족하는 차원 m의 부분공간 위로의 직교 투영(orthogonal projection) P가 존재하면 A의 압축(compression)이라고 불립니다. 코시 인터레이스 정리는 다음이라고 말합니다:
- Theorem. 만약 A의 고윳값이 \(\alpha_1 \le ... \le \alpha_n\)이고, B의 고윳값이 \(\beta_1 \le ... \le \beta_m\)이면, 모든 j ≤ m에 대해,
- \(\displaystyle \alpha_j \leq \beta_j \leq \alpha_{n-m+j}.\)
이는 최소-최대 원리를 사용하여 입증될 수 있습니다. \(\beta_i\)가 대응하는 고유벡터 \(b_i\)를 가지고 \(S_j\)를 j-차원 부분공간 \(S_j = \text{span}\{b_1,...,b_n\}\)라고 놓으면,
\(\quad\displaystyle \beta_j = \max_{x \in S_j, \|x\| = 1} (Bx, x) = \max_{x \in S_j, \|x\| = 1} (PAP^*x, x) \geq \min_{S_j} \max_{x \in
S_j, \|x\| = 1} (A(P^*x), P^*x) = \alpha_j.\)
최소-최대의 첫 번째 부분에 따라, \(\alpha_j \le \beta_j\). 다른 한편으로, 만약 \(S_{m-j+1} = \text{span}\{b_j,...,b_m\}\)를 정의하면,
\(\quad\displaystyle \beta_j = \min_{x \in S_{m-j+1}, \|x\| = 1} (Bx, x) = \min_{x \in S_{m-j+1}, \|x\| = 1} (PAP^*x, x)= \min_{x \in S_{m-j+1}, \|x\| = 1} (A(P^*x), P^*x) \leq \alpha_{n-m+j},\)
여기서 마지막 부등식은 최소-최대의 두 번째 부분에 의해 제공됩니다.
n − m = 1일 때, \(\alpha_j \le \beta_j \le \alpha_{j+1}\)를 가지며, 따라서 그 이름 인터레이스(interlacing) 정리입니다.
Compact operators
A를 힐베르트 공간 H 위에 컴팩트(compact), 에르미트(Hermitian) 연산자라고 놓습니다. 그러한 연산자의 스펙트럼 (고윳값의 집합)은 가능한 클러스터 점(cluster point)만 영인 실수의 집합이라는 점을 상기하십시오. 따라서 A의 양의 고윳값을 다음과 같이 나열하는 것이 편리합니다:
\(\quad\displaystyle \cdots \le \lambda_k \le \cdots \le \lambda_1,\)
여기서 엔트리는 행렬의 경우와 같이 중복도(multiplicity)로 반복됩니다. (수열이 감소하고 있음을 강조하기 위해, \(\displaystyle \lambda_k = \lambda_k^\downarrow\)라고 쓸 수 있습니다.) H가 무한-차원일 때, 위의 고윳값의 수열은 필연적으로 무한합니다. 이제 행렬의 경우와 같은 추론을 적용합니다. \(S_k \subset H\)를 k-차원 부분공간이라고 놓으면, 다음 정리를 얻을 수 있습니다.
- Theorem (Min-Max). A를 힐베르트 공간 H 위의 컴팩트, 자체-인접 연산자라고 놓으며, 그의 양수 고윳값은 감소하는 순서 \(... \le \lambda_k \le ... \le \lambda_1\)에서 나열됩니다. 그런-다음:
- \(\displaystyle \begin{align}
\max_{S_k} \min_{x \in S_k, \|x\| = 1} (Ax,x) &= \lambda_k ^{\downarrow}, \\
\min_{S_{k-1}} \max_{x \in S_{k-1}^{\perp}, \|x\|=1} (Ax, x) &= \lambda_k^{\downarrow}.
\end{align}\)
음의 고윳값에 대해 유사한 등식의 쌍이 유지됩니다.
Proof
S' 를 선형 스팬 \(\displaystyle S' =\operatorname{span}\{u_k,u_{k+1},\ldots\}\)의 클로저라고 놓습니다.
부분공간 S' 는 여차원 k − 1을 가집니다. 행렬 경우와 마찬가지로 차원 카운트 논증에 의해, \(S' \cup S_k\)는 양수 차원을 가집니다. 따라서 \(\displaystyle \|x\|=1\)를 갖는 \(x \in S' \cup S_k\)가 존재합니다. 그것이 S' 의 원소이기 때문에, 그런 x는 반드시 다음을 만족시킵니다:
\(\quad\displaystyle (Ax, x) \le \lambda_k.\)
그러므로, 모든 \(S_k\)에 대해,
\(\quad\displaystyle \inf_{x \in S_k, \|x\| = 1}(Ax,x) \le \lambda_k\)
그러나 A는 컴팩트이고, 따라서 함수 f(x) = (Ax, x)는 약하게 연속입니다. 게다가, H에서 임의의 경계진 집합은 약하게 컴팩트입니다. 이렇게 하면 하한(infimum)을 최솟값(minimum)으로 대체할 수 있습니다:
\(\quad\displaystyle \min_{x \in S_k, \|x\| = 1}(Ax,x) \le \lambda_k.\)
따라서
\(\quad\displaystyle \sup_{S_k} \min_{x \in S_k, \|x\| = 1}(Ax,x) \le \lambda_k.\)
상등이 \(\displaystyle S_k=\operatorname{span}\{u_1,\ldots,u_k\}\)일 때 달성되기 때문에,
\(\quad\displaystyle \max_{S_k} \min_{x \in S_k, \|x\| = 1}(Ax,x) = \lambda_k.\)
이것은 컴팩트 자체-인접 연산자에 대해 최소-최대 정리의 첫 번째 부분입니다.
유사하게, 이제 (k − 1)-차원 부분공간 \(S_{k-1}\)을 생각해 보십시오, 그것의 직교 여는 \({S_{k-1}^{\perp}\)에 의해 표시됩니다. 만약 \(S' = \text{span}\{u_1,...,u_k\}\)이면,
\(\quad\displaystyle S' \cap S_{k-1}^{\perp} \ne {0}.\)
따라서
\(\quad\displaystyle \exists x \in S_{k-1}^{\perp} \, \|x\| = 1, (Ax, x) \ge \lambda_k.\)
이것은 다음임을 의미합니다:
\(\quad\displaystyle \max_{x \in S_{k-1}^{\perp}, \|x\| = 1} (Ax, x) \ge \lambda_k\)
여기서 A의 컴팩트성이 적용되었습니다. k-1-차원 부분공간의 모음에 의해 위의 인덱스는 다음을 제공합니다:
\(\quad\displaystyle \inf_{S_{k-1}} \max_{x \in S_{k-1}^{\perp}, \|x\|=1} (Ax, x) \ge \lambda_k.\)
\(S_{k-1} = \text{span}\{u_1,..., u_{k-1}\}\)를 선택하고 다음임을 추론합니다:
\(\quad\displaystyle \min_{S_{k-1}} \max_{x \in S_{k-1}^{\perp}, \|x\|=1} (Ax, x) = \lambda_k.\)
Self-adjoint operators
최소-최대 정리는 (아마도 비-경계진) 자체-인접 연산자에도 적용됩니다. 필수 스펙트럼(essential spectrum)은 유한 중복도의 고립된 고윳값 없이 스펙트럼임을 상기하십시오. 때로는 필수 스펙트럼 아래에 일부 고윳값을 가지고, 고윳값과 고유함수를 근사화하려고 합니다.
- Theorem (Min-Max). A를 자체-인접이라고 놓고, \(\displaystyle E_1\le E_2\le E_3\le\cdots\)를 필수 스펙트럼 아래에 A의 고윳값이라고 놓습니다. 그런-다음
- \(\displaystyle E_n=\min_{\psi_1,\ldots,\psi_{n}}\max\{\langle\psi,A\psi\rangle:\psi\in\operatorname{span}(\psi_1,\ldots,\psi_{n}), \, \| \psi \| = 1\}\).
만약 N개의 고윳값만 가지고 따라서 고윳값이 부족하면, n>N에 대해 \(\displaystyle E_n:=\inf\sigma_{ess}(A)\) (필수 스펙트럼의 바닥)로 놓고, 최소-최대를 하한-상한으로 대체한 후에도 위의 명제가 유지됩니다.
- Theorem (Max-Min). A를 자체-인접이라고 놓고, \(\displaystyle E_1\le E_2\le E_3\le\cdots\)를 필수 스펙트럼 아래에 A의 고윳값이라고 놓습니다. 그런-다음
- \(\displaystyle E_n=\max_{\psi_1,\ldots,\psi_{n-1}}\min\{\langle\psi,A\psi\rangle:\psi\perp\psi_1,\ldots,\psi_{n-1}, \, \| \psi \| = 1\}\).
만약 N개의 고윳값만 가지고 따라서 고윳값이 부족하면, n > N에 대해 n > N (필수 스펙트럼의 바닥)로 놓고, 위의 명제는 최대-최소를 상한-하한으로 대체한 후에도 유지됩니다.
증명은 자체-인접 연산자에 대한 다음 결과를 사용합니다:
- Theorem. A를 자체-인접이라고 놓습니다. 그런-다음 \(\displaystyle E\in\mathbb{R}\)에 대해 \(\displaystyle (A-E)\ge0\)인 것과 \(\displaystyle \sigma(A)\subseteq[E,\infty)\)인 것은 필요충분 조건입니다.
- Theorem. 만약 A가 자체-인접이면,
- \(\displaystyle \inf\sigma(A)=\inf_{\psi\in\mathfrak{D}(A),\|\psi\|=1}\langle\psi,A\psi\rangle\)
- 그리고
- \(\displaystyle \sup\sigma(A)=\sup_{\psi\in\mathfrak{D}(A),\|\psi\|=1}\langle\psi,A\psi\rangle\).
External links and citations to related work
- Fisk, Steve (2005). "A very short proof of Cauchy's interlace theorem for eigenvalues of Hermitian matrices". arXiv:math/0502408. {{cite journal}}: Cite journal requires |journal= (help)
- Hwang, Suk-Geun (2004). "Cauchy's Interlace Theorem for Eigenvalues of Hermitian Matrices". The American Mathematical Monthly. 111 (2): 157–159. doi:10.2307/4145217. JSTOR 4145217.
- Kline, Jeffery (2020). "Bordered Hermitian matrices and sums of the Möbius function". Linear Algebra and Its Applications. 588: 224–237. doi:10.1016/j.laa.2019.12.004.
- Reed, Michael; Simon, Barry (1978). Methods of Modern Mathematical Physics IV: Analysis of Operators. Academic Press. ISBN 978-0-08-057045-7.
