최소제곱법
지금 소개할 최소제곱법은 우선 유클리드 공간 \(\mathbb{R}^n\)들과 이 위에 주어진 dot product에 대해서 생각한다. 그러나 §쌍선형형식, §§비퇴화 쌍선형형식에서 했던 것과 동일한 방식으로 이를 일반적인 \(\mathbb{R}\)-내적공간으로 일반화할 수 있다.
임의의 행렬 \(A\in\Mat_{m\times n}(\mathbb{R})\)과 연립일차방정식 \(Ax=y\)를 생각하자. 만일 \(m=n\)이고 \(A\)가 가역이라면 이 방정식은 유일한 해를 갖지만, 일반적인 경우는 그렇지 않다. 특별히 \(m>n\)인 경우를 생각하자. 그럼 \(\rank(A)\leq n< m\)이므로, \(A\)의 image에 해당하는 벡터들을 제외한 대부분의 \(y\)에 대해서는 이 방정식을 풀 수 없다.
대표적인 예시는 다양한 데이터가 주어졌을 때, 이를 표현하는 적당한 함수를 찾는 것이다. 물론 라그랑주 보간법을 이용하면 적절한 basis를 잡아 주어진 \(n+1\)개의 데이터를 근사하는 \(n\)차 함수를 찾을 수 있지만, 가령 이 데이터를 표현하는 일차함수를 찾으려 한다면 주어진 \(n+1\)개의 점이 모두 일직선 상에 존재하지 않는 한 정확한 해를 찾을 수는 없을 것이다.
우리는 임의의 주어진 벡터 \(y\)를 \(\im A\)로 사영한 후, 이 벡터 \(y'=\proj_{\im(A)}y\)에 대해 방정식 \(Ax=y'\)를 풀 것이다. 그런데 앞선 글에서 우리는 \(y-y'\in (\im A)^\perp\)임을 알고 있으므로
\[\langle y-y', v\rangle=0\qquad\text{for all $v\in \im A$}\]임을 안다. 따라서 다음의 식
\[\langle y-y', Au\rangle=0\qquad\text{for all $u\in \mathbb{R}^n$}\]을 얻는다. 이제 \(A\)를 왼쪽으로 넘겨주면
\[\langle A^t(y-y'), u\rangle=0\qquad\text{for all $u\in\mathbb{R}^n$}\]이고, \(\langle-,-\rangle\)이 non-degenerate인 것으로부터 \(A^t(y-y')=0\)임을 안다. 이제 \(y'=Ax\)이므로, 우리는 방정식
\[A^tAx=A^ty\]을 얻는다. 이 과정을 요약하면 다음과 같다.
명제 1 임의의 행렬 \(A\in\Mat_{m\times n}(\mathbb{R})\)과 \(y\in\mathbb{R}^m\)에 대하여, 벡터 \(x\in\mathbb{R}^n\)이 실수 \(\lVert Au-y\rVert\)의 값을 최소로 하는 것은 다음 방정식
\[A^tAx=A^ty\]이 성립하는 것과 동치이다.
도입부에서 다룬 예시는 다음과 같은 방식으로 풀 수 있다.
예시 2
더 일반적으로, 내적 \(\langle-,-\rangle\)을 dot product 대신 함수들의 공간에서의 \(L^2\)-내적 등으로 택하여도 이와 비슷한 예시를 반복할 수 있다.
유사역행렬
이번에는 반대로 행렬 \(A\in\Mat_{m\times n}(\mathbb{R})\)에서 \(m< n\)인 경우를 생각한다.
우선 임의의 \(A\in\Mat_{m\times n}(\mathbb{R})\)과 \(y\in\im(A)\)가 주어졌다 하고, \(A\)가 단사가 아니라 하자. 그럼 \(Au=0\)을 만족하는 영이 아닌 벡터 \(u\)들이 존재하며, 따라서 \(Ax=y\)를 만족하는 벡터 \(x\)가 하나 주어진다면, \(x+u\)들 또한 해가 된다는 것을 알 수 있다. 이제 이들 중 가장 작은 norm을 갖는 해를 찾아 이를 minimum-norm solution이라 부르자.
댓글남기기