K

Grad. student in mathematics

최소제곱법Permalink

지금 소개할 최소제곱법은 우선 유클리드 공간 Rn\mathbb{R}^n들과 이 위에 주어진 dot product에 대해서 생각한다. 그러나 §쌍선형형식, §§비퇴화 쌍선형형식에서 했던 것과 동일한 방식으로 이를 일반적인 R\mathbb{R}-내적공간으로 일반화할 수 있다.

임의의 행렬 A∈Mat⁡m×n(R)A\in\Mat_{m\times n}(\mathbb{R})과 연립일차방정식 Ax=yAx=y를 생각하자. 만일 m=nm=n이고 AA가 가역이라면 이 방정식은 유일한 해를 갖지만, 일반적인 경우는 그렇지 않다. 특별히 m>nm>n인 경우를 생각하자. 그럼 rank⁡(A)≤n<m\rank(A)\leq n< m이므로, AA의 image에 해당하는 벡터들을 제외한 대부분의 yy에 대해서는 이 방정식을 풀 수 없다.

대표적인 예시는 다양한 데이터가 주어졌을 때, 이를 표현하는 적당한 함수를 찾는 것이다. 물론 라그랑주 보간법을 이용하면 적절한 basis를 잡아 주어진 n+1n+1개의 데이터를 근사하는 nn차 함수를 찾을 수 있지만, 가령 이 데이터를 표현하는 일차함수를 찾으려 한다면 주어진 n+1n+1개의 점이 모두 일직선 상에 존재하지 않는 한 정확한 해를 찾을 수는 없을 것이다.

우리는 임의의 주어진 벡터 yy를 im⁡A\im A로 사영한 후, 이 벡터 y′=proj⁡im⁡(A)yy’=\proj_{\im(A)}y에 대해 방정식 Ax=y′Ax=y’를 풀 것이다. 그런데 앞선 글에서 우리는 y−y′∈(im⁡A)⊥y-y’\in (\im A)^\perp임을 알고 있으므로

⟨y−y′,v⟩=0for all v∈im⁡A\langle y-y', v\rangle=0\qquad\text{for all $v\in \im A$}

임을 안다. 따라서 다음의 식

⟨y−y′,Au⟩=0for all u∈Rn\langle y-y', Au\rangle=0\qquad\text{for all $u\in \mathbb{R}^n$}

을 얻는다. 이제 AA를 왼쪽으로 넘겨주면

⟨At(y−y′),u⟩=0for all u∈Rn\langle A^t(y-y'), u\rangle=0\qquad\text{for all $u\in\mathbb{R}^n$}

이고, ⟨−,−⟩\langle-,-\rangle이 non-degenerate인 것으로부터 At(y−y′)=0A^t(y-y’)=0임을 안다. 이제 y′=Axy’=Ax이므로, 우리는 방정식

AtAx=AtyA^tAx=A^ty

을 얻는다. 이 과정을 요약하면 다음과 같다.

명제 1 임의의 행렬 A∈Mat⁡m×n(R)A\in\Mat_{m\times n}(\mathbb{R})과 y∈Rmy\in\mathbb{R}^m에 대하여, 벡터 x∈Rnx\in\mathbb{R}^n이 실수 ∥Au−y∥\lVert Au-y\rVert의 값을 최소로 하는 것은 다음 방정식

AtAx=AtyA^tAx=A^ty

이 성립하는 것과 동치이다.

도입부에서 다룬 예시는 다음과 같은 방식으로 풀 수 있다.

예시 2

더 일반적으로, 내적 ⟨−,−⟩\langle-,-\rangle을 dot product 대신 함수들의 공간에서의 L2L^2-내적 등으로 택하여도 이와 비슷한 예시를 반복할 수 있다.

유사역행렬Permalink

이번에는 반대로 행렬 A∈Mat⁡m×n(R)A\in\Mat_{m\times n}(\mathbb{R})에서 m<nm< n인 경우를 생각한다.

우선 임의의 A∈Mat⁡m×n(R)A\in\Mat_{m\times n}(\mathbb{R})과 y∈im⁡(A)y\in\im(A)가 주어졌다 하고, AA가 단사가 아니라 하자. 그럼 Au=0Au=0을 만족하는 영이 아닌 벡터 uu들이 존재하며, 따라서 Ax=yAx=y를 만족하는 벡터 xx가 하나 주어진다면, x+ux+u들 또한 해가 된다는 것을 알 수 있다. 이제 이들 중 가장 작은 norm을 갖는 해를 찾아 이를 minimum-norm solution이라 부르자.

댓글남기기