[LG Aimers] [수학-1] Matrix Decomposition

1️⃣ Determinant and Trace

Determinant: Motivation

• 행렬 에 대해:
• 역행렬 은 다음과 같이 정의됨:
• A가 가역(invertible)일 조건:

• Determinant(행렬식)의 정의:

• 표기법:
• 또는

• 3x3 행렬의 Determinant:
• 행렬 에 대해:
• 이는 가우스 소거법(Gaussian Elimination) 또는 다른 대수적 방법으로 계산됨

• 패턴 찾기:
위 식은 다음과 같이 정리됨:
• 여기서 여기서 는 행렬 에서 k번째 행과 j번째 열을 제거한 부분 행렬(Submatrix)임

Determinant: Formal Definition

• Determinant의 정의:
• 정사각 행렬 에 대해, 에 대해 다음과 같이 정의됨:
1. 열 j를 기준으로 확장:
2. 행 j를 기준으로 확장:

• 정리(Theorem)
• 는 가역(Invertible)임

Determinant: Properties

1. 곱의 행렬식
• 행렬 곱의 행렬식은 각 행렬의 행렬식을 곱한 것과 같음

2. 전치 행렬의 행렬식
• 행렬의 전치 행렬의 행렬식은 원래 행렬의 행렬식과 동일함

3. 역행렬의 행렬식
• 역행렬의 행렬식은 원래 행렬의 행렬식의 역수임

4. 유사 행렬의 행렬식
• 유사 행렬 는 동일한 행렬식을 가짐

5. 삼각 행렬의 행렬식
• 삼각 행렬(대각선 이외의 원소가 0인 행렬)의 행렬식은 대각선 원소의 곱임 (대각 행렬 포함)

6. 행/열의 상수 추가
• 행/열의 상수를 다른 행/열에 더해도 행렬식은 변하지 않음

7. 행/열을 상수 로 곱하기
• 행/열을 상수 로 곱하면 행렬식은 로 변함

8. 행/열 교환
• 두 행/열을 교환하면 행렬식의 부호가 바뀜

Trace

• 정의
• 정사각 행렬 의 Trace(대각합)는 다음과 같이 정의됨:

2️⃣ Eigenvalues and Eigenvectors

Eigenvalue and Eigenvector

• 정의
• 정사각 행렬 에 대해:
• 가 행렬 의 고유값(Eigenvalue)이고,
• 가 에 대응하는 고유벡터(Eigenvector)라면, 다음 식이 성립함:

• 동등한 조건
• 는 의 고유값이다.
• 방정식이 자명하지 않은 해()를 갖는다.
• 이 조건은 행렬의 고유값을 찾기 위해 사용됨

Properties

• 에서 n개의 서로 다른 고유값이 존재하면, 이에 대응하는 고유벡터는 선형 독립적이며 에서 기저를 형성함
• 반대는 성립하지 않음
• n개의 고유값보다 적은 고유값으로 n개의 선형 독립적인 고유벡터를 가지는 예시가 존재할 수 있음

3️⃣ Cholesky Decomposition

• 실수: 두 동일한 수의 곱으로 분해 가능, e.g. 9 = 3 x 3

• 정리
• 대칭(symmetric), 양의 정부호(positive definite) 행렬 에 대해:
• : 대각 원소가 양수인 하삼각 행렬
• 이러한 은 유일하며, 이를 의 Cholesky factor라고 부름
💡
양의 정부호(positive definite) 행렬이란, 모든 고유값이 양수인 행렬을 말함

• 응용
1. 공분산 행렬의 분해
1. 다변량 가우시안 변수의 공분산 행렬을 효율적으로 분해
2. 확률 변수의 선형 변환
1. 랜덤 변수의 선형 변환에 사용
3. 행렬식 계산의 효율성 증가

4️⃣ Eigendecomposition and Diagonalization

Diagonal Matrix and Diagonalization

• 대각 행렬(Diagonal Matrix)
• 대각선 이외의 원소가 모두 0인 행렬을 대각 행렬이라고 함
• 대각 행렬의 성질:
• 행렬식:

• 대각화 가능성(Diagnalizability)
• 정의: 행렬 가 대각화 가능하다는 것은, 가 대각 행렬 와 유사하다는 것을 의미함
• 즉, 가역 행렬 가 존재하여:

• 직교 대각화(Orthogonal Diagonalizability)
• 정의: 행렬 가 직교 대각화 가능하다는 것은, 가 대각 행렬 와 유사하며, 이때 P가 직교 행렬(orthogonal matrix)임을 의미함
💡
직교 행렬이란, 다음 조건을 만족하는 행렬 를 말함
• 즉,

Power of Diagonalization

• 행렬의 거듭제곱:
• 행렬 A가 대각화 가능한 경우, 다음과 같이 표현됨:

• 행렬식 계산:
• 대각화된 행렬의 행렬식은 다음과 같이 계산할 수 있음:
대각행렬 의 행렬식은 대각선 원소들의 곱임:

Orthogonally Diagonalizable and Symmetric Matrix

• 정리
• 행렬 가 직교 대각화 가능하다. ⇔ 가 대칭 행렬이다.

• 질문
• 직교 대각화 가능할 때, 행렬 (따라서 )를 어떻게 찾을 수 있는가?

• 스펙트럼 정리(Spectral Theorem)
• 행렬 가 대칭 행렬이라면, 다음 성질을 가짐:
• 고유값은 모두 실수임
• 서로 다른 고유값에 대응하는 고유벡터는 서로 수직(직교)임
• 직교 고유벡터 집합(Orthogonal Eigenbasis)이 존재함

• 설명
• 위 성질에 따라, 행렬 는 의 개의 고유벡터로 구성된 열 벡터를 포함함
• 이고, (즉, 는 직교 행렬)임
• 이를 통해 를 직교 대각화할 수 있음

5️⃣ Singular Value Decomposition

Storyline

• Eigendecomposition(고유값 분해, EVD)
• 고유값 분해는 대칭 행렬 에 대한 (직교) 대각화를 의미함

• 확장: Singular Value Decomposition(특이값 분해, SVD)
• 첫 번째 확장: 비대칭이지만 여전히 정사각 행렬인 경우의 대각화
• 두 번째 확장: 비대칭이며 비정사각 행렬 의 대각화

• 배경(Background)
• 행렬 에 대해, 는 항상 다음 성질을 가짐:
• 대칭성(Symmetric)
• 양의 준정부호(Positive Semidefinite)

Singular Value Decomposition

• 정리
• 행렬 의 랭크가 일 때, SVD는 다음과 같이 분해됨:
• : 직교 행렬 ()
• : 직교 행렬 ()
• : 크기의 대각 행렬로, 대각 원소 이고, 일 때는

• 참고
• 의 대각 원소 는 특이값(Singular Values)이라고 불림
• 와 는 각각 왼쪽 특이벡터(Left Singular Vectors)와 오른쪽 특이벡터(Right Singular Vectors)라고 불림

SVD: How it Works (for )

• 전제 조건
• 행렬 의 랭크가 일 때:
• 는 대칭 행렬(Symmetric Matrix)임

• 구성
1. 랭크 관계
2. 왼쪽 특이벡터 구성
3. 직교 기저 확장
에 대해 를 구성하여 가 의 직교 기저를 형성하도록 만듬
4. 특이값 행렬 정의
5. SVD 확인
가 성립

EVD() vs. SVD()

• 존재 조건
• SVD: 항상 존재함
• EVD: 정사각 행렬에 대해서만 존재하며, 고유벡터의 기저를 찾을 수 있을 때만 가능함 (예: 대칭 행렬)

• 직교성
• SVD: 와 는 항상 직교 행렬이며, 회전을 나타냄
• EVD: 행렬 는 반드시 직교 행렬이 아님 (대칭 행렬인 경우에만 직교 행렬)

• 도메인(Domain)과 공역(Codomain)의 관계
• 공통점:
• 도메인의 기저 변경
• 새로운 기저 벡터의 독립적인 스케일링
• 도메인에서 공역으로의 매핑을 포함함
• 차이점
• SVD는 도메인과 공역이 다른 벡터 공간일 수 있음

• SVD와 EVD의 관계
• SVD와 EVD는 투영(Projection)을 통해 밀접하게 연결됨:
• 왼쪽 특이벡터는 의 고유벡터
• 오른쪽 특이벡터는 의 고유벡터
• 특이값은 와 의 고유값의 제곱근
• 특수한 경우:
• A가 대칭 행렬인 경우, EVD와 SVD는 동일함 (스펙트럼 정리에 따라)