LDA (Linear Discriminant Analysis) 개요

➊➋➌➍➎➏➐

 

# LDA

(선형판별분석,

Linear Discriminant Analysis)

 

# 목적

➊ 차원축소 (특징추출)

➋ 클래스간 판별이 잘 되는 방향으로 축소

 

# 통계적 배경지식

 

➊ 분류에 적합한 특징 방향

❏ 각 클래스들이 가능한 멀리 떨어지도록

 

➋ 각 클래스 간 거리가 커지려면?

❏ 각 클래스의 평균값의 차가 커야함

❏ 각 클래스 내의 분산은 작게

 

# 목적함수

 

➊ 목적 

❏ 각 클래스 간 거리를 최대로 함

 

➋ 목적함수

❏ 클래스 간 거리를 목적함수 J로 정의

❏ J를 최대로 하는 기저벡터행렬(변환행렬) W를 찾으면 된다.

❏ 수학적 유도과정을 빼고 결론만 내리면 다음과 같다.

# S(W) : 클래스 내 산점행렬(Within Scatter Matrix), 클래스 내의 산점도를 나타내는 지표

# S(B) : 클래스 간 산점행렬(Between Scatter Matrix), 클래스 간의 산점도를 나타내는 지표

*N(k)는 클래스별 data 수를 뜻하며, m은 데이터 전체의 평균, M은 클래스 갯수를 뜻한다.

 

S(W)는 작게, S(B)는 크게 하는 것이 목적함수임

 

유도과정을 제외하고 목적함수를 최대로 하는 변환행렬 W는

 

해당 행렬의 고유벡터들을 열벡터로 가지는 행렬

 

 

# LDA 알고리즘 수행단계

 

 

 

# LDA 특성 및 한계점