Kullback-Leibler (KL) Divergence

Kullback-Leibler (KL) Divergence의 정의

• 두 확률 분포 \(P\)와 \(Q\) 간의 통계적 거리로, \(Q\)가 \(P\)와 얼마나 다른지 측정하는 값.

Kullback-Leibler (KL) Divergence의 수식

• \( D_{KL}(P \parallel Q) = \sum_{x \in X} P(x) \log \left( \frac{P(x)}{Q(x)} \right) \)

Kullback-Leibler (KL) Divergence의 해석

• \(P\)를 기반으로 하는 코드를 사용할 때보다 \(Q\)를 기반으로 하는 코드를 사용할 경우 평균적으로 더 많은 비트가 필요하다는 의미.

Kullback-Leibler (KL) Divergence의 성질

• 비대칭적이며 삼각 부등식을 만족하지 않으므로 거리(metric)가 아닌 divergence로 분류됨.

Kullback-Leibler (KL) Divergence의 값

• 항상 0 이상이며, \(P\)와 \(Q\)가 동일할 때만 0이 됨.

Kullback-Leibler (KL) Divergence의 계산 조건

• 모든 \(x\)에 대해 \(Q(x) = 0\)이면 반드시 \(P(x) = 0\)이어야 함.

Kullback-Leibler (KL) Divergence의 연속 분포 정의

• \( D_{KL}(P \parallel Q) = \int_{-\infty}^{\infty} p(x) \log \left( \frac{p(x)}{q(x)} \right) dx \)

Kullback-Leibler (KL) Divergence의 정보 기하학적 의미

• 정보 투영을 통해 \(P\)에 가장 가까운 \(Q\)를 찾는 데 사용될 수 있음.

Kullback-Leibler (KL) Divergence의 기반

• 음의 엔트로피로 생성된 Bregman divergence의 형태를 가지며, 동시에 \(f\)-divergence의 한 종류로 분류됨.

Kullback-Leibler (KL) Divergence의 독립 분포 특성

• 독립 분포의 경우 더해질 수 있음.

Kullback-Leibler (KL) Divergence의 최소화

• 최대 우도 추정과 같은 기하학적 방법으로 달성될 수 있음.

Kullback-Leibler (KL) Divergence의 정보 이득 해석

• 사전 분포 \(Q\)에서 사후 분포 \(P\)로 신념을 수정할 때 얻어지는 정보량.

Kullback-Leibler (KL) Divergence의 로그 밑

• 정보가 비트 단위이면 2, nat 단위이면 \(e\)를 사용.

Kullback-Leibler (KL) Divergence의 대칭화

• Jeffreys divergence로 표현 가능.

Kullback-Leibler (KL) Divergence의 엔트로피 관계

• Shannon 엔트로피와 크로스 엔트로피와의 관계를 통해 해석 가능.

Kullback-Leibler (KL) Divergence의 활용 분야

• 머신러닝, 정보 이론, 신경과학, 금융, 생물정보학 등 다양한 분야에서 사용.