Kullback-Leibler (KL) Divergence

Kullback-Leibler (KL) Divergence의 정의

• 두 확률 분포 $P$와 $Q$ 간의 통계적 거리로, $Q$가 $P$와 얼마나 다른지 측정하는 값.

Kullback-Leibler (KL) Divergence의 수식

• $D_{KL}(P\parallel Q)=\sum _{x\in X}P(x)\log \left(\frac{P(x)}{Q(x)}\right)$

Kullback-Leibler (KL) Divergence의 해석

• $P$를 기반으로 하는 코드를 사용할 때보다 $Q$를 기반으로 하는 코드를 사용할 경우 평균적으로 더 많은 비트가 필요하다는 의미.

Kullback-Leibler (KL) Divergence의 성질

• 비대칭적이며 삼각 부등식을 만족하지 않으므로 거리(metric)가 아닌 divergence로 분류됨.

Kullback-Leibler (KL) Divergence의 값

• 항상 0 이상이며, $P$와 $Q$가 동일할 때만 0이 됨.

Kullback-Leibler (KL) Divergence의 계산 조건

• 모든 $x$에 대해 $Q(x)=0$이면 반드시 $P(x)=0$이어야 함.

Kullback-Leibler (KL) Divergence의 연속 분포 정의

• $D_{KL}(P\parallel Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log \left(\frac{p(x)}{q(x)}\right)dx$

Kullback-Leibler (KL) Divergence의 정보 기하학적 의미

• 정보 투영을 통해 $P$에 가장 가까운 $Q$를 찾는 데 사용될 수 있음.

Kullback-Leibler (KL) Divergence의 기반

• 음의 엔트로피로 생성된 Bregman divergence의 형태를 가지며, 동시에 $f$-divergence의 한 종류로 분류됨.

Kullback-Leibler (KL) Divergence의 독립 분포 특성

• 독립 분포의 경우 더해질 수 있음.

Kullback-Leibler (KL) Divergence의 최소화

• 최대 우도 추정과 같은 기하학적 방법으로 달성될 수 있음.

Kullback-Leibler (KL) Divergence의 정보 이득 해석

• 사전 분포 $Q$에서 사후 분포 $P$로 신념을 수정할 때 얻어지는 정보량.

Kullback-Leibler (KL) Divergence의 로그 밑

• 정보가 비트 단위이면 2, nat 단위이면 $e$를 사용.

Kullback-Leibler (KL) Divergence의 대칭화

• Jeffreys divergence로 표현 가능.

Kullback-Leibler (KL) Divergence의 엔트로피 관계

• Shannon 엔트로피와 크로스 엔트로피와의 관계를 통해 해석 가능.

Kullback-Leibler (KL) Divergence의 활용 분야

• 머신러닝, 정보 이론, 신경과학, 금융, 생물정보학 등 다양한 분야에서 사용.