#2 of AI and Deep Learning - 정보량 / KL-Divergence / Cross Entropy

정보량 / KL-Divergence / Cross Entropy 개념

개요

• 정보량
• 어떠한 특정 사건이 가지고 있는 유의미한 정보를 수치화한 값
• 일반적으로, 확률과 반비례 관계
• 발생할 확률이 높을수록, 중요도 관점에서 평이한 정보

확률 - 정보량의 관계 (x -> P(A) / 어떤 사건 A가 발생할 확률)

• KL-Divergence / 쿨백 라이블러 발산 (=Relative Entropy / 상대 엔트로피)
• 확률변수 X의 확률 P, Q에 대한 확률분포가 있을 때, 두 확률분포의 "다름 정도"를 정량적으로 측정하는 개념
• 수식

• 엔트로피
• 이산확률변수에서 평균적인 놀람의 정도(=불확실성의 정도)
• 주어진 확률변수 X에 대한 확률분포 P를 찾을 때, 예측한 근사 분포 Q를 갱신하면서 점차 P에 가깝게 만드는 과정
• KL-Divergence 의 값이 최소가 되는 Q를 찾는 과정
• 아래 이미지에서 후항은 Q와 무관 = 생략
• 수식

References

• 산업수학혁신센터 공식 홈페이지
• https://icim.nims.re.kr/post/easyMath/550
• 네이버 Clova AI 개발자 송호연님 brunch
• https://brunch.co.kr/magazine/ai-first