상호정보

확률 이론과 정보이론에서 두 개의 무작위 변수의 상호정보(또는 상호의존정보, Mutual information , MI)는 두 변수 사이의 상호 의존성을 측정 한 것이다. 보다 구체적으로 말하면 , 다른 무작위 변수를 통해 하나의 무작위 변수에 대해 얻어진 "정보량"( 섀넌과 같은 단위 , 더 일반적으로 비트라고 부름)을 정량화(계량화) 한다. 상호 정보의 개념은 무작위 변수의 엔트로피의 개념과 복잡하게 연관되어 있으며, 무작위 변수의 "정보량"을 정의하는 정보 이론의 기본 개념이다.

p( X , Y )는 p ( X ) p ( Y )의 분해 된 결합분포의 산물이며, 상관 계수와 같은 실수 값의 무작위 변수에 국한되지 않는다. 상호정보(MI)는 점 상호 정보 ( pointwise mutual information ,PMI)의 예상 값이다.

정의

형식적으로 두 개의 이산 확률 변수 X 와 Y 의 상호 정보는 다음과 같이 정의 할 수 있다.

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}$

여기서 p ( x , y )는 X 와 Y 의 결합분포함수 이고, P (x) 와 P (y)는 X 와 Y 의 주변 분포 함수를 각각 갖는다.

연속 확률 변수의 경우, 합계는 중적분으로 대체된다.

$I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,$

여기서 p ( x , y )는 X 와 Y 의 결합분포밀도함수이고 p ( x )와 p ( y )는 각각 X 와 Y 의 주변 분포 밀도 함수이다.

로그밑이 2가 사용되면 상호 정보 단위는 비트이다.

같이 보기

• 공분산 행렬
• 정보 엔트로피
• 정보 이득