정보 엔트로피: 두 판 사이의 차이
내용 삭제됨 내용 추가됨
22번째 줄:
두 확률변수 <math>(X,Y)\colon P\to E_X\times E_Y</math>가 주어졌고, 그 조건부 확률 분포 <math>f\colon E_X\times E_Y\to\mathbb R</math>가 주어졌다고 하자. 그렇다면, <math>Y</math>가 주어졌을 때 <math>X</math>의 '''조건부 엔트로피'''({{llang|en|conditional entropy}})는 다음과 같다.
:<math>H(X|Y\in S)=\operatorname E\left(\ln\frac{\int f(x',y)\,dx'}{f(x,y)}\right)=\int_{E_X\times E_Y}f(x,y)\ln\frac{\int f(x',y)\,dx'}{f(x,y)}\,dx\,dy</math>
조건부 엔트로피는 항상 음이 아니며, Y값을 알고 있을 때 X값의 무작위한 정도의 양으로 해석될 수 있다. 예를 들어, 6면을 가진 주사위의 엔트로피 ''H(주사위)''를 구하는데, 그 주사위가 1,2,3만 나오도록 조작되어있다는 사실을 알고 있다면, 이것의 엔트로피는 ''H''(주사위 값이 1 또는 2 또는 3)와 같게
== 예 ==
| |||