2017년 8월 1일 (화) 17:43 판 편집 TedBot (토론 \| 기여) 봇, 업로더 2,819,477 편집 잔글 봇: 틀 이름 및 스타일 정리 ← 이전 편집		2017년 8월 1일 (화) 21:32 판 편집 편집 취소 Conr2d (토론 \| 기여) 129 편집 잔글 오타 및 표현 일부 수정 태그: 시각 편집 다음 편집 →
3번째 줄: [[정보 이론]]에서 시스템은 송신자, 채널, 수신자를 이용하여 모형화 한다. 송신자는 채널을 통해 전달되는 메시지를 만들어낸다. 채널은 특정한 방식을 통해 메시지를 변경한다. 수신자는 어떤 메시지가 보내진 것인지 추론하고자 한다. 이 맥락에서 '''정보 엔트로피'''(또는 '''[[:en:Shannon Entropy\|섀넌 엔트로피]]''')는 각 메시지에 포함된 정보의 [[기댓값]](평균)이다. '메시지'는 어떤 흐름의 정보에 대해서도 모형화 할 수 있다. 좀 더 기술적인 관점에서 보면 정보는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그로 정의할 수 있다. ~~(이유는 아래 설명하고 있다)~~ 각 사건의 정보량은 그 ~~기대값~~기댓값, 또는 평균이 섀넌 엔트로피인 확률변수를 형성한다. 엔트로피의 단위는 정의에 사용된 로그의 밑이 무엇인지에 따라 섀넌([[:en:shannon (unit)\|shannon]]), 내트([[:en:nat (unit)\|nat]]) 또는 하틀리([[:en:hartely (unit)\|hartely]])를 사용한다. 단, 섀넌의 경우 보통 비트(bit)로 표현한다. 확률분포의 로그는 엔트로피의 단위로 사용하기에 매우 유용한데 이는 독립적인 소스(source)들에 대해 그 값을 더할 수 있기 때문이다. 예를 들어 동전을 1개 던지면 엔트로피는 1 섀넌이고, {{math\|''m''}} 개의 동전을 던질 때는 {{math\|''m''}} 섀넌이다. {{math\|''n''}} 이 2의 거듭제곱일 때, 일반적으로 {{math\|''n''}} 개의 값 중 하나를 취하는 변수를 표현하기 위해서는 {{math\|log<sub>2</sub>(''n'')}} 비트가 필요하다. 이모든 ~~값들이~~값의 ~~발생할~~발생 확률이 ~~동일하다면~~동일하면, (섀넌으로 표현된) 엔트로피는 비트의 개수와 동일하게 된다. 비트의 개수와 섀넌이 동일한 경우는 모든 결과의 발생 확률이 동일한 경우로 한정된다. 만약 하나의 사건이 다른 사건보다 발생할 확률이 높다면 그 사건에 대한 ~~관측은~~관측이 더제공할 적은수 ~~정보를~~있는 ~~제공할~~정보는 ~~것이다~~적다. 반대로 보다 희귀한 ~~사건은 관측되었을~~사건을 때관측하면 더 많은 정보를 얻을 수 있다. 확률이 낮은 사건에 대한 관측은 덜 발생할 것이므로 순 효과는 불균등하게 분포한 자료로부터 얻어진 {{math\|log<sub>2</sub>(''n'')}} 보다 작은 엔트로피가 된다. 하나의 사건이 확실하게 일어나는 경우라면 엔트로피는 0 이 된다. 섀넌 엔트로피는 소스(source)의 확률분포가 알려져 있을 때 이 모든 고려사항을 수치화한다. 관측된 사건들의 의미(메시지의 의미)는 엔트로피를 정의할 때 중요하지 않다. 엔트로피는 특정한 사건이 일어날 확률만을 고려함으로써 사건의 배후에 존재하는 확률분포에 대한 정보를 캡슐화할뿐 사건 자체의 의미는 포함하지 않는다. 일반적으로 엔트로피는 무질서도 또는 불확실성을 가리킨다. 섀넌 엔트로피의 개념은 [[클로드 섀넌]]이 자신의 1948년 논문 "[[:en:A Mathematical Theory of Communication\|수학적 통신 이론]]"에서 도입하였다.<ref name=shannonPaper>{{저널 인용\|author=Shannon, Claude E. \|authorlink=Claude Shannon \|title=[[A Mathematical Theory of Communication]] \|journal=Bell System Technical Journal \|volume=27 \|issue=3 \|pages=379–423 \|date=July–October 1948 \|doi=10.1002/j.1538-7305.1948.tb01338.x}} ([http://web.archive.org/web/20120615000000/http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref> 섀넌 엔트로피는 정보 소스(source)를 [[비손실 압축\|무손실]] 인코딩 또는 [[데이터 압축\|압축]]할 때 가능한 최상의 평균 길이의 절대적 한계치를 제공해준다. [[:en:Rényi entropy\|레니 엔트로피]]는 섀넌 엔트로피를 일반화한 것이다. 66번째 줄: [[제레미 리프킨]]의 책 《엔트로피》. 엔트로피에 대한 그릇된 해석으로 유명하다.<ref>[http://chemistry.sogang.ac.kr/~duckhwan/essay/books/books-entropy.htm 제레미 리프킨, 엔트로피]</ref> * 헨리 애덤스의 책 《엔트로피와 생명》. 19세기 미국 역사가 헨리 애덤스는 기계의 힘인 동력과 힘의 쇠퇴인 [[엔트로피]] 개념을 포함한 정교한 역사 이론을 주창하였다. 애덤스는 인간 사회가 진보하는 것이 아니라 어쩔 수 없이 쇠퇴하는 것을 자연 상태에서 엔트로피가 커지는 것에 결합하여 설명하였다. *[[마법소녀 마도카 마기카]]의 극장판. 여기서는 '잘못' 사용된 ~~예시로써~~예시로 악명이 높다. == 참고 문헌 ==

정보 엔트로피: 두 판 사이의 차이