그러나 동전이 공정하지 않다는 것을 알고 있지만 확률 p와 q가있는 머리 또는 꼬리가 나타나면 p에서 q가 낮아지므로 불확실성이 적습니다. 매번 될 때마다 한쪽은 다른 쪽보다 올라올 가능성이 높습니다. 감소 된 불확실성은 낮은 엔트로피에서 정량화됩니다 : 평균적으로 동전의 각 던지기는 1 비트 미만의 정보를 제공합니다. 예를 들어 p=0.7인 경우 확률 분포의 로그는 독립적인 소스에 대한 첨가제이므로 엔트로피의 측정값으로 유용합니다. 예를 들어, 공정한 동전 던지기의 엔트로피는 1 비트이며 m 토스의 엔트로피는 m 비트입니다. 간단한 표현에서 log2(n) 비트는 n이 2의 힘인 경우 n 값 중 하나를 취할 수 있는 변수를 나타내는 데 필요합니다. 이러한 값이 동일하게 가능한 경우 엔트로피(비트)는 n과 같습니다. 값 중 하나가 다른 값보다 발생할 가능성이 더 높은 경우 이 값이 발생하는 관찰은 덜 일반적인 결과가 발생한 경우보다 덜 유익합니다. 반대로, 드문 이벤트는 관찰할 때 더 많은 정보를 제공합니다. 덜 가능성 있는 이벤트의 관찰은 더 드물게 발생하기 때문에, 순 효과는 비균일하게 분산된 데이터로부터 수신된 엔트로피(평균 정보로 생각)가 항상 log2(n)보다 작거나 같다는 것입니다. 엔트로피는 하나의 결과가 발생할 것이 확실할 때 0입니다. 엔트로피는 원본 데이터의 확률 분포가 알려진 경우 이러한 고려 사항을 정량화합니다. 관찰 된 이벤트의 의미 (메시지의 의미)는 엔트로피의 정의에 중요하지 않습니다.
엔트로피는 특정 이벤트를 관찰할 확률만 고려하므로 캡슐화된 정보는 이벤트 자체의 의미가 아니라 기본 확률 분포에 대한 정보입니다. 이 컨텍스트에서 엔트로피는 전송된 메시지에 대한 모든 가능성을 인계하는 각 메시지에 포함된 정보의 예상 비트 수입니다. 예를 들어, 송신기가 다른 플레이어보다 더 나은 4인 토너먼트의 결과를 수신자에게 알리고 싶다고 가정해 보겠습니다. 이 메시지의 엔트로피는 가능한 메시지각각의 정보(예: “플레이어 1원”, “플레이어 2원”, “플레이어 3원” 또는 “플레이어 4원”)의 가중 평균이 될 것이다. 앨리스는 두 개의 주사위를 굴리고, 밥에게 자신의 합계를 전달하고 싶어. 이 메시지의 엔트로피는 무엇입니까? 정보 엔트로피는 데이터의 스토스 소스에 의해 정보가 생성되는 평균 속도입니다. “최고의” 인코딩 체계가 무엇인지 묻는 것은 당연하며, 대답은 응용 프로그램에 크게 의존하지만 (예 : 시끄러운 채널을 통한 전송은 오류 수정 코드를 사용하는 데 잘 작동합니다), 한 가지 자연스러운 대답은 “올바른 인코딩 체계입니다. 메시지의 예상 길이를 최소화합니다.” 그 이론적 최소 메시지의 엔트로피에 의해 주어진다. 그러나 엔트로피에 대한 수식을 원하므로 해당 수식을 찾으려면 확률을 사용합니다.
섀넌 엔트로피는 아래에 나열된 소수의 기준을 특징으로 한다. 이러한 가정을 만족하는 엔트로피의 정의는 결정되는 메시지의 부분(또는 예측 가능)과 는 반대로 메시지에 포함된 정보를 측정하는 섀넌의 엔트로피 형태를 가짐을 가짐을 가한다. 후자의 예로는 문자 또는 단어 쌍, 삼중항 등의 발생 빈도와 관련된 언어 구조 또는 통계 적 특성의 중복성이 포함됩니다.