비트
섀넌은 비트(이진 숫자)라는 개념을 정보의 기본 단위로 형식화했습니다. 이는 예/아니오 질문에 대한 답입니다. 그는 정보를 수학적으로 정의했습니다. 메시지의 정보량은 확률의 역수에 대한 로그(밑은 2)라는 것입니다. 놀라운 메시지는 예상 가능한 메시지보다 더 많은 정보를 담고 있습니다. 이 우아하고 추상적이며 정확한 정의는 이후 모든 정보 이론의 기초가 되었습니다.
섀넌 엔트로피
섀넌 엔트로피 H = -Σ p(x) log₂ p(x)는 정보원의 평균 정보 내용을 측정합니다. 공정한 동전의 경우: H = 1비트. 편향된 동전(앞면 70%)의 경우: H ≈ 0.88비트가 되어, 불확실성이 줄어들고 회당 정보량도 줄어듭니다. 엔트로피는 또한 손실 없이 정보원을 표현하는 데 필요한 이론적 최소 비트 수이기도 합니다. 이는 무손실 압축의 한계를 결정합니다.
채널 용량
섀넌의 채널 용량 정리: 모든 채널에는 대역폭과 신호 대 잡음비에 의해 결정되는 최대 정보 속도 C(초당 비트 수)가 존재합니다(C = B log₂(1 + S/N), 섀넌-하틀리 정리). 용량 미만에서는 통신을 원하는 만큼 신뢰성 있게 만들 수 있습니다. 용량을 초과하면 오류는 피할 수 없습니다. 이 정리는 놀라운 것이었습니다. 엔지니어들은 잡음이 있는 채널이 잡음에 비례하여 신뢰성을 제한한다고 생각했기 때문입니다. 섀넌은 올바른 부호화를 사용하면 잡음 수준에 관계없이 용량까지 확실하게 전송할 수 있음을 증명했습니다.
괴짜 천재
섀넌은 벨 연구소 복도에서 저글링과 외발자전거를 즐기고, 불을 뿜는 트럼펫을 만들고, 최초의 웨어러블 컴퓨터(룰렛용)를 발명했으며, '테세우스'라는 미로 탈출 기계 쥐를 설계했습니다. 그는 MIT에서 조기 은퇴하여 스톡옵션으로 막대한 부를 쌓았고, 말년은 각종 장난감을 가지고 노는 데 보냈습니다. 2001년 알츠하이머로 사망했지만, 일반 대중은 자신들의 디지털 세상이 온전히 그의 수학에 기초하고 있다는 사실을 거의 알지 못했습니다.
자주 묻는 질문
클로드 섀넌은 무엇을 발명했나요?
섀넌은 1948년 정보 이론을 발명했습니다. 비트를 정보의 단위로 정의하고, 섀넌 채널 용량 정리(잡음 채널에서의 최대 신뢰 정보 속도)를 증명하고, 데이터 압축의 수학적 한계를 설정하며, 현대의 모든 디지털 통신과 컴퓨팅을 뒷받침하는 분야를 개척했습니다.
섀넌 엔트로피란 무엇인가요?
섀넌 엔트로피 H = -Σ p(x) log₂ p(x)는 정보원의 평균 정보 내용(불확실성)을 측정합니다. 엔트로피가 높을수록 불확실성이 크고 기호당 정보량도 많습니다. 이는 무손실 데이터 압축의 이론적 최솟값을 설정하며, 엔트로피 이하로 압축하면 정보 손실 없이는 불가능합니다.
섀넌 한계란 무엇인가요?
섀넌 한계(또는 섀넌 용량) C = B log₂(1 + S/N)은 대역폭 B와 신호 대 잡음비 S/N을 가진 채널에서 정보를 확실하게 전송할 수 있는 최대 속도입니다. 이는 이론적인 하드 천장으로, 어떤 부호화 기법으로도 이를 확실하게 초과할 수 없습니다. 현대 통신 공학은 대부분 이 한계에 도달하기 위한 추구입니다.