The Bit
Shannon은 비트(이진 숫자)를 정보의 기본 단위, 즉 예/아니오 질문의 답으로 형식화했다. 그는 정보를 수학적으로 정의했다: 메시지의 정보 내용은 그 확률의 역수의 로그(밑 2)이다. 놀라운 메시지는 예상된 메시지보다 더 많은 정보를 담는다. 이 정의 — 우아하고 추상적이며 정확한 — 는 모든 후속 정보 이론의 기초가 되었다.
Shannon Entropy
Shannon 엔트로피 H = -Σ p(x) log₂ p(x)는 정보원의 평균 정보 내용을 측정한다. 공정한 동전의 경우: H = 1 비트. 편향된 동전(앞면 70%): H ≈ 0.88 비트 — 불확실성이 적고, 던질 때마다 정보량이 적다. 엔트로피는 또한 손실 없이 정보원을 나타내는 데 필요한 비트의 이론적 최솟값이다. 무손실 압축의 한계를 설정한다.
Channel Capacity
Shannon의 채널 용량 정리: 모든 채널은 최대 정보 속도 C(초당 비트 단위)를 가지며, 이는 대역폭과 신호 대 잡음비에 의해 결정된다(C = B log₂(1 + S/N), Shannon-Hartley 정리). 용량 이하에서는 통신을 임의로 신뢰할 수 있게 만들 수 있다. 용량 이상에서는 오류가 불가피하다. 이 정리는 놀라웠다 — 공학자들은 노이즈가 있는 채널이 신뢰성을 노이즈에 비례하여 제한한다고 가정했다. Shannon은 올바른 부호화를 통해 노이즈 수준에 관계없이 용량까지 신뢰할 수 있게 전송할 수 있음을 증명했다.
The Eccentric Genius
Shannon은 Bell Labs 복도에서 공중 곡예와 외발 자전거를 탔고, 불을 뿜는 트럼펫을 만들었으며, 최초의 착용 가능 컴퓨터(룰렛용)를 발명했고, 미로 풀이 기계 생쥐 Theseus를 설계했다. 그는 MIT에서 일찍 퇴직했고, 주식 옵션으로 통해 엄청난 부를 쌓았으며, 생애 마지막 수십 년을 장난감을 가지고 놀며 보냈다. 그는 2001년 알츠하이머병으로 사망했으며, 자신의 수학을 전적으로 기초한 디지털 세계의 공중에게는 대체로 알려지지 않았다.
Frequently Asked Questions
Claude Shannon이 발명한 것은 무엇인가?
Shannon은 1948년 정보 이론을 발명했으며, 정보의 단위로 비트를 정의하고, Shannon 채널 용량 정리(노이즈가 있는 채널에서의 최대 신뢰할 수 있는 정보 전송률)를 증명했으며, 데이터 압축의 수학적 한계를 확립하고, 모든 디지털 통신 및 컴퓨팅의 기초가 되는 분야를 창설했다.
Shannon 엔트로피란 무엇인가?
Shannon 엔트로피 H = -Σ p(x) log₂ p(x)는 정보원의 평균 정보 내용(불확실성)을 측정한다. 엔트로피가 높을수록 불확실성과 기호당 정보량이 크다. 무손실 데이터 압축의 이론적 최솟값을 설정한다 — 정보를 손실하지 않으면서 정보원을 그 엔트로피 이하로 압축할 수 없다.
Shannon 한계란 무엇인가?
Shannon 한계(또는 Shannon 용량) C = B log₂(1 + S/N)은 대역폭 B와 신호 대 잡음비 S/N을 갖는 채널을 통해 정보를 신뢰할 수 있게 전송할 수 있는 최대 속도이다. 이것은 엄격한 이론적 상한선이다 — 어떤 부호화 방식도 이를 신뢰할 수 있게 초과할 수 없다. 현대 통신 공학은 대체로 이 한계에 접근하려는 노력이다.
Geniuses.Club에서 전체 기사 읽기