The Bit
Шеннон формализовал концепцию бита (двоичной цифры) как базовой единицы информации — ответа на вопрос «да или нет». Он определил информацию математически: содержание информации сообщения равно логарифму (по основанию 2) от обратного его вероятности. Неожиданные сообщения содержат больше информации, чем предсказуемые. Это определение — элегантное, абстрактное и точное — стало основой всей последующей теории информации.
Shannon Entropy
Энтропия Шеннона H = -Σ p(x) log₂ p(x) измеряет среднее содержание информации источника. Для честной монеты: H = 1 бит. Для смещенной монеты (70% орлов): H ≈ 0,88 бита — меньше неопределенности, меньше информации за бросок. Энтропия также показывает теоретический минимум битов, необходимых для представления источника без потерь. Она устанавливает предел для сжатия без потерь.
Channel Capacity
Теорема о пропускной способности канала Шеннона: каждый канал имеет максимальную скорость передачи информации C (в битах в секунду), определяемую его полосой пропускания и отношением сигнал-к-шуму (C = B log₂(1 + S/N), теорема Шеннона–Хартли). Ниже пропускной способности связь может быть сделана сколь угодно надежной. Выше пропускной способности ошибки неизбежны. Эта теорема была поразительна — инженеры предполагали, что зашумленные каналы ограничивают надежность пропорционально шуму. Шеннон доказал, что при правильном кодировании можно передавать надежно до пропускной способности независимо от уровня шума.
The Eccentric Genius
Шеннон жонглировал и ездил на одноколесном велосипеде по коридорам Bell Labs, изобрел огнемет-трубу, создал первый носимый компьютер (для рулетки) и спроектировал лабиринт-решающую механическую мышь по имени Theseus. Он рано вышел на пенсию из MIT, стал очень богатым благодаря акциям и провел последние десятилетия, экспериментируя с гаджетами. Он умер от болезни Альцгеймера в 2001 году, остаясь в основном неизвестным широкой публике, чей цифровой мир целиком покоился на его математике.
Frequently Asked Questions
Что изобрел Клод Шеннон?
Шеннон изобрел теорию информации в 1948 году, определив бит как единицу информации, доказав теорему о пропускной способности канала Шеннона (максимальная скорость надежной передачи информации по зашумленному каналу), установив математические пределы сжатия данных и основав область, которая лежит в основе всех цифровых коммуникаций и вычислений.
Что такое энтропия Шеннона?
Энтропия Шеннона H = -Σ p(x) log₂ p(x) измеряет среднее содержание информации (неопределенность) источника. Более высокая энтропия означает большую неопределенность и больше информации на символ. Она определяет теоретический минимум для сжатия данных без потерь — нельзя сжать источник ниже его энтропии без потери информации.
Что такое предел Шеннона?
Предел Шеннона (или пропускная способность Шеннона) C = B log₂(1 + S/N) — максимальная скорость, с которой информация может передаваться надежно по каналу с полосой пропускания B и отношением сигнал-к-шуму S/N. Это жесткий теоретический потолок — ни одна схема кодирования не может надежно его превысить. Современная инженерия коммуникаций в значительной степени преследует цель приблизиться к этому пределу.
Прочитайте полную статью на Geniuses.Club