Бит
Шеннон формализовал концепцию бита (двоичного разряда) как базовой единицы информации — ответа на вопрос «да/нет». Он дал математическое определение информации: количество информации в сообщении — это логарифм (по основанию 2) обратной величины его вероятности. Неожиданные сообщения несут больше информации, чем ожидаемые. Это определение — элегантное, абстрактное и точное — стало основой всей последующей теории информации.
Энтропия Шеннона
Энтропия Шеннона H = -Σ p(x) log₂ p(x) измеряет среднее количество информации источника. Для честной монеты: H = 1 бит. Для смещенной монеты (70% орлов): H ≈ 0,88 бита — меньше неопределенности, меньше информации на бросок. Энтропия также является теоретическим минимумом количества битов, необходимых для представления источника без потерь. Она устанавливает предел сжатия данных без потерь.
Пропускная способность канала
Теорема Шеннона о пропускной способности канала: каждый канал имеет максимальную скорость передачи информации C (в битах в секунду), определяемую полосой пропускания и отношением сигнал/шум (C = B log₂(1 + S/N), теорема Шеннона — Хартли). Ниже этой емкости связь можно сделать произвольно надежной. Выше емкости ошибки неизбежны. Эта теорема была поразительной: инженеры полагали, что зашумленные каналы ограничивают надежность пропорционально шуму. Шеннон доказал, что можно передавать данные надежно вплоть до предела пропускной способности независимо от уровня шума, используя правильное кодирование.
Двадцать вопросов, восемь минут на часах и процентиль, измеренный по всем, кто его проходил. Без регистрации.
Пройти тест IQ →Эксцентричный гений
Шеннон жонглировал и катался на одноколесном велосипеде по коридорам Bell Labs, построил трубу-огнемет, изобрел первый носимый компьютер (для игры в рулетку) и спроектировал механическую мышь «Тесей», умевшую проходить лабиринты. Он рано ушел из MIT, стал сказочно богат благодаря опционам на акции и последние десятилетия жизни провел, играя с гаджетами. Он умер от болезни Альцгеймера в 2001 году, оставаясь практически неизвестным для публики, чей цифровой мир полностью зиждется на его математике.
Часто задаваемые вопросы
Что изобрел Клод Шеннон?
Шеннон изобрел теорию информации в 1948 году, определив бит как единицу информации, доказав теорему Шеннона о пропускной способности канала (максимальная надежная скорость передачи информации по зашумленному каналу), установив математические пределы сжатия данных и основав область, лежащую в основе всех цифровых коммуникаций и вычислений.
Что такое энтропия Шеннона?
Энтропия Шеннона H = -Σ p(x) log₂ p(x) измеряет среднее содержание информации (неопределенность) источника. Более высокая энтропия означает большую неопределенность и больше информации на символ. Она устанавливает теоретический минимум для сжатия данных без потерь — вы не можете сжать источник ниже уровня его энтропии без потери информации.
Что такое предел Шеннона?
Предел Шеннона (или емкость Шеннона) C = B log₂(1 + S/N) — это максимальная скорость, с которой можно надежно передавать информацию по каналу с полосой пропускания B и отношением сигнал/шум S/N. Это жесткий теоретический потолок — ни одна схема кодирования не может надежно его превысить. Современная инженерия связи — это во многом погоня за приближением к этому пределу.