The Bit
Shannon formalizou o conceito do bit (dígito binário) como a unidade básica de informação — a resposta a uma pergunta sim/não. Ele definiu informação matematicamente: o conteúdo informacional de uma mensagem é o logaritmo (base 2) do inverso de sua probabilidade. Mensagens surpreendentes carregam mais informação do que as esperadas. Esta definição — elegante, abstrata e precisa — tornou-se a fundação de toda a teoria da informação subsequente.
Shannon Entropy
A entropia de Shannon H = -Σ p(x) log₂ p(x) mede o conteúdo médio de informação de uma fonte. Para uma moeda equilibrada: H = 1 bit. Para uma moeda enviesada (70% cara): H ≈ 0,88 bits — menos incerteza, menos informação por lançamento. Entropia é também o número teórico mínimo de bits necessários para representar uma fonte sem perda. Estabelece o limite para compressão sem perda.
Channel Capacity
O teorema da capacidade do canal de Shannon: cada canal tem uma taxa máxima de informação C (em bits por segundo), determinada por sua largura de banda e relação sinal-ruído (C = B log₂(1 + S/N), o teorema de Shannon-Hartley). Abaixo da capacidade, a comunicação pode ser tornada arbitrariamente confiável. Acima da capacidade, erros são inevitáveis. Este teorema foi surpreendente — engenheiros assumiam que canais ruidosos limitavam a confiabilidade proporcionalmente ao ruído. Shannon provou que você pode transmitir de forma confiável até a capacidade independente do nível de ruído, com a codificação correta.
The Eccentric Genius
Shannon fazia malabarismo e pedalava monociclo pelos corredores dos Bell Labs, construiu uma trombeta que lançava chamas, inventou o primeiro computador vestível (para roleta) e projetou um mouse mecânico que resolvia labirintos chamado Theseus. Aposentou-se cedo do MIT, tornou-se obsessivamente rico através de opções de ações e passou suas últimas décadas brincando com gadgets. Morreu de Alzheimer em 2001, amplamente desconhecido pelo público cujo mundo digital repousava inteiramente em sua matemática.
Frequently Asked Questions
O que Claude Shannon inventou?
Shannon inventou a teoria da informação em 1948, definindo o bit como unidade de informação, provando o teorema da capacidade do canal de Shannon (taxa máxima de informação confiável em um canal ruidoso), estabelecendo os limites matemáticos da compressão de dados e fundando o campo que sustenta toda a comunicação digital e computação.
O que é a entropia de Shannon?
A entropia de Shannon H = -Σ p(x) log₂ p(x) mede o conteúdo médio de informação (incerteza) de uma fonte. Maior entropia significa mais incerteza e mais informação por símbolo. Estabelece o mínimo teórico para compressão de dados sem perda — você não pode comprimir uma fonte abaixo de sua entropia sem perder informação.
O que é o limite de Shannon?
O limite de Shannon (ou capacidade de Shannon) C = B log₂(1 + S/N) é a taxa máxima na qual a informação pode ser transmitida de forma confiável por um canal com largura de banda B e relação sinal-ruído S/N. É um teto teórico absoluto — nenhum esquema de codificação pode excedê-lo de forma confiável. A engenharia de comunicações moderna é em grande parte a perseguição de se aproximar deste limite.
Leia o artigo completo em Geniuses.Club