O bit
Shannon formalizou o conceito de bit (dígito binário) como a unidade básica de informação — a resposta a uma pergunta de sim/não. Definiu a informação matematicamente: o conteúdo informativo de uma mensagem é o logaritmo (base 2) do inverso da sua probabilidade. Mensagens surpreendentes carregam mais informação do que as esperadas. Esta definição — elegante, abstrata e precisa — tornou-se a base de toda a teoria da informação subsequente.
Entropia de Shannon
A entropia de Shannon H = -Σ p(x) log₂ p(x) mede o conteúdo informativo médio de uma fonte. Para uma moeda justa: H = 1 bit. Para uma moeda viciada (70% caras): H ≈ 0,88 bits — menos incerteza, menos informação por lançamento. A entropia é também o número mínimo teórico de bits necessários para representar uma fonte sem perdas. Define o limite para a compressão sem perdas.
Capacidade do canal
Teorema da capacidade do canal de Shannon: cada canal tem uma taxa máxima de informação C (em bits por segundo), determinada pela sua largura de banda e relação sinal-ruído (C = B log₂(1 + S/N), o teorema de Shannon-Hartley). Abaixo da capacidade, a comunicação pode ser tornada arbitrariamente fiável. Acima da capacidade, os erros são inevitáveis. Este teorema foi surpreendente — os engenheiros assumiam que os canais ruidosos limitavam a fiabilidade em proporção ao ruído. Shannon provou que se pode transmitir de forma fiável até à capacidade, independentemente do nível de ruído, com a codificação correta.
Vinte perguntas, oito minutos no relógio e um percentil medido contra todos os que já fizeram. Sem cadastro.
Fazer o teste de QI →O génio excêntrico
Shannon fazia malabarismos e andava de monociclo pelos corredores do Bell Labs, construiu um trompete lança-chamas, inventou o primeiro computador vestível (para a roleta) e desenhou um rato mecânico solucionador de labirintos chamado Theseus. Reformou-se cedo do MIT, tornou-se obsessivamente rico através de opções de ações e passou as suas décadas finais a brincar com gadgets. Morreu com Alzheimer em 2001, praticamente desconhecido do público cujo mundo digital dependia inteiramente da sua matemática.
Perguntas frequentes
O que inventou Claude Shannon?
Shannon inventou a teoria da informação em 1948, definindo o bit como unidade de informação, provando o teorema da capacidade do canal de Shannon (taxa máxima de informação fiável num canal ruidoso), estabelecendo os limites matemáticos da compressão de dados e fundando o campo que sustenta toda a comunicação e computação digital.
O que é a entropia de Shannon?
A entropia de Shannon H = -Σ p(x) log₂ p(x) mede o conteúdo informativo médio (incerteza) de uma fonte. Uma entropia mais elevada significa mais incerteza e mais informação por símbolo. Estabelece o mínimo teórico para a compressão de dados sem perdas — não é possível comprimir uma fonte abaixo da sua entropia sem perder informação.
O que é o limite de Shannon?
O limite de Shannon (ou capacidade de Shannon) C = B log₂(1 + S/N) é a taxa máxima a que a informação pode ser transmitida de forma fiável através de um canal com largura de banda B e relação sinal-ruído S/N. É um teto teórico rígido — nenhum esquema de codificação pode superá-lo de forma fiável. A engenharia de comunicações moderna é, em grande parte, a busca pela aproximação a este limite.