Bit
Shannon, bit (ikili basamak) kavramını bilginin temel birimi olarak, yani evet/hayır sorusunun cevabı olarak resmileştirdi. Bilgiyi matematiksel olarak tanımladı: bir mesajın bilgi içeriği, olasılığının tersinin logaritmasıdır (taban 2). Şaşırtıcı mesajlar, beklenen mesajlardan daha fazla bilgi taşır. Zarif, soyut ve kesin olan bu tanım, sonraki tüm bilgi teorilerinin temeli haline geldi.
Shannon Entropisi
Shannon entropisi H = -Σ p(x) log₂ p(x), bir kaynağın ortalama bilgi içeriğini ölçer. Adil bir para için: H = 1 bit. Hileli bir para için (%70 tura): H ≈ 0.88 bit — daha az belirsizlik, atış başına daha az bilgi. Entropi aynı zamanda kayıpsız bir şekilde temsil etmek için gereken minimum bit sayısıdır. Kayıpsız sıkıştırma limitini belirler.
Kanal Kapasitesi
Shannon'ın kanal kapasitesi teoremi: her kanalın, bant genişliği ve sinyal-gürültü oranı (C = B log₂(1 + S/N), Shannon-Hartley teoremi) tarafından belirlenen maksimum bir bilgi hızı C (saniyedeki bit sayısı) vardır. Kapasitenin altında, iletişim güvenilir hale getirilebilir. Kapasitenin üzerinde, hatalar kaçınılmazdır. Bu teorem şaşırtıcıydı; mühendisler gürültülü kanalların güvenilirliği gürültüyle orantılı olarak sınırladığını varsayıyorlardı. Shannon, doğru kodlama ile gürültü seviyesine bakılmaksızın kapasiteye kadar güvenilir bir şekilde iletim yapılabileceğini kanıtladı.
Eksantrik Dahi
Shannon, Bell Labs koridorlarında jonglörlük ve tek tekerlekli bisiklet sürüşü yapardı, alev püskürten bir trompet inşa etti, ilk giyilebilir bilgisayarı (rulet için) icat etti ve Theseus adında labirent çözen mekanik bir fare tasarladı. MIT'den erken emekli oldu, hisse senedi opsiyonları sayesinde aşırı zenginleşti ve son yıllarını cihazlarla oynayarak geçirdi. 2001 yılında Alzheimer'dan öldü; dijital dünyası tamamen onun matematiğine dayanan halk tarafından büyük ölçüde tanınmıyordu.
Sıkça Sorulan Sorular
Claude Shannon ne icat etti?
Shannon, 1948'de bilgi teorisini icat etti, biti bilginin birimi olarak tanımladı, Shannon kanal kapasitesi teoremini (gürültülü bir kanal üzerinden maksimum güvenilir bilgi hızı) kanıtladı, veri sıkıştırmanın matematiksel sınırlarını belirledi ve tüm dijital iletişim ve hesaplamanın temelini oluşturan alanı kurdu.
Shannon entropisi nedir?
Shannon entropisi H = -Σ p(x) log₂ p(x), bir kaynağın ortalama bilgi içeriğini (belirsizliğini) ölçer. Daha yüksek entropi, daha fazla belirsizlik ve sembol başına daha fazla bilgi anlamına gelir. Kayıpsız veri sıkıştırma için teorik minimumu belirler; bilgiyi kaybetmeden bir kaynağı entropisinin altına sıkıştıramazsınız.
Shannon limiti nedir?
Shannon limiti (veya Shannon kapasitesi) C = B log₂(1 + S/N), bant genişliği B ve sinyal-gürültü oranı S/N olan bir kanalda bilginin güvenilir bir şekilde iletilebileceği maksimum orandır. Bu katı bir teorik tavan seviyesidir; hiçbir kodlama şeması bunu güvenilir bir şekilde aşamaz. Modern iletişim mühendisliği, büyük ölçüde bu limite yaklaşma çabasıdır.