बिट
शैनन ने बिट (बाइनरी डिजिट) की अवधारणा को सूचना की मूल इकाई के रूप में औपचारिक रूप दिया — जो हां/नहीं वाले प्रश्न का उत्तर है। उन्होंने सूचना को गणितीय रूप से परिभाषित किया: एक संदेश की सूचना सामग्री उसकी प्रायिकता के व्युत्क्रम का लघुगणक (आधार 2) है। आश्चर्यजनक संदेशों में अपेक्षित संदेशों की तुलना में अधिक जानकारी होती है। यह परिभाषा — सुरुचिपूर्ण, अमूर्त और सटीक — बाद के सभी सूचना सिद्धांतों की नींव बन गई।
शैनन एंट्रॉपी
शैनन एंट्रॉपी H = -Σ p(x) log₂ p(x) एक स्रोत की औसत सूचना सामग्री को मापता है। एक निष्पक्ष सिक्के के लिए: H = 1 बिट। एक पक्षपाती सिक्के (70% चित्त) के लिए: H ≈ 0.88 बिट — कम अनिश्चितता, प्रति फ्लिप कम जानकारी। एंट्रॉपी हानि के बिना स्रोत का प्रतिनिधित्व करने के लिए आवश्यक बिट्स की न्यूनतम संख्या भी है। यह लॉसलेस कम्प्रेशन की सीमा तय करती है।
चैनल क्षमता
शैनन का चैनल क्षमता प्रमेय: प्रत्येक चैनल की एक अधिकतम सूचना दर C (बिट्स प्रति सेकंड) होती है, जो उसकी बैंडविड्थ और सिग्नल-टू-नॉइज़ अनुपात (C = B log₂(1 + S/N), शैनन-हार्टले प्रमेय) द्वारा निर्धारित होती है। क्षमता से नीचे, संचार को विश्वसनीय बनाया जा सकता है। क्षमता से ऊपर, त्रुटियां अपरिहार्य हैं। यह प्रमेय चौंकाने वाला था — इंजीनियरों ने मान लिया था कि शोर वाले चैनल शोर के अनुपात में विश्वसनीयता को सीमित करते हैं। शैनन ने साबित कर दिया कि सही एन्कोडिंग के साथ, शोर के स्तर की परवाह किए बिना क्षमता तक विश्वसनीय रूप से प्रसारित किया जा सकता है।
बीस प्रश्न, घड़ी पर आठ मिनट, और अब तक टेस्ट देने वालों के सामने मापा गया पर्सेंटाइल। साइन-अप नहीं।
IQ टेस्ट दें →अजीब जीनियस
शैनन बेल लैब्स के गलियारों में जग्लिंग और यूनीसाइकिलिंग करते थे, उन्होंने एक फ्लेम-थ्रोइंग ट्रम्पेट बनाया, पहला पहनने योग्य कंप्यूटर (रूलेट के लिए) का आविष्कार किया, और थीसियस नामक एक भूलभुलैया सुलझाने वाला यांत्रिक चूहा डिज़ाइन किया। उन्होंने MIT से जल्दी सेवानिवृत्ति ले ली, स्टॉक विकल्पों के माध्यम से बेहद अमीर बन गए, और अपने अंतिम दशक गैजेट्स के साथ खेलने में बिताए। 2001 में अल्जाइमर से उनका निधन हो गया, और वे उस जनता के लिए काफी हद तक अज्ञात रहे जिनकी डिजिटल दुनिया पूरी तरह से उनके गणित पर टिकी थी।
सामान्य प्रश्न
क्लोड शैनन ने क्या आविष्कार किया?
शैनन ने 1948 में सूचना सिद्धांत का आविष्कार किया, बिट को सूचना की इकाई के रूप में परिभाषित किया, शैनन चैनल क्षमता प्रमेय (शोर वाले चैनल पर अधिकतम विश्वसनीय सूचना दर) को सिद्ध किया, डेटा कम्प्रेशन की गणितीय सीमाएं स्थापित कीं, और उस क्षेत्र की नींव रखी जो सभी डिजिटल संचार और कंप्यूटिंग का आधार है।
शैनन एंट्रॉपी क्या है?
शैनन एंट्रॉपी H = -Σ p(x) log₂ p(x) एक स्रोत की औसत सूचना सामग्री (अनिश्चितता) को मापता है। उच्च एंट्रॉपी का अर्थ है अधिक अनिश्चितता और प्रति प्रतीक अधिक जानकारी। यह लॉसलेस डेटा कम्प्रेशन के लिए सैद्धांतिक न्यूनतम निर्धारित करता है — आप सूचना खोए बिना किसी स्रोत को उसकी एंट्रॉपी से कम संकुचित नहीं कर सकते।
शैनन लिमिट क्या है?
शैनन लिमिट (या शैनन कैपेसिटी) C = B log₂(1 + S/N) वह अधिकतम दर है जिस पर बैंडविड्थ B और सिग्नल-टू-नॉइज़ अनुपात S/N वाले चैनल पर विश्वसनीय रूप से सूचना प्रसारित की जा सकती है। यह एक कठोर सैद्धांतिक सीमा है — कोई भी एन्कोडिंग योजना इसे विश्वसनीय रूप से पार नहीं कर सकती है। आधुनिक संचार इंजीनियरिंग काफी हद तक इस सीमा के करीब पहुंचने की खोज है।