The Bit
Shannon ने बिट (बाइनरी अंक) की अवधारणा को सूचना की मूल इकाई के रूप में औपचारिक किया — एक हाँ/नहीं प्रश्न का उत्तर। उन्होंने सूचना को गणितीय रूप से परिभाषित किया: एक संदेश की सूचना सामग्री इसकी संभावना के व्युत्क्रम का लघुगणक (आधार 2) है। आश्चर्यजनक संदेश अपेक्षित संदेशों की तुलना में अधिक सूचना ले जाते हैं। यह परिभाषा — सुरुचिपूर्ण, अमूर्त और सटीक — सभी बाद के सूचना सिद्धांत की नींव बन गई।
Shannon Entropy
Shannon entropy H = -Σ p(x) log₂ p(x) एक स्रोत की औसत सूचना सामग्री को मापता है। न्यायसंगत सिक्के के लिए: H = 1 बिट। पक्षपातपूर्ण सिक्के के लिए (70% हेड्स): H ≈ 0.88 बिट्स — कम अनिश्चितता, प्रति फ्लिप कम सूचना। एंट्रॉपी बिना नुकसान के एक स्रोत का प्रतिनिधित्व करने के लिए आवश्यक बिट्स की सैद्धांतिक न्यूनतम संख्या भी है। यह दोषरहित संपीड़न के लिए सीमा निर्धारित करता है।
Channel Capacity
Shannon का चैनल क्षमता प्रमेय: हर चैनल की एक अधिकतम सूचना दर C (बिट्स प्रति सेकंड में) होती है, जो इसकी बैंडविड्थ और सिग्नल-से-शोर अनुपात द्वारा निर्धारित होती है (C = B log₂(1 + S/N), Shannon-Hartley प्रमेय)। क्षमता से नीचे, संचार को मनमाने ढंग से विश्वसनीय बनाया जा सकता है। क्षमता से ऊपर, त्रुटियां अपरिहार्य हैं। यह प्रमेय चौंकाने वाला था — इंजीनियरों ने माना था कि शोरयुक्त चैनल शोर के अनुपात में विश्वसनीयता को सीमित करते हैं। Shannon ने साबित किया कि आप सही एन्कोडिंग के साथ शोर के स्तर की परवाह किए बिना क्षमता तक विश्वसनीय रूप से प्रेषित कर सकते हैं।
The Eccentric Genius
Shannon Bell Labs के ممरों में जग्गलिंग और यूनिसाइकिलिंग करते थे, एक आग उगलने वाली तुरही बनाई, पहला पहनने योग्य कंप्यूटर आविष्कार किया (रूलेट के लिए), और एक भूलभुलैया को हल करने वाली यांत्रिक चूहा Theseus डिजाइन किया। उन्होंने MIT से जल्दी सेवानिवृत्ति ली, स्टॉक ऑप्शन के माध्यम से अत्यधिक धनवान हुए, और अपने अंतिम दशकों में गैजेट्स के साथ खेलने में व्यस्त रहे। 2001 में Alzheimer की बीमारी से उनकी मृत्यु हुई, जनता के लिए काफी हद तक अज्ञात, जिनकी डिजिटल दुनिया पूरी तरह से उनके गणित पर निर्भर थी।
Frequently Asked Questions
Claude Shannon ने क्या आविष्कार किया?
Shannon ने 1948 में सूचना सिद्धांत का आविष्कार किया, बिट को सूचना की इकाई के रूप में परिभाषित किया, Shannon चैनल क्षमता प्रमेय साबित किया (शोरयुक्त चैनल पर अधिकतम विश्वसनीय सूचना दर), डेटा संपीड़न की गणितीय सीमाएं स्थापित कीं, और उस क्षेत्र की स्थापना की जो सभी डिजिटल संचार और कंप्यूटिंग को रेखांकित करता है।
Shannon एंट्रॉपी क्या है?
Shannon entropy H = -Σ p(x) log₂ p(x) एक स्रोत की औसत सूचना सामग्री (अनिश्चितता) को मापता है। उच्च एंट्रॉपी का मतलब अधिक अनिश्चितता और प्रति प्रतीक अधिक सूचना है। यह दोषरहित डेटा संपीड़न के लिए सैद्धांतिक न्यूनतम निर्धारित करता है — आप सूचना खोए बिना किसी स्रोत को उसकी एंट्रॉपी से कम में संपीड़ित नहीं कर सकते।
Shannon सीमा क्या है?
Shannon सीमा (या Shannon क्षमता) C = B log₂(1 + S/N) वह अधिकतम दर है जिस पर सूचना को एक चैनल पर विश्वसनीय रूप से प्रेषित किया जा सकता है जिसकी बैंडविड्थ B और सिग्नल-से-शोर अनुपात S/N है। यह एक कठोर सैद्धांतिक छत है — कोई भी एन्कोडिंग योजना इसे विश्वसनीय रूप से पार नहीं कर सकती। आधुनिक संचार इंजीनियरिंग काफी हद तक इस सीमा के करीब पहुंचने की खोज है।
Geniuses.Club पर पूरा लेख पढ़ें