The Bit
صيّغ Shannon مفهوم الـ bit (الرقم الثنائي) كوحدة أساسية للمعلومات — الإجابة على سؤال نعم/لا. عرّف المعلومات رياضيًا: محتوى المعلومات للرسالة هو اللوغاريتم (بالأساس 2) لمقلوب احتمالها. الرسائل المفاجئة تحمل معلومات أكثر من الرسائل المتوقعة. هذا التعريف — الأنيق والمجرد والدقيق — أصبح أساس كل نظرية المعلومات التالية.
Shannon Entropy
熵 Shannon H = -Σ p(x) log₂ p(x) تقيس متوسط محتوى المعلومات للمصدر. لعملة عادلة: H = 1 bit. لعملة منحازة (70% صورة): H ≈ 0.88 bits — عدم تأكد أقل، معلومات أقل لكل رمية. الـ entropy هو أيضًا الحد الأدنى النظري لعدد البتات المطلوبة لتمثيل المصدر بدون فقدان. وهو يحدد الحد الأقصى لضغط البيانات بدون فقدان.
Channel Capacity
نظرية سعة القنوات عند Shannon: لكل قناة حد أقصى معلومات C (بالبتات في الثانية)، يتحدد من خلال عرض النطاق ونسبة الإشارة إلى الضوضاء (C = B log₂(1 + S/N)، نظرية Shannon-Hartley). تحت السعة، يمكن جعل الاتصال موثوقًا بشكل تعسفي. فوق السعة، الأخطاء حتمية. هذه النظرية كانت مذهلة — كان المهندسون يفترضون أن القنوات المزعجة تحد من الموثوقية بتناسب مع الضوضاء. أثبت Shannon أنه يمكنك النقل بشكل موثوق حتى السعة بغض النظر عن مستوى الضوضاء، مع الترميز الصحيح.
The Eccentric Genius
كان Shannon يتلاعب بالكرات والدراجة الأحادية في ممرات Bell Labs، وبنى بوقًا يرمي اللهب، واخترع أول حاسوب قابل للارتداء (للروليت)، وصمم فأرًا ميكانيكيًا حل المتاهات يسمى Theseus. تقاعد مبكرًا من MIT، وأصبح ثريًا بشكل هوسي من خيارات الأسهم، وقضى عقوده الأخيرة يلعب بالأدوات. توفي من الزهايمر عام 2001، غير معروف نسبيًا من قبل الجمهور الذي كان عالمه الرقمي يعتمد بالكامل على رياضياته.
Frequently Asked Questions
ما الذي اخترعه Claude Shannon؟
اخترع Shannon نظرية المعلومات عام 1948، حيث عرّف الـ bit كوحدة للمعلومات، وأثبت نظرية سعة القنوات عند Shannon (أقصى معدل معلومات موثوق على قناة مزعجة)، وأسس الحدود الرياضية لضغط البيانات، وأنشأ المجال الذي يدعم كل الاتصالات والحوسبة الرقمية.
ما هي熵 Shannon؟
熵 Shannon H = -Σ p(x) log₂ p(x) تقيس متوسط محتوى المعلومات (عدم اليقين) للمصدر. الـ entropy الأعلى يعني حالة عدم تأكد أكبر ومعلومات أكثر لكل رمز. وهي تحدد الحد الأدنى النظري لضغط البيانات بدون فقدان — لا يمكنك ضغط المصدر تحت مستوى熵الخاص به دون فقدان المعلومات.
ما هو حد Shannon؟
حد Shannon (أو سعة Shannon) C = B log₂(1 + S/N) هو أقصى معدل يمكن نقل المعلومات من خلاله بشكل موثوق على قناة بعرض النطاق B ونسبة الإشارة إلى الضوضاء S/N. وهو سقف نظري صارم — لا يمكن لأي نظام ترميز أن يتجاوزه بشكل موثوق. هندسة الاتصالات الحديثة تسعى بشكل كبير للاقتراب من هذا الحد.
اقرأ المقال الكامل على Geniuses.Club