البت
قام شانون بصياغة مفهوم البت (الرقم الثنائي) كوحدة أساسية للمعلومات - وهي الإجابة على سؤال بنعم/لا. لقد عرّف المعلومات رياضياً: محتوى المعلومات في الرسالة هو لوغاريتم (الأساس 2) لمقلوب احتمالية حدوثها. الرسائل المفاجئة تحمل معلومات أكثر من الرسائل المتوقعة. هذا التعريف - الأنيق والمجرد والدقيق - أصبح الأساس لكل نظرية المعلومات اللاحقة.
إنتروبيا شانون
تقيس إنتروبيا شانون H = -Σ p(x) log₂ p(x) متوسط محتوى المعلومات في المصدر. بالنسبة لعملة معدنية عادلة: H = 1 بت. بالنسبة لعملة متحيزة (70% شعار): H ≈ 0.88 بت - قدر أقل من عدم اليقين، ومعلومات أقل لكل رمية. الإنتروبيا هي أيضاً الحد الأدنى النظري لعدد البتات المطلوبة لتمثيل مصدر دون فقدان، وهي تحدد حد الضغط غير الفاقد.
سعة القناة
نظرية سعة القناة لشانون: لكل قناة معدل معلومات أقصى C (بالبت في الثانية)، يتحدد بناءً على عرض النطاق ونسبة الإشارة إلى الضوضاء (C = B log₂(1 + S/N)، نظرية شانون-هارتلي). تحت هذا المعدل، يمكن جعل الاتصال موثوقاً بشكل تعسفي. وفوقه، تصبح الأخطاء حتمية. كانت هذه النظرية مذهلة - فقد افترض المهندسون أن القنوات المشوشة تحد من الموثوقية بما يتناسب مع الضوضاء. أثبت شانون أنه يمكنك الإرسال بشكل موثوق حتى مستوى السعة بغض النظر عن مستوى الضوضاء، باستخدام الترميز الصحيح.
عشرون سؤالاً وثماني دقائق على الساعة، ونسبة مئوية مقاسة مقابل كل من خاضه. دون تسجيل.
اخوض اختبار الذكاء →العبقري غريب الأطوار
اعتاد شانون التلاعب بالأشياء وركوب الدراجة أحادية العجلة في ممرات مختبرات بيل، وبنى بوقاً قاذفاً للهب، واخترع أول حاسوب قابل للارتداء (لألعاب الروليت)، وصمم فأراً ميكانيكياً يحل المتاهات يسمى 'ثيسيوس'. تقاعد مبكراً من MIT، وأصبح ثرياً جداً بفضل خيارات الأسهم، وقضى عقوده الأخيرة في العبث بالأدوات. توفي بسبب مرض ألزهايمر في عام 2001، وهو غير معروف إلى حد كبير للجمهور الذي يستند عالمه الرقمي بالكامل إلى رياضياته.
أسئلة مكررة
ماذا اخترع كلود شانون؟
اخترع شانون نظرية المعلومات في عام 1948، محدداً البت كوحدة للمعلومات، ومثبتاً نظرية سعة قناة شانون (أقصى معدل معلومات موثوق عبر قناة مشوشة)، ومؤسساً للحدود الرياضية لضغط البيانات، وواضعاً الأساس للمجال الذي يدعم كل الاتصالات الرقمية والحوسبة.
ما هي إنتروبيا شانون؟
تقيس إنتروبيا شانون H = -Σ p(x) log₂ p(x) متوسط محتوى المعلومات (عدم اليقين) لمصدر ما. تعني الإنتروبيا الأعلى مزيداً من عدم اليقين ومزيداً من المعلومات لكل رمز. وهي تحدد الحد الأدنى النظري لضغط البيانات بدون فقدان - لا يمكنك ضغط مصدر أقل من إنتروبيته دون فقدان المعلومات.
ما هو حد شانون؟
حد شانون (أو سعة شانون) C = B log₂(1 + S/N) هو الحد الأقصى للمعدل الذي يمكن من خلاله إرسال المعلومات بشكل موثوق عبر قناة ذات عرض نطاق B ونسبة إشارة إلى الضوضاء S/N. إنه سقف نظري صارم - لا يمكن لأي نظام ترميز تجاوزه بشكل موثوق. هندسة الاتصالات الحديثة هي في الغالب سعي للوصول إلى هذا الحد.