مشترک 
کلود شانون (۱۹۱۶-۲۰۰۱)، ریاضیدان و مهندس آمریکایی، پدر نظریه اطلاعات و بنیانگذار عصر دیجیتال است. او با تعریف مفهوم «بیت» و استفاده از جبر بولی در طراحی مدارهای دیجیتال، پایههای نظری کامپیوترها و ارتباطات مدرن را بنا نهاد.
کلود شانون | پدر نظریه اطلاعات، مهندس آمریکایی کلود شانون (زاده ۳۰ آوریل ۱۹۱۶، پتوسکی، میشیگان، ایالات متحده — درگذشته ۲۴ فوریه ۲۰۰۱، مدفورد، ماساچوست) ریاضیدان و مهندس برق آمریکایی بود که پایههای نظری مدارهای دیجیتال و نظریه اطلاعات (یک مدل ریاضی برای ارتباطات) را بنا نهاد. پس از فارغالتحصیلی از دانشگاه میشیگان در سال ۱۹۳۶ با مدرک کارشناسی در دو رشته ریاضیات و مهندسی برق، شانون به عنوان دستیار پژوهشی در مؤسسه فناوری ماساچوست (MIT) مشغول به کار شد. در آنجا، از جمله وظایف دیگر، با پژوهشگر برجسته ونوار بوش همکاری کرد و به تنظیم معادلات دیفرانسیل بر روی آنالایزر دیفرانسیل بوش کمک نمود. یک دوره کارآموزی تابستانی در آزمایشگاههای بل شرکت تلفن و تلگراف آمریکا در شهر نیویورک در سال ۱۹۳۷، الهامبخش بسیاری از تحقیقات بعدی شانون شد. او در سال ۱۹۴۰ مدرک کارشناسی ارشد در مهندسی برق و دکترای ریاضیات را از MIT دریافت کرد. او در سال ۱۹۴۱ به دپارتمان ریاضیات آزمایشگاههای بل پیوست و ابتدا روی سیستمهای کنترل موشک ضد هوایی کار کرد. همکاری او با آزمایشگاههای بل تا سال ۱۹۷۲ ادامه یافت. شانون در سال ۱۹۵۶ به عنوان استاد مدعو در MIT شروع به تدریس کرد، در سال ۱۹۵۸ به عضویت دائم هیئت علمی درآمد و در سال ۱۹۷۸ به عنوان استاد ممتاز بازنشسته شد.
پایاننامه کارشناسی ارشد شانون با عنوان «تحلیل نمادین مدارهای رله و کلیدزنی» (۱۹۴۰) ، از جبر بولی برای پایهریزی مبانی نظری مدارهای دیجیتال استفاده کرد. از آنجایی که مدارهای دیجیتال اساس کار کامپیوترهای مدرن و تجهیزات مخابراتی هستند، این پایاننامه یکی از مهمترین پایاننامههای کارشناسی ارشد قرن بیستم نامیده شده است. در مقابل، پایاننامه دکترای او با عنوان «جبری برای ژنتیک نظری» (۱۹۴۰) ، به همان اندازه تأثیرگذار نبود. در سال ۱۹۴۸، شانون مقالهای با عنوان «نظریه ریاضی ارتباطات» منتشر کرد که بر پایه تحقیقات سایر پژوهشگران آزمایشگاههای بل مانند هری نایکوئیست و آر.وی.ال. هارتلی بنا شده بود. با این حال، مقاله شانون بسیار فراتر از کارهای پیشین رفت. این مقاله نتایج اساسی نظریه اطلاعات را به شکلی چنان کامل تبیین کرد که چارچوب و اصطلاحات آن هنوز هم استفاده میشوند. (به نظر میرسد این مقاله نخستین مورد استفاده منتشرشده از واژه «بیت» (bit) برای اشاره به یک رقم دودویی باشد).
گام مهمی که شانون برداشت، جداسازی مشکل فنی تحویل یک پیام از مشکل درک معنای آن پیام بود. این گام به مهندسان اجازه داد تا بر روی سیستم تحویل پیام تمرکز کنند. شانون در مقاله سال ۱۹۴۸ خود بر دو پرسش کلیدی متمرکز شد: تعیین کارآمدترین روش رمزگذاری یک پیام با استفاده از الفبای مشخص در یک محیط بدون نویز، و درک اینکه در حضور نویز چه اقدامات اضافی باید انجام شود. شانون این مسائل را با موفقیت برای یک مدل بسیار انتزاعی (و در نتیجه به طور گسترده قابل اجرا) از یک سیستم ارتباطی حل کرد که شامل هر دو سیستم گسسته (دیجیتال) و پیوسته (آنالوگ) میشود. به طور خاص، او معیاری برای سنجش کارایی یک سیستم ارتباطی به نام آنتروپی (مشابه مفهوم آنتروپی در ترمودینامیک که میزان بینظمی در سیستمهای فیزیکی را میسنجد) ارائه داد که بر اساس ویژگیهای آماری منبع پیام محاسبه میشود.
فرمولبندی شانون از نظریه اطلاعات بلافاصله در میان مهندسان ارتباطات به موفقیت دست یافت و همچنان مفید واقع میشود. این نظریه همچنین الهامبخش تلاشهای زیادی برای کاربرد نظریه اطلاعات در حوزههای دیگر مانند علوم شناختی، زیستشناسی، زبانشناسی، روانشناسی، اقتصاد و فیزیک بوده است. در واقع، چنان شور و شوقی در این زمینه ایجاد شد که شانون در سال ۱۹۵۶ مقالهای با عنوان «همرنگ جماعت شدن» (The Bandwagon) نوشت تا برخی از طرفداران بیش از حد پرشور را تعدیل کند. شانون که به علایق و تواناییهای متنوعش معروف بود - از جمله فعالیتهایی مانند ژانگولربازی در حین تکچرخسواری در راهروهای آزمایشگاههای بل - مقالات متعدد و تأثیرگذاری در زمینه نظریه اطلاعات، رمزنگاری و کامپیوترهای شطرنجباز منتشر کرد و همچنین دستگاههای مکانیکی گوناگونی طراحی نمود.
نظریه اطلاعات | ریاضیات نظریه اطلاعات، یک نمایش ریاضی از شرایط و پارامترهای مؤثر بر انتقال و پردازش اطلاعات است. این نظریه که بیشتر با کار کلود شانون مهندس برق آمریکایی در اواسط قرن بیستم مرتبط است، عمدتاً مورد توجه مهندسان ارتباطات است، اگرچه برخی مفاهیم آن در حوزههایی مانند روانشناسی و زبانشناسی نیز پذیرفته و استفاده شده است. نظریه اطلاعات همپوشانی زیادی با نظریه ارتباطات دارد، اما بیشتر به سمت محدودیتهای بنیادین در پردازش و ارتباطات اطلاعاتی گرایش دارد و کمتر به عملکرد جزئیات دستگاههای خاص میپردازد.
پیشینه تاریخی علاقه به مفهوم اطلاعات مستقیماً از ایجاد تلگراف و تلفن نشأت گرفت. در سال ۱۸۴۴، مخترع آمریکایی ساموئل اف.بی. مورس یک خط تلگراف بین واشنگتن دیسی و بالتیمور مریلند ساخت. مورس هنگام ارسال سیگنال از طریق خطوط انتقال زیرزمینی با مشکلات الکتریکی زیادی مواجه شد، اما به طور غیرقابل توضیحی، هنگامی که خطوط روی تیرها معلق بودند، مشکلات کمتری داشت. این موضوع توجه بسیاری از فیزیکدانان برجسته، به ویژه ویلیام تامسون (بارون کلوین) اسکاتلندی را به خود جلب کرد. به همین ترتیب، اختراع تلفن در سال ۱۸۷۵ توسط الکساندر گراهام بل و گسترش متعاقب آن، دانشمندان برجسته دیگری مانند هانری پوانکاره، اولیور هوی ساید و مایکل پاپین را به مسائل مرتبط با انتقال سیگنال از طریق سیمها جذب کرد. بخش اعظم کار آنها با استفاده از تحلیل فوریه انجام شد، اما در تمام این موارد، تحلیل به حل مسائل عملی مهندسی سیستمهای ارتباطی اختصاص داشت. مطالعه رسمی نظریه اطلاعات تا سال ۱۹۲۴ آغاز نشد، زمانی که هری نایکوئیست، پژوهشگر آزمایشگاههای بل، مقالهای با عنوان «عوامل معین مؤثر بر سرعت تلگراف» منتشر کرد. نایکوئیست دریافت که کانالهای ارتباطی دارای حداکثر نرخ انتقال داده هستند و فرمولی برای محاسبه این نرخها در کانالهای بدون نویز با پهنای باند محدود استخراج کرد. یکی دیگر از پیشگامان، همکار نایکوئیست، آر.وی.ال. هارتلی بود که مقاله «انتقال اطلاعات» (۱۹۲۸) او اولین پایههای ریاضی نظریه اطلاعات را بنا نهاد.
تولد واقعی نظریه اطلاعات مدرن را میتوان به انتشار مقاله کلود شانون با عنوان «نظریه ریاضی ارتباطات» در سال ۱۹۴۸ در ژورنال فنی سیستم بل نسبت داد. یک گام کلیدی در کار شانون این بود که برای داشتن یک نظریه، سیگنالهای ارتباطی باید جدای از معنای پیامهایی که منتقل میکنند، بررسی شوند. این دیدگاه در تضاد شدید با برداشت رایج از اطلاعات است که در آن معنا نقشی اساسی دارد. شانون همچنین دریافت که میزان دانش منتقلشده توسط یک سیگنال، ارتباط مستقیمی با اندازه پیام ندارد. یک مثال معروف برای این تمایز، مکاتبه بین رماننویس فرانسوی ویکتور هوگو و ناشرش پس از انتشار کتاب بینوایان در سال ۱۸۶۲ است. هوگو برای ناشرش کارتی فقط با علامت «؟» فرستاد. در پاسخ، کارتی فقط با علامت «!» دریافت کرد. در چارچوب روابط هوگو با ناشرش و عموم مردم، این پیامهای کوتاه سرشار از معنا بودند؛ بدون چنین زمینهای، این پیامها بیمعنا هستند. به همین ترتیب، یک پیام طولانی و کامل به زبان فرانسوی عالی، دانش مفید کمی را به کسی که فقط انگلیسی میفهمد، منتقل میکند. بنابراین شانون عاقلانه تشخیص داد که یک نظریه مفید اطلاعات ابتدا باید بر مشکلات مرتبط با ارسال و دریافت پیامها تمرکز کند و سؤالات مربوط به هرگونه معنای ذاتی یک پیام - که به مسئله معناشناختی معروف است - را برای محققان بعدی باقی بگذارد. بدیهی است که اگر مشکل فنی حل نشود - یعنی اگر نتوان پیامی را به درستی منتقل کرد - آنگاه بعید است که مسئله معناشناختی هرگز به طور رضایتبخشی حل شود. بنابراین، حل مشکل فنی اولین گام در ایجاد یک سیستم ارتباطی قابل اعتماد بود.
تصادفی نیست که شانون برای آزمایشگاههای بل کار میکرد. محرکهای عملی برای کار او، مشکلاتی بود که در ایجاد یک سیستم تلفن قابل اعتماد با آن مواجه بودند. یک سؤال کلیدی که در روزهای اولیه مخابرات باید پاسخ داده میشد این بود که چگونه میتوان حداکثر استفاده را از تجهیزات فیزیکی برد - به طور خاص، چگونه میتوان حداکثر تعداد مکالمات تلفنی را از طریق کابلهای موجود منتقل کرد. پیش از کار شانون، عوامل دستیابی به حداکثر بهرهوری به وضوح درک نشده بودند. کار شانون کانالهای ارتباطی را تعریف کرد و نشان داد که چگونه میتوان یک ظرفیت به آنها اختصاص داد، نه تنها در مفهوم نظری که در آن هیچ تداخل یا نویزی وجود ندارد، بلکه در موارد عملی که کانالهای واقعی در معرض نویز واقعی قرار دارند. شانون فرمولی ارائه داد که نشان میداد چگونه پهنای باند یک کانال (یعنی ظرفیت سیگنال نظری آن) و نسبت سیگنال به نویز آن (معیاری برای سنجش تداخل) بر ظرفیت حمل سیگنالهای آن تأثیر میگذارد. با انجام این کار، او توانست استراتژیهایی برای حداکثرسازی ظرفیت یک کانال معین پیشنهاد دهد و محدودیتهای آنچه با یک فناوری خاص ممکن است را نشان دهد. این برای مهندسان بسیار مفید بود، زیرا میتوانستند از آن پس بر روی موارد خاص تمرکز کرده و مبادلات (Trade-offs) خاص مربوط به آن را درک کنند. شانون همچنین به کشف شگفتانگیزی دست یافت که حتی در حضور نویز، همیشه امکان انتقال سیگنالها به طور دلخواه نزدیک به ظرفیت نظری کانال وجود دارد. این کشف مهندسان را بر آن داشت تا به دنبال تکنیکهای عملی برای بهبود عملکرد در ارسال سیگنالهایی باشند که بسیار پایینتر از سطح بهینه بودند. کار شانون به وضوح بین بهبودهایی که با اتخاذ یک طرح رمزگذاری متفاوت قابل دستیابی بود و بهبودهایی که تنها با تغییر خود سیستم ارتباطی ممکن بود، تمایز قائل شد. پیش از شانون، مهندسان فاقد روشی سیستماتیک برای تحلیل و حل چنین مسائلی بودند. بنابراین کار پیشگامانه شانون ایدههای کلیدی بسیاری را ارائه داد که از آن زمان تاکنون راهنمای مهندسان و دانشمندان بوده است. اگرچه نظریه اطلاعات همیشه دقیقاً مشخص نمیکند که چگونه به نتایج خاصی دست یابیم، اما مردم اکنون میدانند که پرسیدن کدام سؤالات ارزشمند است و میتوانند بر حوزههایی تمرکز کنند که بالاترین بازده را خواهند داشت. آنها همچنین میدانند که حل کدام نوع سؤالات دشوار است و در کدام حوزهها احتمال بازدهی زیاد نسبت به میزان تلاش صرفشده کم است.
از دهههای ۱۹۴۰ و ۱۹۵۰ به بعد، اصول نظریه اطلاعات کلاسیک در زمینههای بسیاری به کار گرفته شده است. بخش کاربردهای نظریه اطلاعات دستاوردهایی را نه تنها در حوزههای مخابراتی مانند فشردهسازی دادهها و تصحیح خطا، بلکه در رشتههای جداگانهای مانند فیزیولوژی، زبانشناسی و فیزیک نیز بررسی میکند. در واقع، حتی در دوران شانون نیز کتابها و مقالات زیادی منتشر شد که در مورد رابطه بین نظریه اطلاعات و حوزههایی مانند هنر و تجارت بحث میکردند. متأسفانه، بسیاری از این روابط ادعایی ارزش مشکوکی داشتند. تلاشها برای مرتبط ساختن نظریه اطلاعات با هر مشکل و هر حوزهای، به قدری برای خود شانون نگرانکننده بود که در سرمقالهای در سال ۱۹۵۶ با عنوان «همرنگ جماعت شدن» (The Bandwagon) هشدار زیر را صادر کرد: «من شخصاً معتقدم که بسیاری از مفاهیم نظریه اطلاعات در این زمینههای دیگر مفید خواهند بود - و در واقع، برخی نتایج در حال حاضر کاملاً امیدوارکننده هستند - اما ایجاد چنین کاربردهایی امری پیشپاافتاده مانند ترجمه کلمات به یک حوزه جدید نیست، بلکه فرآیند کند و خستهکننده فرضیهسازی و تأیید تجربی است.»
