关注 哆嗒数学网 每天获得更多数学趣文
01
香农其人
科学寻求自然的基本定律 ， 数学则在旧基础上构造新的定理 ， 而工程学建造系统来解决人类的需求 。 这三个学科相互依存 ， 但又截然不同 。 同时为这三个领域做出核心贡献的人极为罕见 ， 而克劳德·香农就是如此 。
香农是纪录片《The Bit Player》的主题 ， 其研究工作和研究哲学深深启发了笔者的事业 。 尽管如此 ， 无论是生前还是在2001年去世之后 ， 香农并不是一个像爱因斯坦一样家喻户晓的人物 ， 他不像费曼那样出名 ， 也从未获得过诺贝尔奖 。 然而 ， 香农70多年前的一份开创性论文 ， 奠定了整个现代通信设施的基础 。 没有他 ， 就没有如今的信息时代 。
文章图片
纪录片《The Bit Player》
香农于1916年出生于密歇根州的盖洛德 ， 是一位本地商人和一位教师的儿子 。 他在密歇根大学获得了电气工程和数学学位 ， 之后 ， 在麻省理工学院撰写了一篇硕士论文 ， 将布尔代数应用于开关电路的分析和综合 。 这项变革性的工作 ， 将电路设计从一门艺术变成了一门科学 ， 如今这被认为是数字电路设计的起点 。
文章图片
克劳德·香农撰写的硕士论文 ， 突破性地开创了数字电路设计这一领域 ， 十年后 ， 他撰写了有关信息论的开创性论文《通信的数学理论》
接下来 ， 香农将目光投向了一个更大的目标：通信 。
02
向通信进发
通信是人类最基本的需求之一 。 从烟雾信号到信鸽 ， 再到电话、电视 ， 人类一直在寻找更远、更快、更可靠的通信方法 。 但是 ， 通信系统的工程问题总是逃不开各种发射源和传输介质 。
香农却问了一个没人问过的问题：“是否有一个伟大的统一理论来描述通信？”1939年 ， 香农在给导师范尼瓦尔·布什的信中 ， 概述了他的一些关于“用于情报传递的通用系统的基本特性”的初步想法 。 经过十年的研究 ， 香农终于在1948年发表了他的大师之作：《通信的数学理论》 。
香农的理论的核心 ， 是一个简单却非常通用的通信模型：发送器将信息编码为信号 ， 该信号会被噪声破坏 ， 然后由接收器解码 。 模型很简单 ， 却有两个关键见解：
1.信息源和噪声源独立于要设计的通信系统；
2.对这两个源进行概率建模 。 他设想源生成许多可能的信息 ， 每条信息都有一定的概率 。 概率噪声进一步增加了接收器所解码的随机性 。
在香农之前 ， 通信问题主要被视为决定论的信号重建问题：信号经介质传播后发生变形 ， 如何处理接收信号 ， 能够尽可能准确地复现原始信号？香农的天才在于他意识到：沟通的关键是不确定性 。 毕竟 ， 如果我要讲述的内容您提前就知道 ， 我还写它做什么呢？
文章图片
【Bit|科学、数学、工程集于一身的全才！】香农的通信模型示意图 ， 摘自他的论文
就是这一见解 ， 将通信问题从实体转为抽象 ， 从而使香农可以使用概率对不确定性进行建模 。 这极大地震惊了当时的通信工程师 。
03
信息论到底在讲什么
建立起有关“不确定性和概率”的理论框架之后 ， 香农开始着手他里程碑式的论文 ， 并系统地确定了通信的基本极限 。 他的回答分为三个部分 。 在每个部分中 ， “bit（比特）”的概念都扮演着重要角色 ， 香农将其用作不确定性的基本单位 。 “bit”是“binary digit（二进制数字）”的合成词 ， bit可以是1或0 ， 香农的论文首先使用了该词（尽管他说数学家John Tukey在备忘录中首先使用了它） 。
首先 ， 香农提出了一个公式来计算每秒钟至少需要多少个bit来传输一条信息 ， 并将这个数字称作熵率（entropy rate）H 。 熵率H表示发送者发送信息的不确定性 ， 熵率越低 ， 不确定性越小 ， 因此越容易将消息压缩得更短 。 例如 ， 以每分钟100个英文字母的速率发送短信意味着每分钟发送 26100 条可能的消息 ， 每条消息都是100个字母组成的序列 。 用470个比特就可以编码所有可能 ， 因为 2470≈ 26100 。 如果每种序列都具有相同的可能性 ， 那么香农公式将表明熵率H确实是470 bits/分钟 。 实际上 ， 某些序列比其他序列更有可能出现 ， 熵率低得多 ， 可以进行更大程度的压缩 。
其次 ， 香农提出了一个公式 ， 来计算系统在噪声存在情况下的最大传输容量 ， 他称之为系统容量（system’s capacity） ， C 。 这是接收器能够对传送的信息进行解码的最大速率 ， 也代表了通信的速度极限 。
最后 ， 他证明了对于发出的信息受到噪声干扰的情况 ， 只有当H < C时 ， 通信才是可靠的 。 信息就像水一样 ， 流量小于管道容量时 ， 才可安全流过 。
虽然这是一种通信理论 ， 但同时也是一种有关信息如何产生和传递的理论——信息论 。 因此 ， 现在香农被称作“信息论之父” 。
他的定理得出了一些与直觉相反的结论 。 假设您在嘈杂的地方讲话 。 确保您的消息通过的最佳方法是什么？也许是一遍又一遍地重复？这可能是大多数人的本能 ， 但事实证明这样做效率并不高 。 当然 ， 重复的次数越多 ， 沟通越可靠 ， 但这是牺牲速度来换取可靠性 。 香农告诉我们 ， 我们可以做得远远比这更好 。 重复消息是使用代码传输消息的一个例子 ， 而使用不同的、更复杂的代码 ， 可以在保持一定可靠性的同时 ， 更快速地通信——一直到速度极限C 。
文章图片
香农站在一箱电子元件前 香农也有爱玩的一面 ， 他经常将这一面带到他的工作中 。 这是香农和他为一只名为特修斯的电子老鼠建造的迷宫的合影
香农理论的另一个出乎意料的结论是 ， 无论信息的性质是什么 ， 无论是莎士比亚十四行诗 ， 贝多芬第五交响曲的录音还是黑泽明的电影 ， 在进行传输之前 ， 将其编码为比特一定是最有效率的 。 因此 ， 例如在无线电系统中 ， 即使初始的声音和在空中传播的电磁信号都是模拟波形 ， 基于香农定理 ， 最好也要先将声波数字化为比特 ， 然后再将这些比特映射为电磁波 。 这一令人惊讶的结果是现代数字信息时代的基石 ， 在这个时代 ， 比特已成为信息的“通用货币” 。
04
跨界的天才
香农的通信理论是如此自然 ， 他似乎是发现了 ， 而不是发明了宇宙的信息传播定律 。 他的理论与大自然的物理定律一样基础 。 从这个意义上说 ， 他是一位科学家 。
香农发明了新的数学来描述通信定律 。 他首次引入的概念 ， 例如概率模型的熵率 ， 已经应用到广泛的数学分支的研究中 ， 例如遍历理论（ergodic theory）（动力学系统的长期行为的研究） 。 从这个意义上说 ， 香农是一个数学家 。
但最重要的是 ， 香农是一名工程师 。 他的理论是受到了实际工程问题的启发 。 尽管对当时的工程师来说 ， 这些理论深奥难懂 ， 但现已成为了所有现代（光学 ， 水下 ， 甚至星际）通信系统的基础标准框架 。 就个人而言 ， 我很幸运地参与了一个全球范围的 ， 将香农的理论应用和扩展到无线通信的事业 ， 在多代标准中将通信速度提高了两个数量级 。 确实 ， 当前推出的5G标准使用的不是一种而是两种实用的代码 ， 它们都达到了香农的速度极限 。
文章图片
克劳德·香农在看一张土星照片
香农在70多年前就为所有这一切奠定了基础 。 他是怎么做到的？通过锲而不舍地专注于问题的基本特征 ， 而忽略所有其他方面 。 他的交流模型的简单性就是这种风格的很好例证 。 他还知道要专注于可能的事情 ， 而不是立即可行的事情 。
文章图片
香农制作的一辆黄色的遥控巴士 。 尽管香农在2001年去世了 ， 但他的遗产仍然存在于构成我们现代世界的技术和他创造的设备（如这种遥控巴士）中
香农的作品说明了顶级科学的真正作用 。 当我开始读研究生时 ， 我的导师告诉我 ， 最好的工作往往是在修剪知识树 ， 而不是发展知识树 。 那时候我无法理解这句话 。 我一直认为 ， 研究人员应当追求的是添加自己的树枝 。 后来我有机会在自己的工作中运用了这种哲学 ， 我才开始理解 。
当香农开始研究传播时 ， 工程师已经掌握了大量技术 。 正是他的工作将所有技术统一起来 ， 将这些知识的枝条修剪成了一棵富有逻辑、一以贯之的、可爱的树 ， 这棵树为几代科学家 ， 数学家和工程师结出了累累硕果 。
作者：David Tse
翻译：xux
审校：Dannis
关注 哆嗒数学网 每天获得更多数学趣文
推荐阅读
- 技术|“2”类医械有重大进展：神经介入产品井喷、基因测序弯道超车
- 重大进展|“2”类医械有重大进展：神经介入产品井喷、基因测序弯道超车
- Tencent|原生版微信上架统信UOS应用商店：适配X86、ARM、LoongArch架构
- 国家|2022上海国际热处理、工业炉展览会
- 科学|中阳县北街小学：体验科学魅力
- IT|8号线、14号线将全线贯通 北京地铁?今年开通线路段创纪录
- 软件和应用|iOS/iPadOS端Telegram更新：引入隐藏文本、翻译等新功能
- 牛上|英媒文章：2021年最有趣的科学发现
- Intel|Intel谈DDR5内存价格贵、缺货问题：新技术升级在所难免
- IT|宝马电动转型成果初显：i4、iX供不应求 新能源车销量已破百万