今天的信息时间只消借助一个天才的独创性职责才有可能。

图片

香农Shannon

弗朗西斯·贝洛庄园

——科学资源

作者：谢大卫 2020-12-22 量子杂志专栏作者，大卫·谢（David Tse）是斯坦福大学工程学院的Thomas Kailath和徐光汉席位教养。

图片

译者：zzllrr小乐 2020-12-23 于头条号、企鹅号、百家号、微信公众号、B站专栏、知乎专栏同步发布

科学，寻求大天然的基本定律。数学，在旧的定理基础上寻找新的定理。工程，构建经管东谈主类需求的系统。这三个学科是相互依存但又截然有异的。一个东谈主很少同期为这三者作念出中枢孝敬，但克劳德·香农（Claude Shannon）即是一个荒僻奇才。

尽管香农是最近的记载片《比特玩家The Bit Player》的主题，而他的职责和商议形而上学启发了我我方的奇迹，但香农并不是一个人所共知的东谈主物。他从未赢得过诺贝尔奖，而且在2001年死一火之前或之后，他齐不是像阿尔伯特·爱因斯坦（Albert Einstein）或理查德·费曼（Richard Feynman）这么的名东谈主。然而70多年前，他在一份独创性的论文中奠定了统统这个词通讯基础，构建出当代信息时间的基础。

香农（Shannon）于1916年出身于密歇根州的盖洛德（Gaylord），是一位当地商东谈主和别称考验的女儿。从密歇根大学赢得电气工程和数学学位后，他在麻省理工学院（Massachusetts Institute of Technology）撰写了一篇硕士论文，将一门名为布尔代数的数学学科应用于开关电路的分析和合成。这是一项变革性的职责，将电路设计从一门艺术酿成了一门科学，当今已被以为是数字电路设计的着手。

图片

克劳德·香农（Claude Shannon）撰写了一篇硕士论文，该论文飞快启动了数字电路设计，十年后，他撰写了关系信息论的独创性论文《通讯的数学表面》。

——麻省理工学院博物馆

接下来，香农将眼神投向了一个更大的打算：通讯。

通讯是东谈主类最基本的需求之一。从烟雾信号到信鸽，再到电话再到电视，东谈主类一直在寻找简略使他们进行更远、更快、更可靠的通讯的门径。然而，通讯系统的工程老是与特定的来源和物理介质联系联。香农转而问：“是否有一个大而协调的通讯表面？” 在1939年给他的导师范尼瓦尔·布什（Vannevar Bush）的信中，香农笼统了他的一些初步想法，即“用于谍报传递的通用系统的基本特质”。经由十年的商议，香农终于在1948年发表了他的极品：“通讯的数学表面”。

他的表面的中枢是一个浅易但罕见通用的通讯模子：发送器将信息编码为信号，该信号会被噪声破裂，然后由收受器解码。尽管其浅易性，香农的模子照旧蚁集了两个要道的见识：将信息和噪声源与要设计的通讯系统阻扰开来，并对这两个源进行概率建模。他瞎想信息源会生成好多可能的音书之一来进行通讯，每条音书齐有一定的概率。概率噪声进一步加多了收受器解开的随即性。

在香农之前，通讯问题主要被视为细目性信号重建问题：怎么转机受物理介质误解的收受信号，以尽可能准确地重建原始信号。香农的天才在于他的不雅察，即通讯的要道是不细目性。毕竟，若是你提前知谈了我在本专栏中对你说的话，那么编写它的宗旨是什么？

图片

香农的通讯模子示意图，摘自他的论文

——贝尔系统时间杂志

单一的不雅察将通讯问题从物理问题转变到了抽象问题，从而使香农不错使用概率对不细目性进行建模。这给那时的通讯工程师带来了极大的惶恐。

研讨到不细目性和可能性的框架，香农在其具有里程碑真谛的论文中入辖下手系统地细目通讯的基本收尾。他的恢复分为三个部分。信息“位”的办法在这三个方面齐饰演着伏击变装，香农将其用作不细目性的基本单元。“二进制数字”的双格旅行箱，不错是1或0，香农的论文是第一个使用该词的东谈主（尽管他说数学家John Tukey在一个备忘录中领先使用了它）。

领先，香农提议了每秒比特数来线路信息的最一丝量的公式，即他所谓的熵率，H。该数字量化了音书源将生成哪条音书所触及的不细目性。熵率越低，不细目性越小，因此将音书压缩成较短的内容越容易。举例，以每分钟100个英翰墨母的速率发送短信意味着每分钟发送26¹⁰⁰条可能的音书，每条音书均由100个字母的序列线路。东谈主们不错将统统这些可能性编码成470比特位，因为2⁴⁷⁰  ≈26¹⁰⁰。若是序列具有雷同的可能性，那么香农公式将标明熵速率实为每分钟470位。推行上，某些序列比其他序列更有可能，何况熵率要低得多，不错进行更大的压缩。

其次，他提供了一个公式，狡计他所谓的系统的容量，C，在杂音中系统简略可靠地传达的每秒最大数目比特数。这是收受者不错澌灭音书不细目性的最大速率，有用地成为通讯限速。

终末，他标明，只消当H < C时，面临噪声来自信源的信息智力进行可靠的通讯。因此，信息就像水一样：若是流量小于管谈的容量，则水流能可靠地通过。

诚然这是一种传播表面，但同期亦然一种关系信息怎么产生和传递的表面-信息论。因此，香农当今被以为是“信息论之父”。

他的定理得出了一些与直观相悖的论断。假定你在嘈杂的方位谈话，确保你的音书通过的最好门径是什么？也许是访佛屡次？天然，这是任何东谈主在高声餐厅中的第一个本能想法，但事实讲明这不是很有用。天然，你访佛我方的次数越多，疏浚越可靠。然而你就义了速率来擢升可靠性。香农向咱们展示了咱们不错作念得更好。访佛音书是使用代码传输音书的示例，通过使用不同且更复杂的代码，不错在保持给定可靠性的同期，快速通讯-一直达到限速C。

图片

香农也有爱玩的一面，他平淡带到他的职责中。在这里，他与他为电子鼠标建造的迷宫合影，名为特修斯Theseus。

——麻省理工学院博物馆

香农表面的另一个出其不意的论断是，不论信息的性质是什么，不论是莎士比亚十四行诗，贝多芬第五交响曲的灌音照旧黑泽明的电影，在传输之前，将其编码为比特位老是最有用的。因此，举例在无线电系统中，即使运行声息和通过空中发送的电磁信号齐是模拟波形，香农定理也默示着最好先将声波数字化为比特位，然后将这些比特位映射为电磁波。这一令东谈主骇怪的收尾是当代数字信息时间的基石，在这个时间，比特位已成为信息的通用货币。

香农的一般通讯表面是如斯天然，以至于他似乎发现了寰宇的通讯定律，而不是发明了它们。他的表面与天然的物理定律一样基础。从这个真谛上说，他是别称科学家。

香农发明了新的数学来描摹通讯定律。他先容了一些新念念想，举例概率模子的熵率，这些新念念想已应用于遍历数学等平淡的数学分支，能源学系统的永恒活动商议中。从这个真谛上说，香农是一个数学家。

但最伏击的是，香农是别称工程师。他的表面受到推行工程问题的启发。尽管对那时的工程师来说是深邃的，但香农的表面现已成为统统当代通讯系统（光学，水下，以致行星际）的基础圭臬框架。就个东谈主而言，我很红运地参与了将香农的表面应用和推广到无线通讯的各人性接力，在多代圭臬中将通讯速率擢升了两个数目级。照实，现时推出的5G圭臬使用的不是一种而是两种实用的代码，它们被讲明不错达到香农的速率极限。

图片

图片

尽管香农（Shannon）于2001年死一火，但他的遗产仍然存在于组成咱们当代全国的时间和他创造的开荒（如这种遥控巴士）中。

——麻省理工学院博物馆

香农在70多年前就为统统这一切奠定了基础。他是奈何作念到的？通过不懈地专注于问题的基本特征，而忽略了统统其他方面。他的通讯模子的浅易性即是这种立场的很好例证。他还知谈要专注于可能的事情，而不是立即可行的事情。

香农的职责确认了顶级科学的信得过作用。当我入手读商议生时，我的导师告诉我，最好的职责是修剪常识树，而不是壮大常识树。那时期我不知谈该奈何作念。我一直以为我看成商议东谈主员的职责是添加我方的树枝。然而在我的奇迹生存中，由于有契机在我方的职责中诈欺这种形而上学，我入手解析。

当香农入手商议通讯时，工程师还是掌执了纷乱时间。恰是他的协调职责将统统这些常识枝条修剪成了一棵连贯而可儿的树，这棵树为几代科学家，数学家和工程师带来了收尾。

本站仅提供存储职业，统统内容均由用户发布，如发现存害或侵权内容，请点击举报。