，顾名思义是研究“信息”的理论。那么信息到底是什么？信息到底有多重要？让我们听听“

  投身信息产业的怀抱快三十年了，我有时也在想：信息何以会具备如此强大的力量？它的力量来自什么地方？我们又该如何驾驭这一力量？在这三十年间，信息极大地释放了人类的能量，它所创造的价值超过了之前五千年的财富总和，但“信息”依然是个大家耳熟能详却又含义模糊的词。

  信息是人的镜子，它在技术更新与模式兴替中展现出变化万端的色彩。但我们回视人的心灵，却发现它在千百年来并没有太多的变化。“科技的互联网”不能描述信息的全部，信息只有作用于思维，才能显示出强大的力量。

  虽然信息这个词汇在日常生活中无处不在，但要说清楚信息是什么，却并不容易。

  我们会发现，信息似乎是我们司空见惯的概念，好像直观理解起来并没什么障碍，但要准确描述信息是什么却非常困难。

  而香农信息论的伟大贡献就在于，可以用数学公式严格定义信息的量，反映了信息表达形式在统计方面的性质。

  1924年 Nyquist：给出了给定带宽的电报信道上间串扰的最大可用信号速率；

  1928年 Hartley：在带限信道中当最大信号幅度Amax，幅度失真为Ad的条件下存在一个可靠通信的最大数据速率；

  这一年，贝尔实验室对外宣布，他们研发出来了一种全新的小型电子半导体器件。据说，这是一种“出奇简单的设备”，能够实现任何真空管能完成的工作，而且效率更加高，体积更小，更容易集成，小到巴掌大面积的设备里也能容纳数百个。

  transistor，由transconductance（跨导）和varistor（压敏电阻）两个单词合并而成）脱颖而出，成为了这个新型半导体器件的正式名称，沿用至今。

  而晶体管的发明者，肖克利，巴丁和布拉顿三人也荣获了1956年的诺贝尔物理学奖。可以说，半导体技术是贝尔实验室的最重要的一项发现。

  但是，如何我们再看看1948年还出现了什么重要进展，就会发现晶体管或许只能屈居次席，因为它只是这场电子行业革命的硬件部分。

  《通信的数学理论》（A mathematical theoryof communication），这篇半个多世纪前的文章于2001年再次发表，今天还能在谷歌学术里找到，引用次数高达81685次。

  信息熵 [shāng]来定量衡量信息的大小。我们先设随机事件发生的不确定性为发生概率pi的函数f(pi)，该函数具有如下三条性质：

  3）可加性：多随机事件同时发生存在的总不确定性的度量，可以表示为各时间不确定性度量的和。例：

  密码系统中对消息的加密变换的作用类似于向信息中存在的噪声。密文就等于经过有扰信道得到的接收消息，密码分析员相当于有扰信道下原接收者。

  密钥，其目的是己方可方便地除去发端所加的强干扰，从密文中恢复出原来的信息，而使敌方难于从截获的密报中提取出有用信息。

  Intelligence一词，这个单词有着悠久的历史，语义丰富。托马斯·艾利奥特爵士在16世纪写道：“现在intelligence作为一个文雅的说法，用来表示通过相互交换信件或者口信达成协议或者约定”。

  information一词。他们用这个词来表达一些技术性的概念，如信息的数量、信息的测量等。而香农作为贝尔实验室的一员，在信息论中也采用了information这个词。自此，information渐渐成为了主流。

  这两个貌似毫不相干的东西，结合成了一对不同寻常的组合，擦出了巧妙的火花。这篇文章也被誉为上个世纪最重要的硕士论文。

  在香农对信息的概念加以简化，并用bit作为量纲衡量后，人们发现信息几乎无处不在。

  今天看来，马歇尔的这一预言毫无疑问的走在了时代的前面。现如今，我们已可以清晰地认识到，信息是我们这样一个世界运行所必须的血液和生命力。信息的概念已经远不止局限在通信行业，早已渗透到了各个科学领域，改变着每个学科的面貌。

  因为香农信息论最初解决的两个问题都属于通信学科，而且加上信息论的奠基论文——《通信的数学理论》中又重点强调了通信，所以会产生一些误解，那就是有人会认为信息论仅仅是通信学科的一个组成部分，但是信息论涵盖的领域远不止于此。如上图所示，信息论在统计物理（热力学）、计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）以及概率和统计等学科方向中都有奠基性的贡献。

  香农虽已于2001年辞世，但正如信息论学科的著名学者，Richard Blahut教授在香农的儿童时代的老家，密歇根州的Gaylord镇举行香农塑像的落成典礼上所说的，香农所留给人类的思想会永远留在人们的脑海中，激励我们的子孙们。