图灵社区

The Information: A History, a Theory, a Flood

by James Gleick

1948年，贝尔实验室对外宣称发明了晶体管（transistor）。“它可能对电子和电信行业产生意义深远的影响”。但现实超越了贝尔的广告词。晶体管引发了电子产业革命，三位主要发明人获得诺贝尔奖。

但是，1948年出现的重要进展，晶体管还只能屈居次席，另一项更为基础，意义更深远的发明出现在贝尔实验室的一篇专题论文中，这篇论文的标题是**《通信的数学理论》（A Mathematical Theory of Communication）**。这项发明引入了一个新词：比特（bit），测量信息的单位。如今，它成为量纲一员，也就是测量的基本单位。

通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。这些讯息往往都带有意义。

——克劳德·香农，《通信的数学理论》（1948）

以前，人们将铁器时代和蒸汽时代之后的时代称为电气时代，信息论出现之后，称之为信息时代更为准确。信息论诞生后，便快速渗透到各个科学领域，改变着每个学科的面貌。

信息论先是把数学与电气工程学联系到了一起，然后又延伸到计算机科学。

后来生物学也变成了一门信息科学，DNA 用60亿比特的信息定义了一个人，而人体本身也是一台信息处理器，人体与环境之间一直在进行持续不断的信息交换。

现如今，经济学实际上也是信息科学，货币看上去是一种物质财富，无论金币、纸币、硬币，它们不过是阶段性的技术，用以表明谁拥有多少财富的信息。它们终究会被淘汰。

还有我们的硬科学物理学，信息论之前，物理学家们都在研究基本粒子、质能转换。最开始，即便是香农，都没有考虑过物理学。后来，物理学家发现，信息才是最基本的东西，基本粒子发生相互作用时，它们实际上是在处理信息，转换量子形态。物理学家惠勒说：“万物源自比特（It from Bit）”。他的研究跨越20世纪和21世纪，是与爱因斯坦合作过的最后一位健在者（2008年去世）。

信息论出现之前，信息技术是什么样的呢？

下面，我们先来了解一种一直被误解的技术：非洲会说话的鼓。

会说话的鼓

长久以来，到过撒哈拉以南非洲的欧洲人都没有想到过，非洲的鼓在传递信息，在说话。他们会认为，只有在特殊场合，鼓会传递一些简单的信息，比如军队进攻、撤退，教堂礼拜等。

直到19世纪，威廉·艾伦海军上校在一次尼日尔河探险中，才真正相信的非洲的鼓在说话。非洲的鼓声，可以沿着河流，传出近十公里之遥。一个村庄接一个村庄的传下去，只需一个钟头，消息就可以传到一两百公里之外。

刚果波棱吉村，一个女婴降生通知的鼓语可能是这样：

接生的衬垫已经卷起

我们感到浑身充满力量

一个女人从森林里来

来到这个开放的村庄

这次就说到这里吧

而召集村民参加一位渔夫的葬礼时，鼓声会是这样：

在黎明时分

我们不要集结去劳作

我们要在河边举行聚会

波棱吉村的男人们

不要去狩猎，也不要去打渔

我们要在河边举行聚会，在黎明时分

当非洲的村民早已用高效的鼓语相互交流、传递信息时，欧洲、亚洲的权利机构，还在依靠信使、骏马和驿站层层接力传递信息，或者是用烽火传递简单的信息。直到19世纪莫尔斯电报的发明，欧洲人的信息传递才真正提速。到20世纪早期，研究非洲的欧洲人才发现了击鼓传信与电报之间的相似之处。但是仍然无法破解鼓声的编码。

破解的重任落到了一名英国传教士约翰·卡林顿身上，他大概在1938年去了非洲，并且在那里生活了40多年，成为了一位杰出的植物学家、人类学家、语言学家。

卡林顿逐渐了解到，鼓声不仅可以用来传达通知和警报，还可以用来祈祷、呤诗，甚至讲笑话。卡林顿发现，非洲的语言是声调语言，声调语言最著名的是汉语，声调的升降有不同的意义，而英语没有这个特征（所以欧洲人花了一个世纪才搞明白）。非洲的鼓语则更进一步，鼓语是基于口语，但仅使用声调，也就是完全通过高低音的变化来表达。将口语映射到鼓语的过程，不可避免的会有大量信息丢失，所以需要冗余的鼓声来克服歧义。

实际上，每一种自然语言都内在的包含冗余，这也是为什么人们可以读懂错别字连篇的文章，可以在嘈杂的房间听懂交谈的内容。比如20世纪70年代著名的纽约地铁海报：

if u cn rd ths

u cn gt a gd jb w hi pa!

然而，到了20世纪中后期，非洲的年轻人开始文明文字的学习，练习鼓语的越来越少，要不了多久，他们的通信技术从会说话的鼓直接跨越到电话。非洲鼓语的没落有其根本原因：它没有文字！

持久的文字

人类心智中最根深蒂固难以去除的，也是位于一切技术之先的，就是文字。文字在人类历史初现之时就出现了，因为正是有了文字，才能记录过去，才有了历史。语言是心智本身，文字则是人类的第二天性。

柏拉图曾警告说，文字带来的将是思想的贫瘠：

你这个发明结果会使学会文字的人们善忘，因为他们将不再努力记忆。他们就信任文字，只凭外在的符号再认，并非凭内在的脑力回忆。所以你发明的这剂药，只能医再认，不能医记忆。至于教育，你所拿给你的学生们的东西只是真实界的形似，而不是真实界本身。

显然，柏拉图远远低估了文字的影响。实际上，文字重构了人类思维，人类历史由此发端。一项统计数据：任何一种口语的词汇仅包含数千个单词，而被广泛使用的书面语言——英语，有记录的词汇就超过百万之众，而且其数量还在以每年数千个的速度持续增长。更重要的是，这些字词并不是只存在于当下，每个字词都有其渊源和演变至今的历史。

文字来到世间，为的就是将信息保存下来，让其能跨越时空。并且，文字使得复用和**“回忆”**成为可能，它允许信息以全新的构架加以组织，分成诸如历史、法律、商业、数学、逻辑等。抛开具体内容不谈，这些范畴本身就是新技术的体现。

文字的力量不仅体现在知识的保存和传承上，也体现在所用的方法论上，对事物加以编码、转换，用符号代替实物，进而用符号代替符号。

汉字在4500~8000年前就开始演化，它起源于图案的符号逐渐变成表示具有意义的声音单元。由于汉字的基本单元是字，因此所需的符号数量成千上万。汉字含有至少五万个符号，其中有六千个左右为大多数识字者常用和掌握。汉字构成了人类历史上演化出来的最丰富，最复杂的文字系统。它的符号集最庞大，单个符号的含义也最丰富。

文字系统也可以采取不同的途径：符号数量较少，单个符号的含义也少，这是一种基于音素的文字系统。相对与汉字，它位于另一个极端，它出现得最晚，这就是字母文字。然而，字母文字是所有文字系统中最简化的、最具颠覆性的东西。

地球上所有已知的字母表，无论是今天在使用的，还是存在于考古遗迹上的，都只有一个共同的祖先。它起源于靠近地中海东岸的地区的闪米特族，时间略早于公元前1500年。字母表出现之后，就像病毒一样传播开来。因为它容易记忆，不带语意，它无法被垄断，也无法被抑制。它经过各种不同的路径进入了各地文明，并被各自完善。最终，拉丁字母在希腊文化的孕育中脱颖而出。

希腊文学兴起之初并不需要文字。学者们直到20世纪30年代才不得不承认这一点。西方文学最伟大的作品——荷马史诗，就是在没有文字的情况下传作和传颂的。其格律、程式化的形式、朗朗上口的特征无非是为了帮助记忆，便于口口相传。研究表明，荷马史诗大约是在公元前7或6世纪的时候被写下来的。将荷马史诗写下来这件事的意义非常重大。它象征着书面文化侵入了口语文化，形成了全新的思维方式，造成了不可逆转的后果。

当祭祀祷辞、法律条文、商业文书、医学、伦理学、心理学、经济学、神学、政治学、自然科学等知识变成了持久的文字，人们开始有机会对这些知识进行系统化的研究、思考、提炼。柏拉图的学生——亚里士多德，就是希腊哲学的集大成者。亚里士多德沿着抽象之路更进一步，通过严格组织范畴和关系，发展出一套推理用的符号系统——逻辑学。逻辑是想象推理，它能独立于文字而存在，但它也是从文字中萌发的全新思考方式。

伴随逻辑出现的就是悖论。中国古代哲学家公孙龙的“白马非马”论，就是这样一个典型：

白马非马，可乎

曰：可

曰：何哉

曰：马者，所以命形也。白者，所以命色也。命形色者非命形也

故曰：白马非马

基于音素的字母文字——单词，它具有不确定性和拼写的随意性。越来越多的知识的涌现，催生了越来越多的字词。人们从哪里找到这些字词呢？当然是字典。然而，字典确实语言发展到后期才出现的添加物。

英文中第一本真正意义的字典《字母排表》是在1604年写成，约两千五百多个词汇。它的作者，罗伯特·考德里是一位乡村教师兼牧师。那个时候，世界上约有500万人说英语，但其中只有一百万人会读写。英文单词也还没有一个标准的拼写，甚至连他的姓，都没有一个确定的拼法（Cawdrey, Cowdrey, Cawdry）。

英文中最伟大的字典《牛津英语字典》第一版于1933年出版。第一版收录了414825个词条，共10大卷。第二版于1989年出版，二十卷，两万两千页，125斤。而从2000年开始的第三版则完全不同，它毫无重量，仅存在于数字空间。它的全部内容以在线形式呈现，按季度更新。每次更新包含数千个修订的词条和数百个新词。

数学，同样是伴随文字的发明而产生。古希腊常常被认为是现代数学的发源地。然而，古希腊人的数学却是源自另一个更古老的传统——迦勒底，也就是我们熟知的巴比伦。巴比伦使用的是锲形文字，它不是象形文字，也不是字母文字，它的符号简约抽象，数量较多。巴比伦数学，就在锲形文字中诞生。大约在公元前1750年，巴比伦的数学系统已经相当先进。他们使用60进制，会求平方根和立方根，会解二次方程，甚至还有天文学的原始计算方法。

将思想的力量注入齿轮机械

随着社会的发展，人们对算术的需求越来越大，比如商人要计算价格、利润，测量师要计算土地面积、酒桶容积，银行家要计算利息，航海家要计算星历位置等，当然最需要计算的还是科学家。然而，会算术计算的人并不多，数表就成为了社会的必需品，需要计算但又不会算术的人们通过查询数表获取计算结果。数表包括乘法表、平方表、立方表、平方根表、三角函数表、星历表、利息表等。

数表事业中最重要的一项发明就是17世纪初的对数表。对数可以用加法代替乘法元算，减法代替除法运算，大大节省了时间，减少了错误。

1627年，开普勒利用对数表重新整理了第谷·布拉赫辛苦积累的天文数据，完善了他的天体表。他的天体表比以前的精确了近30倍，后来，他提出了全新的日心说理论。

直到电子计算机出现以前，人类大部分的计算都是借助对数进行的。

然而，即便有了对数，计算的成本仍然昂贵。举一个例子，从1767年开始，英国政府就要求每年出版一本《航海天文历》，提供太阳、月亮及其他行星、恒星的位置表。在之后的半个世纪里，这项工作由三十多位计算员共同完成。

并且，就《对数表》本身来说，也总是存在错误。1769年伦敦出版的对数表就出现了19个错误。这些错误在《航海天文历》中被更正，不幸的是，更正时又引入了新的错误。

1824年，爱尔兰成立了自己的地形测量局，准备以史无前例的精度对国土进行测绘。首要准备的就是250份对数表供测量员使用。测量局比照了十几份对数表，包括英国、德国、意大利、中国的对数表。他们发现，每份表都存在错误，有些错误甚至一模一样。一些是计算员写错，一些是印刷工排错。

对数这种东西，即使以前计算过了，但总会被重复的计算、验算、对比。英国的巴贝奇在做这项枯燥乏味的工作的时候，有了一个想法：用蒸汽机械来自动计算数表。

巴贝奇出生于1791年，他是一个天才，研究各种各样的东西，如破解密码、设计灯塔信号系统，研究邮政流程，改善其效率，研究蕾丝花边的制造原理，研究大头针的制造流程。他把当时大头针每一个工序的成本精确到百万分之一便士。

1820年，巴贝奇把有限差分方法和他所熟悉的机械原理相结合，设计出第一台自动化计算的机器——差分机。1823年获得英国政府的财政拨款后，开始动工制造差分机。随着工程的实施，用机械实现自动化计算的难度远远超出了巴贝奇的设想，动工十年后，差分机只有0.61米高，能进行6位数的运算。巴贝奇不断的完善设计，再过了十年，差分机的规模达到4.53立方米，重15吨，有25000个零件，设计图纸平铺开来超过了37平方米。其复杂程度已经无法用语言描述清楚。受限于当时的技术，理想的差分机最终未能完成。1842年英国政府终止了这个项目。

巴贝奇的梦想并未中止，而且早已转变方向，上升到一个全新的高度。另外，他结识了爱达·拜伦。

爱达出生于1815年，著名英国诗人拜伦之女，是个数学天才。1832年，她第一次见到巴贝奇的差分机实验品，就被它深深的吸引。仿佛差分机已在她脑海中运行。此时，差分机制造困难重重，巴贝奇已在着手设计一台全新的机器——分析机。他已经清晰的认识到了差分机的局限性：仅仅通过差分相加，只能实现算术运算，无法解决真正的数学问题。

启发他灵感的是雅卡尔提花机，工匠把图案转换成打孔卡片，提花机通过打孔卡片的指令在布匹上精确的纺织图案。巴贝奇认为，应该把信息从物理载体中抽象出来，用到分析机上，就是这些机械设备不仅可以处理数，还应该能处理代表数的变量。

1840年，巴贝奇到撒丁王国参加一个数学和工程师的会议，第一次展示了他的分析机设计图。他说：“分析机，对于我的国家来说实在太超前了，恐怕对于这个时代来说都是如此。”他遇见了以为年轻的数学家梅纳布雷亚，后者为他的分析机撰写了一份科学报告《分析机概论》。试图将巴贝奇的分析机介绍给欧洲更多的人。

这份报告流传到爱达手中，爱达将其翻译成英语，并根据自己的知识修正了报告中的一些错误。1843年，爱达将译稿交给巴贝奇看时，巴贝奇给与了热情的回应，从此，他们通过信件开始了非同寻常的合作。

爱达对分析机原理给出了更先进的设想：分析机不仅能执行计算，还能执行运算。按照爱达的说法，运算指“任何改变了两种或多种事物之间相互关系的过程”......之所以运算科学的独立性很少有人感受到，一个主要原因是，数学记法中的许多符号有着不断变换的意义。

她强调，符号和意义，并不仅限于数学。分析机除了操作数，还可能操作其它东西。理论上，它能处理任何有意义的关系：它能操纵语言，也能谱写音乐。举例来说，假设在音乐作曲中，各种音调声音的基本关系可以以一种方式表达和修改，那么分析机就能够谱写任意复杂度、精致且科学的乐曲。

自此，分析机从一台处理数的机器，变成了一台处理信息的机器。

爱达开始为它设计一种实际应用：借这台假象的机器计算一个高难度的无穷数列——伯努利数。为此她设计了一个过程、一组规则及一系列运算。其中最不容易理解的一点是，这是一个递归的过程：它循环运行，一次迭代计算的结果将成为下一次计算的输入。

实际上，爱达是在为分析机编程，并且是在头脑中编程，因为机器还不存在。我想大家应该猜到了，爱达就是世界上公认的第一个程序员。

蒸汽时代，巴贝奇的自动计算机器最终未能实现。

地球的神经系统

巴贝奇的蒸汽时代，电气学已经登场。1831年，英国的法拉第发现了电磁感应。这之前，人们早已发现电可以沿着电线被传播到很远，这样的电线可以很长。电磁感应使人们马上想到，远距离通信成为可能。用电流通信，除了工程学方面的问题，最关键的是如何处理信息——即如何将电流和字词进行相互转换。

在电报发明之前，欧洲使用的远距离通信系统叫做沙普信号塔。它由法国的克洛德·沙普发明。信号塔通过调整悬臂的不同造型，向视线范围内的其它信号塔发送信号。

沙普信号塔可以组成98中造型，也就是98中符号，但是沙普并没有将这些符号与字母、数字对应，他设计了一套复杂的编码。98个符号除了对应编码，还有一些用来做误差校正和控制。沙普的编码对应了八千多个条目，这些条目则包括了字词、音节、人名、地名等。而这个编码本则是严格保密的。毕竟沙普塔的信息是在空中传递，任何人都看得见。

按照克洛德的设想，远距离通信网络将会成为一个国家的部门，由政府所有和运行，它是一种权利的工具。

沙普塔大概于1793年被政府接受，随后被大量建造，直到电报发明之后，沙普塔仍然是政府通信的主要方式。克洛德后来也提议利用沙普塔发送其他信息，如航运新闻、本国或他国的证券交易行情等，单被政府拒绝。1837年，法国政府甚至下了一纸禁令：“任何未经批准，擅自利用远距离通讯设备或任何其它方式将信号从一处发送到另一处者，可处以罚金或徒刑”。

但是，日益崛起的金融和商业资本家也试图从远距离通信中获益。伦敦证券交易所与巴黎证券交易所相聚三百多里，三百多里意味着数天的旅程。当时，罗斯柴尔德金融家族还在使用信鸽传递邮件，更重要的邮件则由船队横跨英吉利海峡传送。对于商人来说，获取情报越早，商业优势就越大，因此，商业利益成为电报发明的主要驱动力。

当时，有很多人在尝试发明电报，他们的工具都包括电线、磁针和电池，目的则只有一个，利用电磁效应来传递字母表的字母。显然，电磁活动的传递难度不大，难的是如何利用电磁活动对字母编码。

在英国，一名叫库克的企业家和伦敦国王学院的物理学家惠斯特合作发明的电报是这样：由六根电线组成三个回路，每个回路驱动一根指针。三根指针的信号排列足以对应26个字母，这样看起来很美好，但对于电报操作员来说，显然太复杂，且效率低下。

最终，真正发明电报的是美国人摩尔斯。1837年，他抛弃了指针，用最简单的电路通和断，构建了摩尔斯电报系统。摩尔斯码由点、划、短间隔和长间隔组成。

1844年，莫尔斯架设起第一条电报线路，而到了1858年，欧洲和美洲的电报通过跨大西洋的线路连通了起来。各行各业的人都尝试用电报传递消息，而有些商店老板甚至自豪的宣传自己接受电报订购。（最早的电商～）

电报还催生了天气预报，1854年，英国政府设立了第一个气象办公室，各地派驻的气象员通过电报发回当地的气象信息。随后报纸开始登载天气预报。

电报还向人们普及的编码的概念。因为电报按字数收费，人们就想到将一些常用句子所缩减成几个字母。比如：

mhii: My health is improving

shf: Stock have fallen

ymir: Your message is received

发送保密信息也许是最重要的需求，这正是电报的天生优势。通信双方只需约定好加解密规则，那么电报操作员看到的就是一组无意义的字符串了。实际上，电报催生很多密码学业余爱好者，解密甚至成为了一种公众游戏。科幻作家凡尔纳、文学巨匠巴尔扎克也在自己的作品中加入了密码元素。

不过，在那个年代，最杰出的密码分析者还是巴贝奇，他说：“解密艺术最奇特的一个特性就是，每个人都坚信自己能构造出一种无人能破解的密码”，巴贝奇自己一开始也这么认为，不过后来他将兴趣转向了解密。

无论是电报还是密码学，都是将一种抽象符号编码成另一种抽象符号，很多人都会尝试这类编码，但很少有人会想到将这类编码提升到一个理论层次。当时有两个英国人在思考这个问题，他们是德摩根和布尔。德摩根是巴贝奇的朋友，也是爱达的数学老师。他们在1847年的同一天，出版了堪称自亚里士多德以来逻辑学领域最伟大的里程碑式著作：布尔的《逻辑的数学分析》和德摩根的《形式逻辑》。

德摩根是将逻辑思维应用到传统的学术领域，简单的说，就是用符号代替事物，然后从符号的角度分析他们的逻辑关系。

布尔则是具有创造性的数学家，他创造的逻辑学是不包含数字的数学。他说：

逻辑学的公理，仅依靠他们就可以构建出逻辑学的定律，并且他们的形式和表达都是数学的。

布尔在当时的影响不大，在人们看来，逻辑学里存在的只是悖论、幽默和思维游戏：

婴儿是不讲逻辑的；

没有一个会调教鳄鱼的人被鄙视；

不讲逻辑的人被鄙视；

因此，婴儿不会调教鳄鱼。

文字的发明才催生了逻辑学的发展，因为文字使得对于逻辑推理的分析成为可能：借助文字，成串的思维过程呈现在人们眼前，供人审视，到了20世纪，随着人类发明了能够操作符号的机器，逻辑学再度被赋予了新活力。

1913年，英国的罗素和怀海特出版了三卷巨著《数学原理》，其书名与牛顿的《自然哲学的数学原理》遥相呼应。这本巨著的目标，就是希望通过融合逻辑学和数学，创建出一个由公理、符号、公式和证明构成的体系，一种严格的、形式上确定的、完美的体系。

在此之前，莱布尼茨（微积分）、巴贝奇、布尔都在追逐这个目标，他们相信：完美的推理可以通过对思维的完美编码来实现。

通向这个目标的最大障碍就是——一些不应该存在的荒谬结论。然而，这些悖论却古已有之，比如，著名的说谎者悖论：

这句话是假话。

这个命题不可能是真话，因为这样以来它就成了假话；当然也不可能是假话，否则它有变成了真话。

上面的悖论你也学会认为只是文字游戏而已，但罗素也提出了一个悖论——罗素悖论：

S是所有自身不是自身的元素的集合的集合。

这不再是文字游戏，而是一个数学命题，要不证明它是真，要不证明它是假。悖论的出现，在于那个奇怪的递归：关于语言的语言、关于命题的命题，关于集合的集合，悖论之所以出现，是因为它跨越了不同的层次，用罗素的话说，就是混淆了不同的类型。因此《数学原理》的解决方案是：不允许这种原地兜圈，狗咬尾巴的反馈循环，因为这会导致自相矛盾。

然而，十多年后，一位年轻的数学家——哥德尔，就证明了罗素的数学体系并不完美，悖论并不是逻辑体系的多余之物，而是存在于逻辑的根本之中。

哥德尔出生于1906年。开始，他对《数学原理》也赞赏有加，他说，数理逻辑学是一门优先于所有其它科学的科学，他包含了所有其他科学基础的思想和原理，他用 PM 代替罗素的《数学原理》这个体系。他相信 PM 是完美的，他说，在 PM 体系中，人们只需要一些机械的规则就能证明任何定理。

到1930年，哥德尔开始怀疑 PM，随后就发现了：在 PM 及任何自洽的逻辑体系中，必定潜伏某些怪物：一些既不能被证明为真，也不能被证明为假的命题，也就是无法被证明的真理。1931年，哥德尔用 PM 体系内的规则证明了这一点。

1933年，哥德尔受邀请加入了普林斯顿高等研究院，当时，爱因斯坦、冯·诺伊曼就是该研究院的成员。1940年，香农也进入了该学院。

再回到19世纪70年代，电话在美国问世，到了90年代，电话业务全面超越电报。因为电话不涉及到文字、编码，只要能听会说就会用，并且，电话传递的不仅仅是文字信息，还有人的情感。

最开始，电话之间的连通是人工完成的，最早一批的接线员是十几岁的男孩子，他们要求的工资低，但是男孩子不安分、开玩笑甚至恶作剧。无法胜任这种精确、重复、枯燥的接线工作。到1881年，接线员几乎全换成了年轻的女性。但是，人工接线员显然无法维持高速扩展的电话网络，必须有一种自动机制来完成这项工作。

那个时候的自动机制大概是这样：每个电话都有了一个独立的号码，人们根据号码拨动转盘，号码变成脉冲传到中央交换机，中央交换机有一套复杂的继电器电路控制机制，它可以根据电脉冲找到目标电话线路，然后将它们连通。

不过，这还只是一种地方区域的自动接线机制，当打跨区域的长途电话时，还是需要人工接线，因为跨区域自动拨号的复杂性成倍增加，贝尔实验室不得不寻求更多数学家的帮助。为此，数学家提出了有关网络的各种定理，以数学的方式加以处理。比如用排队论处理通话拥挤的问题，用树型拓扑结构来管理城市之间的干线和支线，用组合分析来化解电话中复杂的概率论问题。

然而，有一种问题数学家和工程师都还无法解决，这就是噪声问题。当线路变得复杂时，噪声开始充斥在线路当中，有爆裂声、噼啪声、口哨声、尖叫声等。不过，早在1905年，爱因斯坦就预见了这个问题：在任何电导体中，随机热骚动也会影响自由电子，从而导致噪声。

香农出生于1916年，小时候他就酷爱密码学，喜欢破解文学作品中的密码。1936年大学毕业时，他进入了麻省理工读研，成为了工程学院院长布什的研究助理，他的工作就是操作布什的微分分析机。

布什的微分分析机不同于巴贝奇的分析机，他不操作数，而是操作量，输出的则是一簇曲线，这些曲线表示了一个动力系统未来的状态。实际上，它是在解微分方程，用于如弹道轨迹、振荡电路的分析。

这台机器在本质上是机械的，尽管它用电动马达来驱动机器，后来也加入越来越多的机电开关用于控制。香农则沉迷于这台机器的控制电路中了。控制电路中有两种控制器：普通开关和特殊的开关——继电器。继电器最开始是在电报中使用，用于逐步传递电报信号，实现远距离传输；而后在电话系统中发扬光大，电话系统的中央交换机就是利用继电器实现自动接线。

香农在继电器线路中找到了一种似曾相识的感觉：在高层次的抽象上，继电器与布尔逻辑数学是相通的。布尔逻辑数学可以用来描述电路！

这是一种奇异的结合，毕竟电和逻辑看上去风马牛不相及，然而，正如香农所认识到的，继电器从一个电路向下一个电路传递的，并不是真正的电，而是一个事实，电路是闭合还是断开的事实。如果用符号描述这些继电器的状态，那么就可以用逻辑数学对这些符号进行操作。

1937年，香农在他的硕士论文中写到：任何电路都可以由一套表达式表示，然后在其中运用数学运算。香农用0表示闭合电路，1表示断开电路，然后串联电路对应逻辑与，并联电路对应逻辑或，而逻辑否也可以用电路来实现。他设计了一个电路，只用继电器和开关，就能实现两个数的自动求和。他写到：

使用继电电路进行复杂的数学运算是可能的。事实上，任何可以用如何、或、与等字词在有限步骤内加以完整描述的操作，都可以用继电器自动完成。

这片硕士论文，蕴涵着即将到来的计算机革命的核心。

信息论

1943年，香农和图灵都在贝尔实验室从事秘密工作，他俩兴趣相投，经常在一起畅谈工作之外的话题，例如：机器是否能思考？图灵将他1936年的论文《论可计算数及其在判定性问题上的应用》介绍给图灵看。这篇轮论文描述的就是“通用图灵机”。

判定性问题问的是：

能否找到一个严格的、分步的算法，通过它，给定一种演绎推理的形式语言，人们就可以自动化的进行证明。

图灵将可计算数定义为，其小数表达式可在有限步骤内计算出来，他同时把计算定义为一个机械过程，一种算法。也就是说，如果一个数的小数表达式可以被机器写出来，那么它就是可计算的。

图灵机只需要三个组件：纸带、符号和状态。

图灵机的纸带是无限长的，但在任意给定时刻，图灵机只对应纸带的一个方格，纸带可以被图灵机左右移动。 图灵机的符号只有两个： 0 和 1。图灵机每次只能读取或写入一个符号。也就是纸带上对应的方格上的那个符号。

图灵机的状态就是图灵机的指令，图灵机具有有限多个状态，一个状态会让图灵机的控制器执行一个操作，比如读符号、写符号、移动纸带n格，当这个状态执行完毕后，图灵机会有一个新状态，对应下一次操作。

图灵证明：如果一个问题能能被编码成一组符号并通过一个算法来解决，那么这个问题就可以使用通用图灵机解决。图灵发现，使用通用图灵机来检验每一个数的话，可以证明，有一些数被证明是可计算的，有一些数则被证明是不可计算的，但是还有第三种可能：有一些算法会抗拒检查，自行其是，让机器一直计算下去，永不停机，也不会明显的重复，让一旁的观察者始终纳闷它是否会停机。

现如今，1936年图灵给出的这个证明已经成为一个艰深难懂的杰作，其中充斥着递归定义、用以表示其它符号的符号、用以表示数的数。就这样，借助于一台完全想象的机器，图灵得出了与哥德尔相似的证明和结论。

图灵还更进一步，给出了形式体系的一般定义：任何用于生成公式的机械流程，本质上都是一台图灵机。因此，任何形式体系中必然存在不可判定的命题。

当数被拿来编码成机器的行为时，悖论就会出现，这涉及到不可避免的递归纠缠：被计算的实体与进行计算的实体纠缠到了一起。

物理学也遇到了类似的难题：海森堡不确定性原理。因为我们面对原子和电子时，我们无法知道它们的全部确切状态，因为我们使用的观察仪器本身就是由原子和电子构成的。

图灵和香农都在使用编码，他们能将一类事物映射到另一类事物，也就是找到两类事物之间严格的对应关系。

图灵的机器并不仅仅是一种理论，图灵把它变成了现实——绰号“炸弹”的金属机器，专门用于破解敌方情报。这台机器在战争期间及之后的30年都一直是机密，但它对战争结局的影响甚至要超过曼哈顿计划制造的真正炸弹。如果不是军方保密，那么历史就要改写，图灵的“炸弹”才是世界上第一台真正意义的计算机。

这就是图灵在贝尔实验室从事的机密工作，香农完全不知情。香农的机密工作则是在纯数学领域对密码进行分析，评估密码系统的安全性有多高。香农正在试图找出涉及“离散信息”的密码系统的一般数据结构和属性。

在我们的日常语言中，信息是冗余的，比如英语，紧跟在字母 q 后面的字母 u 就是冗余，去掉它也不会影响理解意义。香农认为，每一种语言都有一定的统计结构，以及相应的冗余度，冗余度度量了某种语言的文本在不损失任何信息的前提下能够缩减多少篇幅。香农估算，英语的冗余度大约是50%。

香农从最宏观、最一般、最理论的视角审视密码系统，发现密码系统可以由这几个部分组成：

有限数量（虽然数目可能很大）的可能讯息、有限数量的可能密文，以及用于两者相互转换的有限数量的密钥。

敌方密码分析师和解密者都试图得到同一个目标物：讯息。而香农借助数学和概率的语言，把讯息的概念彻底从它的物理细节中抽象了出来。香农构建出一整套代数方法、定理和证明，使得密码科学家首次拥有了一种严谨的手段来评估任意一套密码系统的安全性。

在这篇机密报告中，香农首次提出的“信息论”这个词。

一般人可能会认为，通信的基本问题是使自己的意图被人理解，是传递意义。香农描绘的通信却完全不同：

通信的基本问题是，在一点精确的或近似的复现在另一点所选取的讯息。

“点”是精心选择的措辞，它意味着，讯息的信源和信宿可以在时间或空间上分离。比如说唱片发行，也可算是一种通信。同时，讯息并不是创造出来的，而是选取出来的。一条讯息就是一个选择。如从一副牌中选出一张牌，从一千个数中选出一个数，从一个编码本中选出一组编码。

那么，信息是什么呢？信息是讯息传送的不确定性、困难程度，是熵，称之信息熵。

信息熵度量的正是一条讯息的不确定程度，不确定程度越高，信息熵就越大，一旦信息中的讯息确定下来，信息熵就变的最小。让信息熵变小，也就是让讯息确定下来，是需要消耗能量的。信息熵的度量有一个单位，叫做 bit

熵及其妖

“熵”这个词是热力学奠基人克劳修斯在1865年提出来的，用以度量能量不可用的程度。

根据能量守恒定律，能量不会损失，但能量会耗散，耗散的能量任然存在，但不能被人们利用。宇宙的能量就在不停的耗散。按照奇点宇宙理论，当宇宙处于奇点时，宇宙熵最小，随后宇宙大爆炸，宇宙开始扩张，能量开始耗散，宇宙熵不断增加，最终，宇宙熵达到最大化，宇宙处于静止、死寂的状态。

另外，麦克斯韦指出，能量耗散的概念取决于我们的知识水平，耗散的能量是那些我们无法掌控或按意志加以利用的能量。比如，分子混乱扰动的能量，就是我们所谓的热。

假如有一个密闭容器充满气体，被隔板分成A、B两半，其中A的气体热，抽离隔板后，AB的气体进行能量交换，熵不断增加，最终温度一致，该容器的熵达到最大值。一个令人费解的问题是，该过程是不可逆的，也就是说，均匀的气体不会自动分成冷热两半。

麦克斯韦提出了一个思想实验：假设隔板上有一个微孔，有一个存在物控制这个孔，它能判断飞来的气体分子的快慢，只允许快的分子进入A，只允许慢的分子进入B，如此以来，A会变热、B会变冷。这个存在物被成为麦克斯韦妖。麦克斯韦妖只需判断分子运动的快慢，从而选择是否让其通过微孔，这个过程不需要做工。后来，人们才知道，麦克斯韦妖虽然不需要做功，但他需要筛选分子，需要消耗信息。

20世纪初，科学家们考察细胞膜的主动筛选过程，发现，活细胞透过细胞膜吸收、过滤外界物质，并在内部进行加工，像麦克斯韦妖一样，这个“麦克斯韦妖”是什么呢？它就是生命本身。

麦克斯韦妖也困扰着一位物理学家：齐拉特，他是个想象力极其丰富的天才，后来提出了电子显微镜、核连锁反应、直线加速器，回旋加速器等设想。他的老师——爱因斯坦，曾经好意劝他到专利局谋职，所幸他未听从。齐拉特证明了，信息不是免费的。麦克斯韦等人默认知识是现成的，分子运动的速度和轨迹直接摆在妖面前，他们没考虑到，妖获取这些信息是需要成本的。麦克斯韦妖在能量和信息之间架起了桥梁，它每处理一个粒子，就是做了一次信息与能量的转换。

我们人类都像麦克斯韦妖一样活动。我们吃饭、学习、上班、写程序、或生产商品等。我们繁衍生息，扰乱了熵增加的趋势。实际上，不仅仅是人类，包括所有生物的生命过程，都是在一点一滴的、一bit一bit地减少熵。生命的诞生似乎就是为了一个不可为的目的——控制熵增加。那么生命又是什么呢？

生命的编码

理查德·道金斯说：

处于所有生物核心的不是火，不是热气，也不是所谓的“生命火花”，而是信息、字词和指令。

1910年，丹麦植物学家提出的“基因”一词。基因是生物遗传给后代的某种更抽、更本质的东西。

随着生物学的发展，一系列的遗传实验让包括沃森和克里克在内的研究人员相信，基因可能存在于一种物质当中。这种物质广泛的存在于所有细胞的细胞核内，无论是植物、动物还是细菌，都是存在这种物质，这种物质就是脱氧核糖核酸（DNA）。

DNA则是由更小的单位——核苷酸构成。沃森和克里克意识到，生命的秘密也许就藏在这里。他们随后发现，每个核苷酸含有一个碱基，碱基只有四种，分别标记为A、C、G、T。1953年， 他们提出：DNA就是由两条长长的碱基序列构成的双螺旋结构。

DNA分子唯一的功能就是携带信息，碱基的精确序列就是承载遗传信息的编码。剩下的工作，就是从信息论的角度破解这些碱基编码。但是在信息论提出之前，大多数生物学家都不相信基因编码的思想，他们认为，理解蛋白质的关键在于研究蛋白酶系统的肽合成，他们考虑的是物质流和能量流。

基因的问题不仅包括信息存储，还包括信息转移。

DNA要实现两种不同的功能，首先是保存信息，然后是通过自我复制，实现时代相传，延绵不绝。虽然 DNA 有着漂亮的双螺旋结构，但它存储的信息本质上是一维的。人类DNA中碱基数量超过10亿，如此庞大的信息要保存的近乎完美。另一方面，DNA 要把所保存的信息复制并发送出去，用以构成生物体。这种转移机制是通过 RNA来实现的，DNA 将信息转录到RNA，RNA再将信息翻译成蛋白质。因此DNA中的信息不仅包含自我复制指令，还要控制着另一种完全不同的物质的制造，而且这些物质是各不相同，极其复杂的。

到了20世纪80年代，侯世达明确的指出：活细胞里得以让DNA复制自己的复杂机制，与数学系统里得以让一个公式描述自己的机制是相似的。这正与我们前面提到的“悖论”相似：图灵证明的第三种可能，在生命体系中完美复现。

1976年，道金斯在他的著作《自私的基因》中提出了一个观点：我们不过是生存机器，是基因用来保全自己制造出来的载体。生命终有寿命，唯有基因，通过控制生命的繁殖，来使得自己在宇宙中续存。

他还提出了另一个名词模因（meme）。在他看来，自然选择的规律是，所有生命通过可自我复制的实体的生存差别实现进化。这个生命是复制子，复制子不仅仅只是我们认识到的DNA，他甚至可能与化学物质完全无关。比如人类的知识文化，蕴含了无数复制子，他称这种复制子为模因。

比如信仰上帝，这个古老的思想，不仅通过文字，还通过音乐、艺术等实现自我复制。又比如贝多芬的音乐，通过各种各样的渠道流传下来。各种各样的模因在人类大脑中中生成，然后外出闯荡，有的闯荡一段时间后消失，有的则通过各种各样的渠道得以留存、复制、再传播。模因也能对世界产生影响，比如牛顿力学、爱因斯坦相对论、图灵机等。

基因和模因本质都是一种信息，这种信息借助物质和能量得以复制，传播。可悲的是我们自已为是的人类，以为自己才是这个宇宙的高级智慧存在，然而，我们不过是基因和模因的载体而已。