小珠珠123999
香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。 香农在进行信息的定量计算的时候，明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不定性的东西。或香农逆定义：信息是确定性的增加 。 虽然仙农的信息概念比以往的认识有了巨大的进步，但仍存在局限性，这一概念同样没有包含信息的内容和价值，只考虑了随机型的不定性，没有从根本上回答"信息是什么"的问题。事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。 这个实在是太多了，你直接看链接吧（怕怕啊，链接会被审核好久啊）
尛尛尛舒
熵的含义你先去看看 （不高兴看就略过吧）在这里熵是表示信息量(information content)。在这里是越小越好.越小表示能用最短的代码（比如0/1代码吧，中文/俄文/英文/西班牙/法文 存成电脑都还原成0和1）传递最多的信息。形象点说就是同样一件事情，或者联合国开个破会，做个会议记录文件。用5种文字写，然后把他们存在电脑里（都成0和1 了），然后看那5个文件哪个文件最小。然后就是现在说法文最小，中文最大。话说这个联合国也真无聊的...
小年糕lc
熵的理解有很多种,以信息熵为例,就是指可以表达一个信息所需要的用的“符号”数量.比如,表达一只狗,用中文为1个字,用应为为dog,三个字符,而一个汉字如果转化为计算机的二进制语言则需要两个字符16位,英文为24位.这就是不同表示方式导致不同的信息熵.根据熵值的不同,可以确定一种比较优等的压缩或者编码方式.但是小范围的熵减有可能伴随大范围的熵增.比如用来编码汉字的16位可以表示狗,但是要编码汉字库所需要的信息熵就远大于用于编码英文的信息熵.另外,熵值作为无序度理解时还可以表征物体的相态,比如完全有序,不均匀就是熵值为0的情况.此时热力学温度为0,是理想不可到达的.我们可以想象为有一块磁铁,所有的磁畴都沿同一方向排列,这时在磁场的角度上来说为熵值最小,当对它去磁化（比如加热）,磁畴杂乱排列,整体显示为无磁性.此时熵值最大. 在利用熵值进行这种物理相态表征时,会有一些延伸.比如,天体物理学中以宇宙大爆炸理论为代表的学派认为宇宙的初态是熵值最小的有序状态,伴随着宇宙的发展熵值增加. 还有一种考虑方向为考虑从有序到无序的过程中,什么时刻物质变为的无序.站在这一角度延伸出来的就是混沌理论. 以上这些都是基于熵的研究而演化出来的,可以说,熵的应用非常广泛,而他本身,更带有很多哲学意义.如果有兴趣不妨了解一下~.
