|
2003-5-30
阅读次数:次
信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。一般认为，1948年申农发表的《通讯的数学理论》一文标志着信息论的诞生。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。信息论的研究与很多学科密切相关，例如，数学、物理学、控制论、计算机科学、逻辑学、心理学、语言学、生物学、仿生学、管理科学等。信息论在各个方面得到了广泛的应用。
信息量是信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发生时所传递的信息。信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。
|
English
继续教育
