信息科学基础教程：信息论基础知识

证明不等式后半部-信息科学基础教程 本资源为信息科学基础教程，主要讲解信息论的基本概念、原理和方法。下面是从资源中提取的相关知识点： 1. 信息的概念：信息论是研究信息的本质和传输规律的科学理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。 2. 信息论的研究对象、目的和内容：信息论的研究对象是信息本身，研究目的在于揭示信息的本质和传输规律，内容包括信息的计量、发送、传递、交换、接收和储存等方面。 3. 信源及信息熵：信源是指产生信息的源头，信息熵是指信源所含有的信息量，香农定义的信息熵为信源发出的所有可能消息的平均不确定性。 4. 自信息：自信息是指某个消息出现的不确定性的大小，用该消息出现的概率的对数的负值来表示，表示这个消息所包含的信息量。 5. 信息论的创立：信息论的创立标志是1948年Claude Shannon（香农）发表的论文“AMathematicalTheory of Communication”，在这篇文章中香农创造性地采用概率论的方法来研究通信中的问题，并且对信息给予了科学的定量描述，第一次提出了信息熵的概念。 6. 信息论的发展：信息论随着通信技术的发展而形成和发展起来的一门新兴的横断学科。 7. 信息的度量：信息的度量是指用对数度量信息的概念，一个消息所含有的信息量用它的可能值的个数的对数来表示。 8. 香农信息：香农信息是指信息是事物运动状态或存在方式的不确定性的描述，可以运用研究随机事件的数学工具——概率来测度不确定性的大小。 9. 信道及信道容量：信道是指信息传输的通道，信道容量是指信道能够传输的最大信息量。 10. 无失真信源编码：无失真信源编码是指在信源编码过程中不损失信息的编码方式。 11. 有噪信道编码：有噪信道编码是指在信道中存在噪音的情况下进行编码的方式。 12. 限失真信源编码：限失真信源编码是指在信源编码过程中允许一定程度的失真的编码方式。 本资源为信息科学基础教程，主要讲解信息论的基本概念、原理和方法，为信息科学的学习和研究提供了有价值的参考资源。