---
title: "学科15：信息论重要模型"
author: "Perrin Yong"
author_profile: https://www.pystone.net/profile/
published_by: "Perrin Yong"
canonical: https://www.pystone.net/notes/mental-models-15-information-theory/
type: note
content_role: unspecified
visibility: public
id_stability: rename-stable
source_path: "90-课程、书籍与通识材料/林超通识课/分拆文件/学科15：信息论重要模型.md"
content_hash: 71f6b0bc8dba0486a4b3006816cf349aef57044000d6fbe0cf31f3affc67ab61
knowledge_version: 224c990773de.5fa8af6e39fa
site_commit: 224c990773de166d23a886306577dd90379529ce
notes_commit: 5fa8af6e39fa3891d1b9b4832bfa6c4e0ecaaf0a
---
学科15：信息论重要模型

# 学科15：信息论重要模型
质能方程、香农的信息熵公式、海森堡测不准原理
![assets/1643296672007165_Copy_164.png](/media/7751578e6e51bd89bad7.png)

## 能量守恒但是信息不守恒

### 人类之间分享知识是一件可以为这个世界创造纯粹增量的事情

## 信息量的衡量方法

## 信息熵

描述一个东西的不确定程度的量，搞清楚一件事情的难度，可能性越不平均，信息熵就越低
![assets/1643297249569166_Copy_165.png](/media/6de759622c657ec2b92e.png)

### 做选择对信息熵大小的影响

随波逐流不做选择，平均分配注意力，就会增加整个系统的无序性
![assets/1643297529971167_Copy_166.png](/media/a9005331acee7d7a78a1.png)

## 信息量

用来把信息熵消除掉的信息所需要的能量，衡量信息量的基本单位：比特

## 霍夫曼编码

把较短的编码分配给高频出现的词汇，而把那些较长的编码分配给低频出现的词汇，那么整体而言，我们用编码来表达语言的时候，就可以实现效率最优化

## eg.莫斯编码中的高频字母

![assets/1643297872671168_Copy_167.png](/media/f1df06cace1c43854282.png)

## 启示

![assets/1643297935560169_Copy_168.png](/media/8fbc211a6b76aa4e8247.png)

## 奥卡姆剃刀

![assets/1643298030174170_Copy_169.png](/media/9d0f98baf07e72e6b105.png)

## 帧间压缩算法

关注变化，而不是一股脑地全部压缩
![assets/1643298448912174_Copy_173.png](/media/643e321616edfa6b0d17.png)

## 启示

![assets/1643298385342173_Copy_172.png](/media/fc1ba71236caccd17023.png)
![assets/1643298575730176_Copy_175.png](/media/6877a1e921d3a7e1fc85.png)

## 不采用帧间压缩算法

不压缩的情况下
![assets/1643298514341175_Copy_174.png](/media/3dfe6d5c055d383ac898.png)

## 读书学习

![assets/1643298674642177_Copy_176.png](/media/88aa51f1836136f6faa4.png)

## 互信息

![assets/1643299018923180_Copy_179.png](/media/e49e8399da36ee502c14.png)

## 信息等价

![assets/1643299085749181_Copy_180.png](/media/fc90fd8d1fb63d1bfcd4.png)
![assets/1643299101256182_Copy_181.png](/media/17ada9c7f8c7d3fb7be8.png)

## 高互信息

说废话
![assets/1643299129642183_Copy_182.png](/media/c66149629e89b775a7db.png)

## 冗余度

![assets/1643299194225184_Copy_183.png](/media/86a16970c281537229af.png)

### 适当冗余有助于增加理解

![assets/1643299317748185_Copy_184.png](/media/3ffd111426e8fa2ba3c8.png)

### 去除冗余

![assets/1643299338709186_Copy_185.png](/media/326bb238a8844ac1f774.png)

#### 画分析框架

![assets/1643299460689187_Copy_186.png](/media/9850067739e16371f52a.png)