学科15：信息论重要模型

质能方程、香农的信息熵公式、海森堡测不准原理 assets/1643296672007165_Copy_164.png

能量守恒但是信息不守恒

描述一个东西的不确定程度的量，搞清楚一件事情的难度，可能性越不平均，信息熵就越低 assets/1643297249569166_Copy_165.png

随波逐流不做选择，平均分配注意力，就会增加整个系统的无序性 assets/1643297529971167_Copy_166.png

用来把信息熵消除掉的信息所需要的能量，衡量信息量的基本单位：比特

把较短的编码分配给高频出现的词汇，而把那些较长的编码分配给低频出现的词汇，那么整体而言，我们用编码来表达语言的时候，就可以实现效率最优化

assets/1643297872671168_Copy_167.png

assets/1643297935560169_Copy_168.png

assets/1643298030174170_Copy_169.png

关注变化，而不是一股脑地全部压缩 assets/1643298448912174_Copy_173.png

assets/1643298385342173_Copy_172.png assets/1643298575730176_Copy_175.png

不压缩的情况下 assets/1643298514341175_Copy_174.png

assets/1643298674642177_Copy_176.png

assets/1643299018923180_Copy_179.png

assets/1643299085749181_Copy_180.png assets/1643299101256182_Copy_181.png

说废话 assets/1643299129642183_Copy_182.png

assets/1643299194225184_Copy_183.png

assets/1643299317748185_Copy_184.png

assets/1643299338709186_Copy_185.png

assets/1643299460689187_Copy_186.png