标签：编码 01 log2 log 10 52 6.004 MIT 5.17

谷歌机翻中文字幕
课堂录播生肉
幻灯片、LAB等

信息

消除不确定性的数据

消除的不确定性越多，信息量越大

量化

信息量
I ( x i ) = log ⁡ 2 ( 1 p i ) I(x_i)=\log_2(\frac{1}{p_i}) I(xi​)=log2​(pi​1​)
例如52张扑克牌，收到的信息是“卡片花色为红心”，
I ( h e a r t ) = log ⁡ 2 ( 1 13 / 52 ) = 2 b i t I({\rm heart})=\log_2(\frac{1}{13/52})=2\rm bit I(heart)=log2​(13/521​)=2bit
即需要两位编码才可以消除足够的不确定性。

两位编码恰好可以表示四种情况

非整数

两个魔方投出第一个红第二个绿面朝上需要的信息量为
I ( x i ) = log ⁡ 2 ( 1 1 / 36 ) = 5.17 I(x_i)=\log_2({\frac{1}{1/36}})=5.17 I(xi​)=log2​(1/361​)=5.17
这意味着需要六位编码。然而对于十个连续情况的编码，我们不需要 ⌈ 5.17 ⌉ × 10 = 60 \lceil 5.17\rceil\times 10=60 ⌈5.17⌉×10=60位，仅需要 ⌈ 5.17 × 10 ⌉ = 52 \lceil 5.17\times 10\rceil=52 ⌈5.17×10⌉=52位。

熵

定义

随机变量的熵是是了解这个随机变量的值时，所收到每份数据中包含的信息量的期望。
H ( X ) = E ( I ( X ) ) = ∑ i = 1 N p i ⋅ log ⁡ 2 ( 1 p i ) H(X)=E(I(X))=\sum_{i=1}^N p_i\cdot \log_2(\frac{1}{p_i}) H(X)=E(I(X))=i=1∑N​pi​⋅log2​(pi​1​)
例如

这告诉我们相较于简单地用两位编码，存在一个更优的编码方式

意义

• 熵是我们需要传输位数的下限
• 为数据传输的优化提供方向

编码

准确的映射

固定长度编码

当每个选择出现的可能性相等

• 支持随机访问：只需要跳过固定长度的编码

H ( x ) = ∑ i = 1 N 1 N log ⁡ 2 ( 1 1 / N ) = log ⁡ 2 N H(x)=\sum_{i=1}^N\frac{1}{N}\log_2(\frac{1}{1/N})=\log_2N H(x)=i=1∑N​N1​log2​(1/N1​)=log2​N

例如对0-9十进制整数编码，需要四位，而熵为 log ⁡ 2 10 = 3.322 \log_2 10=3.322 log2​10=3.322，对1000位十进制整数进行固定长度编码需要4000位，大于可能的最小值。

有符号整数

二进制补码定义

取反计算

取反+1

-1的补码为全1，-1-A相当于对A的每一位取反（1-1=0，1-0=1）

可变长度编码

当每个选择的可能性不相等

最优长度编码：哈夫曼编码

检错

存在单位或多位错误时，仅经过简单编码的信息可能发生错误传输

H a m m i n g   D i s t a n c e \rm Hamming \ Distance Hamming Distance

在两个相同长度的编码中，相应数字不同的位置数

当汉明距离为0时，两个编码相同

奇偶校验码

解决单位错误（ S i n g l e − b i t   e r r o r \rm Single-bit \ error Single−bit error）

做法：使得单位错误无法产生一个新的有效编码，所以需要至少相差两位的编码，也就是我们希望任意编码间的汉明距离至少为2

偶数校验码：在原编码末尾加上一位校验码，使得编码中的1的位数为偶数

有效编码的1的位数均为偶数，当出现01或10的情况时，1的位数为奇数，所以发生了奇偶错误。

同时，当偶数个位上发生了损坏，偶数校验码将无法探测到错误。

推广

为了探测E位错误，最小汉明距离位E+1

从000/111出发，任何长度为2的路径都无法达到一个有效编码。

纠错

E位错误产生的编码集不重叠，即最小汉明距离为2E+1.

标签：编码,01,log2,log,10,52,6.004,MIT,5.17
来源： https://blog.csdn.net/rd142857/article/details/122557664

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。