第六章 有噪信道编码定理
1. 错误概率与译码规则
1.1 错误概率的影响因素
- 错误概率 ($P_E$) 既与信道的统计特性有关，也与译码规则的选择有关。
1.2 译码规则的定义
对于离散单符号信道，输入符号集 $A={a_i}$，输出符号集 $B={b_j}$。
译码规则：设计一个函数 $F(b_j) = a_i$，对于每一个接收到的输出符号 $b_j$，确定一个唯一的输入符号 $a_i$ 与之对应。
1.3 平均错误概率
在确定译码规则 $F(b_j)=a_i$ 后，平均错误概率 $P_E$ 是条件错误概率 $P(e|b_j)$ 对输出空间 $Y$ 的平均：
$$
P_{E} = \sum_{j=1}^{s} P(b_j) P(e|b_j) = \sum_{j=1}^{s} P(b_j) (1 - P(a_i|b_j))
$$其中， $P(e|b_j) = 1 - P(a_i|b_j)$ 为条件错误概率。
1.4 最小错误概率译码准则 (MAP)
准则：选择译码函数 $F(b_j) = a_i^*$，使平均错误概率 $P_E$ 最小。
实现方式：对于接收到的每一个符号 $b_j$，都译成使后验概率 $P(a_i|b_j)$ 达到最大的那个输入符号 $a_i^*$。
$$
F(b_j) = a_i^* \quad \text{要求} \quad P(a_i^|b_j) \ge P(a_k|b_j) \quad \text{对所有 } a_k \ne a_i^
$$
1.5 最大似然译码准则 (ML)
当输入符号的先验概率 $P(a_i)$ 均相等时，最小错误概率准则等价于最大似然译码准则：
准则：对于接收到的每一个符号 $b_j$，都译成使传递概率 $P(b_j|a_i)$ 达到最大的那个输入符号 $a_i^*$。
$$
F(b_j) = a_i^* \quad \text{要求} \quad P(b_j|a_i^) \ge P(b_j|a_k) \quad \text{对所有 } a_k \ne a_i^
$$注意：ML准则本身不依赖于先验概率，但在输入等概率时才能保证 $P_E$ 最小。
2. 错误概率与编码方法
2.1 编码目的
- 选择译码准则不能消除错误，通过引入信道编码来降低错误概率，提高可靠性。
2.2 编码与信息传输率的矛盾
信道编码的常用方法：重复编码（如 $n$ 次扩展信道）。
信息传输率 $R$:
$$
R = \frac{\log_2 M}{n} \quad \text{(bit/码符号)}
$$其中 $M$ 是消息数， $n$ 是码长。
矛盾: 增加码长 $n$ 可以降低错误概率 $P_E$，但会同时降低信息传输率 $R$。
2.3 汉明距离与最小距离译码
汉明距离 $D(\alpha_i, \beta_j)$: 两个等长序列 $\alpha_i$ 和 $\beta_j$ 中对应位置码元不同的个数。
最小距离 $d_{\min}$: 码集中任意两个不同码字之间的最小汉明距离。
$$
d_{\min} = \min_{i \ne j} {D(\alpha_i, \alpha_j)}
$$结论: 最小距离 $d_{\min}$ 越大，码的纠错能力越强，平均错误概率 $P_E$ 越小。
最小距离译码准则: 在二进制对称信道 (BSC) 中，最大似然译码准则等价于最小距离译码准则。即：
收到序列 $\beta_j$ 后，译成与之汉明距离最近的那个码字 $\alpha^*$。
编码方法的选择: 在 $M$ 和 $n$ 不变的情况下（即保持一定 $R$），应选择使 $d_{\min}$ 尽可能大的编码方法，以最小化 $P_E$。
3. 有噪信道编码定理 (香农第二定理)
3.1 定理内容
一个离散无记忆信道，信道容量为 $C$。
可达性 (编码定理)：
当信息传输率 $R \le C$ 时，只要码长 $n$ 足够长，总可以在信道输入符号集中找到一组码字 ( $M=2^{nR}$ ) 和相应的译码准则，使译码的平均错误概率 $P_E$ 达到任意小 ($P_E \approx 0$)。
不可达性 (逆定理)：
当信息传输率 $R > C$ 时，则无论码长 $n$ 多长，总也找不到一种编码能使信道输出端的译码错误概率 $P_E$ 任意小。
3.2 结论与意义
信道容量 $C$ 是在有噪信道中进行无差错传输所能达到的最大信息传输率。
该定理是信道编码的理论依据，表明只要传输速率不大于信道容量，理论上总能找到一种编码方法，使可靠性达到要求。
4. 联合信源信道编码定理
4.1 联合定理 (信源-信道编码定理)
通信系统的有效和可靠传输，可以通过信源编码和信道编码两部分独立实现。
信源编码：通过压缩冗余度，使平均信息率 $R_s$ 尽量接近信源熵 $H(S)$，提高有效性。
信道编码：通过增加冗余度，使编码后的信息传输率 $R$ 不超过信道容量 $C$，提高可靠性。
4.2 香农分离定理 (Theorem 6.7)
若信源 $S$ 的极限熵 $H_\infty < C$ (信道容量)，则存在信源和信道编码，使其平均错误概率 $P_E$ 趋近于 0。
结论：只要信源熵 $H(S)$ 小于信道容量 $C$，即 $H(S) < C$，通过分离的两步编码（先信源编码，后信道编码），就可以实现可靠的通信。