第六章 有噪信道编码定理
1. 错误概率与译码规则
1.1 错误概率的影响因素
- 错误概率 (\(P_E\)) 既与信道的统计特性有关，也与译码规则的选择有关。
1.2 译码规则的定义
对于离散单符号信道，输入符号集 \(A=\{a_i\}\)，输出符号集 \(B=\{b_j\}\)。
译码规则：设计一个函数 \(F(b_j) = a_i\)，对于每一个接收到的输出符号 \(b_j\)，确定一个唯一的输入符号 \(a_i\) 与之对应。
1.3 平均错误概率
在确定译码规则 \(F(b_j)=a_i\) 后，平均错误概率 \(P_E\) 是条件错误概率 \(P(e|b_j)\) 对输出空间 \(Y\) 的平均：
\[ P_{E} = \sum_{j=1}^{s} P(b_j) P(e|b_j) = \sum_{j=1}^{s} P(b_j) (1 - P(a_i|b_j)) \]
其中， \(P(e|b_j) = 1 - P(a_i|b_j)\) 为条件错误概率。
1.4 最小错误概率译码准则 (MAP)
准则：选择译码函数 \(F(b_j) = a_i^*\)，使平均错误概率 \(P_E\) 最小。
实现方式：对于接收到的每一个符号 \(b_j\)，都译成使后验概率 \(P(a_i|b_j)\) 达到最大的那个输入符号 \(a_i^*\)。
\[ F(b_j) = a_i^* \quad \text{要求} \quad P(a_i^*|b_j) \ge P(a_k|b_j) \quad \text{对所有 } a_k \ne a_i^* \]
1.5 最大似然译码准则 (ML)
当输入符号的先验概率 \(P(a_i)\) 均相等时，最小错误概率准则等价于最大似然译码准则：
准则：对于接收到的每一个符号 \(b_j\)，都译成使传递概率 \(P(b_j|a_i)\) 达到最大的那个输入符号 \(a_i^*\)。
\[ F(b_j) = a_i^* \quad \text{要求} \quad P(b_j|a_i^*) \ge P(b_j|a_k) \quad \text{对所有 } a_k \ne a_i^* \]
注意：ML准则本身不依赖于先验概率，但在输入等概率时才能保证 \(P_E\) 最小。
2. 错误概率与编码方法
2.1 编码目的
- 选择译码准则不能消除错误，通过引入信道编码来降低错误概率，提高可靠性。
2.2 编码与信息传输率的矛盾
信道编码的常用方法：重复编码（如 \(n\) 次扩展信道）。
信息传输率 \(R\):
\[ R = \frac{\log_2 M}{n} \quad \text{(bit/码符号)} \]
其中 \(M\) 是消息数， \(n\) 是码长。
矛盾: 增加码长 \(n\) 可以降低错误概率 \(P_E\)，但会同时降低信息传输率 \(R\)。
2.3 汉明距离与最小距离译码
汉明距离 \(D(\alpha_i, \beta_j)\): 两个等长序列 \(\alpha_i\) 和 \(\beta_j\) 中对应位置码元不同的个数。
最小距离 \(d_{\min}\): 码集中任意两个不同码字之间的最小汉明距离。
\[ d_{\min} = \min_{i \ne j} \{D(\alpha_i, \alpha_j)\} \]
结论: 最小距离 \(d_{\min}\) 越大，码的纠错能力越强，平均错误概率 \(P_E\) 越小。
最小距离译码准则: 在二进制对称信道 (BSC) 中，最大似然译码准则等价于最小距离译码准则。即：
收到序列 \(\beta_j\) 后，译成与之汉明距离最近的那个码字 \(\alpha^*\)。
编码方法的选择: 在 \(M\) 和 \(n\) 不变的情况下（即保持一定 \(R\)），应选择使 \(d_{\min}\) 尽可能大的编码方法，以最小化 \(P_E\)。
3. 有噪信道编码定理 (香农第二定理)
3.1 定理内容
一个离散无记忆信道，信道容量为 \(C\)。
可达性 (编码定理)：
当信息传输率 \(R \le C\) 时，只要码长 \(n\) 足够长，总可以在信道输入符号集中找到一组码字 ( \(M=2^{nR}\) ) 和相应的译码准则，使译码的平均错误概率 \(P_E\) 达到任意小 (\(P_E \approx 0\))。
不可达性 (逆定理)：
当信息传输率 \(R > C\) 时，则无论码长 \(n\) 多长，总也找不到一种编码能使信道输出端的译码错误概率 \(P_E\) 任意小。
3.2 结论与意义
信道容量 \(C\) 是在有噪信道中进行无差错传输所能达到的最大信息传输率。
该定理是信道编码的理论依据，表明只要传输速率不大于信道容量，理论上总能找到一种编码方法，使可靠性达到要求。
4. 联合信源信道编码定理
4.1 联合定理 (信源-信道编码定理)
通信系统的有效和可靠传输，可以通过信源编码和信道编码两部分独立实现。
信源编码：通过压缩冗余度，使平均信息率 \(R_s\) 尽量接近信源熵 \(H(S)\)，提高有效性。
信道编码：通过增加冗余度，使编码后的信息传输率 \(R\) 不超过信道容量 \(C\)，提高可靠性。
4.2 香农分离定理 (Theorem 6.7)
若信源 \(S\) 的极限熵 \(H_\infty < C\) (信道容量)，则存在信源和信道编码，使其平均错误概率 \(P_E\) 趋近于 0。
结论：只要信源熵 \(H(S)\) 小于信道容量 \(C\)，即 \(H(S) < C\)，通过分离的两步编码（先信源编码，后信道编码），就可以实现可靠的通信。