第三章 离散信道及其信道容量
1. 信道的数学模型及分类
1.1 信道的功能与容量研究
信道功能: 以信号形式传输和存储信息。
信道容量研究内容: 在什么条件下，通过信道的信息量最大。
1.2 信道的分类
信道分类的标准主要有：
（我说白了这个直接不用细看）
根据输入输出信号特点: 离散信道、连续信道、半离散/半连续信道、波形信道。
根据输入输出随机变量个数: 单符号信道、多符号信道。
根据输入输出个数: 单用户信道、多用户信道。
根据有无干扰: 有干扰信道（实际信道）、无干扰信道（理想/简单信道）。
根据有无记忆特性: 无记忆信道（输出仅与当前输入有关）、有记忆信道。
1.3 离散信道的数学模型
离散信道的输入、输出随机变量都取离散值。
单符号离散信道模型
输入集: \(X = \{a_1, a_2, \ldots, a_r\}\)
输出集: \(Y = \{b_1, b_2, \ldots, b_s\}\)
信道特性: 用传递概率（或转移概率）描述：\(P(y_j|x_i)\)。
模型描述: 可用概率空间 \([X, p(y|x), Y]\) 来描述。
信道矩阵
进一步的，为了方便描述信道的数学模型，我们可以将其写为信道的矩阵形式。
由传递概率 \(p_{ij} = P(b_j|a_i)\) 构成的 \(r \times s\) 矩阵：
\[ \mathbf{P} = \begin{bmatrix} P(b_1|a_1) & P(b_2|a_1) & \cdots & P(b_s|a_1) \\ P(b_1|a_2) & P(b_2|a_2) & \cdots & P(b_s|a_2) \\ \vdots & \vdots & \ddots & \vdots \\ P(b_1|a_r) & P(b_2|a_r) & \cdots & P(b_s|a_r) \end{bmatrix} \]
其中，矩阵的每一行元素之和为 1。
概率关系
- 联合概率: \(P(x_i y_j) = P(y_i)P(x_i|y_i) = P(x_i)P(y_j|x_i)\)。
其中这个 \(P(y_i|x_i)\) 可以叫前向概率，也叫先验概率，然后 \(P(x_i|y_i)\) 的概率可以叫后向概率，也可以叫后验概率。
输出概率: \(P(y_j) = \sum_{i=1}^{r} P(x_i)P(y_j|x_i)\)。
后验概率: \(P(x_i|y_j) = \frac{P(x_i, y_j)}{P(y_j)}\)。
所有后验概率相加为1，表明输出端收到任意信号，必定是输入端某一符号输入所致。
2. 平均互信息 (Average Mutual Information)
2.1 定义
平均互信息 \(I(X;Y)\) 表示接收到输出 \(Y\) 后，平均每个符号获得的关于输入 \(X\) 的信息量。
\[ I(X;Y) = H(X)-H(X/Y) = \sum_{i=1}^{r} \sum_{j=1}^{s} P(x_i, y_j) \log_2 \frac{P(x_i, y_j)}{P(x_i)P(y_j)} \quad \text{(bit/符号)} \]
唉不是，这后半段的公式对吗，不过先不管，这一阶段知道他的含义即可。
实际上这个东西的定义就是看传了多少有用的信息，是信息传输的测量标准，就是用原来对信源的不确定度减掉之后剩下的不确定度，得到减小了多少的不确定性。
2.2 物理含义 (用熵表示)
首先引入信道疑义度的概念：
首先引入概念： \(H(X)\) 是变量 \(X\) 的先验不确定性的度量，也称为先验熵。
进而我们可以拓展：收到 \(b_j\) 后关于 \(X\) 的后验熵（收到 \(b_j\) 后关于输入符号的信息测度）：
\[ H(X / b_j) = \sum_{i=1}^{r} P(a_i / b_j) \log \frac{1}{p(a_i / b_j)}\]
于是在此基础上我们可以得到信道疑义度（条件熵）：
\[ H(X / Y) = E\left[ H(X / b_j) \right] = \sum_{X,Y} P(xy) \log \frac{1}{P(x / y)} \]
它表示输出端在收到一个符号后，对输入符号尚存的不确定性，由信道干扰造成。若没有干扰， \(H(X/Y)=0\) ；一般情况下 \(H(X/Y) < H(X)\) ，说明经信道传输能消除一些信源不确定性，从而获得信息。
从输入端看 (信息量的获取):
\[ I(X;Y) = H(X) - H(X|Y) \]
\(H(X)\): 先验不确定度，也叫做先验熵。
\(H(X|Y)\): 信道疑义度（或损失熵），表示收到 \(Y\) 后对 \(X\) 仍存在的不确定性。
含义: \(I(X;Y)\) 为收到 \(Y\) 后，关于 \(X\) 的不确定度减少的量。
从输出端看 (信息量的损失): \[ I(Y;X) = H(Y) - H(Y|X) \]
\(H(Y)\): 输出不确定度。
\(H(Y|X)\): 噪声熵，表示发出 \(X\) 后对 \(Y\) 仍存在的不确定性（信道噪声引起）。叫噪声熵还是损失熵是观察角度不一样决定的。
结论: 平均互信息具有对称性，即 \(I(X;Y) = I(Y;X)\)。
总的来说这一部分写的是有些乱的，但是不重要。
3. 平均互信息的特性
- 对称性: \(I(X;Y) = I(Y;X)\)。
不同观察角度，所得到的结果是一样的，只是立足点不同罢了
非负性: \(I(X;Y) \ge 0\)。
极值性: \(I(X;Y) \le H(X)\) 且 \(I(X;Y) \le H(Y)\)。
理想信道 (无噪一一对应): \(H(X|Y)=0, H(Y|X)=0\)，此时 \(I(X;Y) = H(X) = H(Y)\)。
最差信道 (输入输出独立): \(H(X|Y)=H(X), H(Y|X)=H(Y)\)，此时 \(I(X;Y) = 0\)。
凸函数性:
\(I(X;Y)\) 是信源概率分布 \(p(x_i)\) 的上凸函数。
\(I(X;Y)\) 是信道传递概率 \(p(y_j|x_i)\) 的下凸函数。
这个凸函数性目前还是有点懵，先放这儿。
4. 信道容量及其一般计算方法
4.1 信道容量的定义
这个部分就要开始看这个信道的承载能力了。
信道的信息传输率 \(R\) : \(R = I(X;Y)\) (bit/符号)。
信道容量 \(C\): 信道中最大的信息传输速率，是平均互信息在所有可能的输入概率分布 \(\mathbf{p}(x)\) 上的最大值。
\[ C = \max_{p(x_i)} I(X;Y) \quad \text{(bit/信道符号)} \]
单位时间的信道容量 \(C_t\): \(C_t = \frac{1}{t} C\) (bit/秒)。
结论: 信道容量 \(C\) 是描述信道固有特性的参量。
4.2 离散无噪信道的信道容量
离散无噪信道是理想信道，传递概率 \(\mathbf{P}\) 矩阵中，每行有且仅有一个非零元素（且为 1）。
无噪无损信道 (一一对应): \(r=s\)，且 \(a_i\) 与 \(b_j\) 一一对应。
\(H(X|Y)=0\) 且 \(H(Y|X)=0\)。
容量: \(C = \max H(X) = \log_2 r\) (当 \(P(x_i)\) 等概率分布时)。
有噪无损信道 (列单非零): \(r < s\)，但每列只有一个非零元素。
\(H(X|Y)=0\) (收到 \(Y\) 可确定 \(X\))。
容量: \(C = \max H(X) = \log_2 r\)。
无噪有损信道 (行单非零): \(r > s\)，但每行只有一个非零元素。
\(H(Y|X)=0\) (发出 \(X\) 可确定 \(Y\))。
容量: \(C = \max H(Y) = \log_2 s\) (当 \(P(y_j)\) 等概率分布时)。
结论就是信道容量C只决定于信道的输入符号数r，或者输出符号数s，与信源特性无关。
5. 扩展、并联与串联信道容量
5.1 离散无记忆扩展信道容量
\(N\) 次独立使用单符号离散无记忆信道 \(W\) 构成扩展信道 \(W^N\)。
信道容量: \(C^{(N)} = N C\)。
5.2 独立并联信道容量
由 \(k\) 个独立的子信道并联而成。
信道容量: \(C_{\text{并联}} = \sum_{i=1}^{k} C_i\)。
等于是废话。并联的不大于全部的相加和。
5.3 串联信道的互信息和数据处理定理
两个信道串联到一块，信息从 \(X \rightarrow Y \rightarrow Z\) ，构成马尔科夫链。换句话说，对于马尔可夫链 \(X \rightarrow Y \rightarrow Z\)，即信道 \(\text{I}\) 的输出 \(Y\) 只与输入 \(X\) 有关，信道 \(\text{II}\) 的输出 \(Z\) 只与输入 \(Y\) 有关，满足 \(P(z|y,x)=P(z|y)\)。
数据处理定理 (Data Processing Theorem):
\[ I(X;Z) \le I(X;Y) \quad \text{且} \quad I(X;Z) \le I(Y;Z) \]
结论: 消息经过多级处理后，输入消息与输出消息之间的平均互信息量趋于变小。数据处理不能增加信息。
基本上等于一句废话。
6. 信源与信道的匹配
本节主要讨论如何通过适当的信源编码，使信源输出的平均信息率 \(R_s\) 与信道容量 \(C\) 相匹配，以实现高效可靠的通信。
\[ R_s \le C \]
这一部分定义了信道剩余度这个概念，因为信道的容量和信源不一定匹配吗，总是会有剩的信道容量没用到，这个就直接是信道容量-信源的平均互信息量得到信道的剩余度，我们想做到将信源输出的消息变换为适合信道传输的新信源的消息，就叫做无失真信源编码。这样我们可以做到信源传输的信息量最大，信道剩余度接近0。这个匹配会在后面第五章进一步讲，这里不再细说。