第三章 离散信道及其信道容量
1. 信道的数学模型及分类
1.1 信道的功能与容量研究
信道功能: 以信号形式传输和存储信息。
信道容量研究内容: 在什么条件下，通过信道的信息量最大。
1.2 信道的分类
信道分类的标准主要有：
（我说白了这个直接不用细看）
根据输入输出信号特点: 离散信道、连续信道、半离散/半连续信道、波形信道。
根据输入输出随机变量个数: 单符号信道、多符号信道。
根据输入输出个数: 单用户信道、多用户信道。
根据有无干扰: 有干扰信道（实际信道）、无干扰信道（理想/简单信道）。
根据有无记忆特性: 无记忆信道（输出仅与当前输入有关）、有记忆信道。
1.3 离散信道的数学模型
离散信道的输入、输出随机变量都取离散值。
单符号离散信道模型
输入集: $X = {a_1, a_2, \ldots, a_r}$
输出集: $Y = {b_1, b_2, \ldots, b_s}$
信道特性: 用传递概率（或转移概率）描述：$P(y_j|x_i)$。
模型描述: 可用概率空间 $[X, p(y|x), Y]$ 来描述。
信道矩阵
进一步的，为了方便描述信道的数学模型，我们可以将其写为信道的矩阵形式。
由传递概率 $p_{ij} = P(b_j|a_i)$ 构成的 $r \times s$ 矩阵：
$$
\mathbf{P} =
\begin{bmatrix}
P(b_1|a_1) & P(b_2|a_1) & \cdots & P(b_s|a_1) \
P(b_1|a_2) & P(b_2|a_2) & \cdots & P(b_s|a_2) \
\vdots & \vdots & \ddots & \vdots \
P(b_1|a_r) & P(b_2|a_r) & \cdots & P(b_s|a_r)
\end{bmatrix}
$$
其中，矩阵的每一行元素之和为 1。
概率关系
- 联合概率: $P(x_i y_j) = P(y_i)P(x_i|y_i) = P(x_i)P(y_j|x_i)$。
其中这个 $P(y_i|x_i)$ 可以叫前向概率，也叫先验概率，然后 $P(x_i|y_i)$ 的概率可以叫后向概率，也可以叫后验概率。
输出概率: $P(y_j) = \sum_{i=1}^{r} P(x_i)P(y_j|x_i)$。
后验概率: $P(x_i|y_j) = \frac{P(x_i, y_j)}{P(y_j)}$。
所有后验概率相加为1，表明输出端收到任意信号，必定是输入端某一符号输入所致。
2. 平均互信息 (Average Mutual Information)
2.1 定义
平均互信息 $I(X;Y)$ 表示接收到输出 $Y$ 后，平均每个符号获得的关于输入 $X$ 的信息量。
$$
I(X;Y) = H(X)-H(X/Y) = \sum_{i=1}^{r} \sum_{j=1}^{s} P(x_i, y_j) \log_2 \frac{P(x_i, y_j)}{P(x_i)P(y_j)} \quad \text{(bit/符号)}
$$
唉不是，这后半段的公式对吗，不过先不管，这一阶段知道他的含义即可。
实际上这个东西的定义就是看传了多少有用的信息，是信息传输的测量标准，就是用原来对信源的不确定度减掉之后剩下的不确定度，得到减小了多少的不确定性。
2.2 物理含义 (用熵表示)
首先引入信道疑义度的概念：
首先引入概念： $H(X)$ 是变量 $X$ 的先验不确定性的度量，也称为先验熵。
进而我们可以拓展：收到 $b_j$ 后关于 $X$ 的后验熵（收到 $b_j$ 后关于输入符号的信息测度）：
$$ H(X / b_j) = \sum_{i=1}^{r} P(a_i / b_j) \log \frac{1}{p(a_i / b_j)}$$
于是在此基础上我们可以得到信道疑义度（条件熵）：
$$ H(X / Y) = E\left[ H(X / b_j) \right] = \sum_{X,Y} P(xy) \log \frac{1}{P(x / y)} $$
它表示输出端在收到一个符号后，对输入符号尚存的不确定性，由信道干扰造成。若没有干扰， $H(X/Y)=0$ ；一般情况下 $H(X/Y) < H(X)$ ，说明经信道传输能消除一些信源不确定性，从而获得信息。
从输入端看 (信息量的获取):
$$
I(X;Y) = H(X) - H(X|Y)
$$$H(X)$: 先验不确定度，也叫做先验熵。
$H(X|Y)$: 信道疑义度（或损失熵），表示收到 $Y$ 后对 $X$ 仍存在的不确定性。
含义: $I(X;Y)$ 为收到 $Y$ 后，关于 $X$ 的不确定度减少的量。
从输出端看 (信息量的损失):
$$
I(Y;X) = H(Y) - H(Y|X)
$$$H(Y)$: 输出不确定度。
$H(Y|X)$: 噪声熵，表示发出 $X$ 后对 $Y$ 仍存在的不确定性（信道噪声引起）。叫噪声熵还是损失熵是观察角度不一样决定的。
结论: 平均互信息具有对称性，即 $I(X;Y) = I(Y;X)$。
总的来说这一部分写的是有些乱的，但是不重要。
3. 平均互信息的特性
- 对称性: $I(X;Y) = I(Y;X)$。
不同观察角度，所得到的结果是一样的，只是立足点不同罢了
非负性: $I(X;Y) \ge 0$。
极值性: $I(X;Y) \le H(X)$ 且 $I(X;Y) \le H(Y)$。
理想信道 (无噪一一对应): $H(X|Y)=0, H(Y|X)=0$，此时 $I(X;Y) = H(X) = H(Y)$。
最差信道 (输入输出独立): $H(X|Y)=H(X), H(Y|X)=H(Y)$，此时 $I(X;Y) = 0$。
凸函数性:
$I(X;Y)$ 是信源概率分布 $p(x_i)$ 的上凸函数。
$I(X;Y)$ 是信道传递概率 $p(y_j|x_i)$ 的下凸函数。
这个凸函数性目前还是有点懵，先放这儿。
4. 信道容量及其一般计算方法
4.1 信道容量的定义
这个部分就要开始看这个信道的承载能力了。
信道的信息传输率 $R$ : $R = I(X;Y)$ (bit/符号)。
信道容量 $C$: 信道中最大的信息传输速率，是平均互信息在所有可能的输入概率分布 $\mathbf{p}(x)$ 上的最大值。
$$
C = \max_{p(x_i)} I(X;Y) \quad \text{(bit/信道符号)}
$$
单位时间的信道容量 $C_t$: $C_t = \frac{1}{t} C$ (bit/秒)。
结论: 信道容量 $C$ 是描述信道固有特性的参量。
4.2 离散无噪信道的信道容量
离散无噪信道是理想信道，传递概率 $\mathbf{P}$ 矩阵中，每行有且仅有一个非零元素（且为 1）。
无噪无损信道 (一一对应): $r=s$，且 $a_i$ 与 $b_j$ 一一对应。
$H(X|Y)=0$ 且 $H(Y|X)=0$。
容量: $C = \max H(X) = \log_2 r$ (当 $P(x_i)$ 等概率分布时)。
有噪无损信道 (列单非零): $r < s$，但每列只有一个非零元素。
$H(X|Y)=0$ (收到 $Y$ 可确定 $X$)。
容量: $C = \max H(X) = \log_2 r$。
无噪有损信道 (行单非零): $r > s$，但每行只有一个非零元素。
$H(Y|X)=0$ (发出 $X$ 可确定 $Y$)。
容量: $C = \max H(Y) = \log_2 s$ (当 $P(y_j)$ 等概率分布时)。
结论就是信道容量C只决定于信道的输入符号数r，或者输出符号数s，与信源特性无关。
5. 扩展、并联与串联信道容量
5.1 离散无记忆扩展信道容量
$N$ 次独立使用单符号离散无记忆信道 $W$ 构成扩展信道 $W^N$。
信道容量: $C^{(N)} = N C$。
5.2 独立并联信道容量
由 $k$ 个独立的子信道并联而成。
信道容量: $C_{\text{并联}} = \sum_{i=1}^{k} C_i$。
等于是废话。并联的不大于全部的相加和。
5.3 串联信道的互信息和数据处理定理
两个信道串联到一块，信息从 $X \rightarrow Y \rightarrow Z$ ，构成马尔科夫链。换句话说，对于马尔可夫链 $X \rightarrow Y \rightarrow Z$，即信道 $\text{I}$ 的输出 $Y$ 只与输入 $X$ 有关，信道 $\text{II}$ 的输出 $Z$ 只与输入 $Y$ 有关，满足 $P(z|y,x)=P(z|y)$。
数据处理定理 (Data Processing Theorem):
$$
I(X;Z) \le I(X;Y) \quad \text{且} \quad I(X;Z) \le I(Y;Z)
$$结论: 消息经过多级处理后，输入消息与输出消息之间的平均互信息量趋于变小。数据处理不能增加信息。
基本上等于一句废话。
6. 信源与信道的匹配
本节主要讨论如何通过适当的信源编码，使信源输出的平均信息率 $R_s$ 与信道容量 $C$ 相匹配，以实现高效可靠的通信。
$$
R_s \le C
$$
这一部分定义了信道剩余度这个概念，因为信道的容量和信源不一定匹配吗，总是会有剩的信道容量没用到，这个就直接是信道容量-信源的平均互信息量得到信道的剩余度，我们想做到将信源输出的消息变换为适合信道传输的新信源的消息，就叫做无失真信源编码。这样我们可以做到信源传输的信息量最大，信道剩余度接近0。这个匹配会在后面第五章进一步讲，这里不再细说。