第四章 波形信源与波形信道
第一节 波形信源的统计特性与离散化
随机波形信源：输出是时间与取值都连续的随机过程 \({x(t)}\)。每个样本函数 \(x_i(t)\) 是随机过程的一个实现。可分为：平稳过程与非平稳过程，这个在不同的课里面讲的第三遍了。
遍历性
具体是啥我这里也不细讲了，直接就用这个遍历性吧。这个也好几遍了。
遍历随机过程满足时间平均 = 统计平均（以概率1成立）：
\[ \lim_{T\to\infty} \frac{1}{2T}\int_{-T}^T x(t)\,dt = E[X(t)]. \]
取样与量化
对限频随机过程取样，每个样本值是一个随机变量；
在限时 \(T\) 内、带宽 \(F\) 的情况下，可得 \(2FT\) 个取样值；
再经过量化（离散化），即可得到离散随机序列。
随机波形信源经取样 + 量化 → 连续信源 → 离散信源。
一般来说，直接就给通信系统中的信号给认为是平稳随机过程。
第二节 连续信源与波形信源的信息测度
(1) 连续信源的定义
信源输出为连续随机变量，可用概率密度函数 \(p(x)\) 描述：
\[ \int_R p(x)\,dx = 1. \]
其对应的一维、联合及条件概率密度函数分别为 \(p(x)\)、\(p(x,y)\)、\(p(y|x)\)。
(2) 连续信源的熵（差熵）
从离散熵推广而来：
\[ h(X) = -\int_R p(x)\log_2 p(x)\,dx \]
注意：
与离散熵形式相似，但概念不同；
\(h(X)\) 可为负值（如均匀分布区间 <1 时），不具有离散熵的非负性；
表示“相对不确定度”，又称相对熵。
还是给他叫做差熵比较好，因为他不具有离散信源熵的绝对性，不能代表信源的平均不确定度，不能代表连续信源输出的信息量，只能是一个相对的值，不具有非负性。
(3) 常见连续信源的差熵
均匀分布：
\[ p(x)=\frac{1}{b-a},\quad h(X)=\log_2(b-a) \]
高斯分布：
\[ p(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(x-m)^2}{2\sigma^2}\right) \]
\[ h(X)=\frac{1}{2}\log_2(2\pi e\sigma^2) \]
高斯信源熵只与方差 \(\sigma^2\) 有关，与均值 \(m\) 无关。这个和连续信号的差熵的具体含义：相对的熵向一致。
(4) 波形信源的差熵与熵率
- 对限频 F、限时 T 的随机过程 {x(t)}，其取样形成 \(N=2FT\) 维随机向量：
\[ h(X_1, X_2, …, X_N) \]
熵率（单位时间信息量）：
\[ h_t(X) = 2F \log_2(b-a)\ \text{比特/秒} \]
等一下，这个公式是不是只限定均匀分布？
第三节 连续信源熵的性质与最大差熵定理
1. 性质
可加性：
\(h(X,Y)=h(X)+h(Y|X)=h(Y)+h(X|Y)\)
凸性与极值性：
熵是 \(p(x)\) 的上凸函数。
可为负值：
因为是“相对熵”，不具备离散熵的非负性。
变换性：
若 \(Y=f(X)\) 是一一对应变换：
\[ h(Y)=h(X)+E[\log_2 |J(\frac{X}{Y})|] \]
其中 \(J\) 为雅可比行列式。
2. 最大差熵定理
（1）限峰值功率条件下：
若信源输出 \(X\in[a,b]\)，则
当 \(p(x)\) 为均匀分布时，熵最大；
最大熵值：
\[ h_{\max} = \log_2(b-a) \]
（2）限平均功率条件下：
若 \(E[X^2]=P\) ，即输出信号的平均功率限定为P时，则
当 \(X\) 为高斯分布时，熵最大；
最大熵值：
\[ h_{\max} = \frac{1}{2}\log_2(2\pi e P) \]
说明：
均匀分布 ↔︎ 峰值受限
高斯分布 ↔︎ 平均功率受限
两者分别对应于两种常见的噪声：均匀噪声和高斯噪声。
这个和噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得相一致的。
第四节 连续信源熵的变换
信源 \(X\) 经过线性变换 \(Y=kX+a\) 后：
对于概率密度函数：
\[p_Y(y_1 y_2 \cdots y_N) = p_X(x_1 x_2 \cdots x_N) \left| J\left( \frac{X}{Y} \right) \right|\]
对于差熵：
\[ h(Y)=h(X)+\log_2|k| \]
第五节 连续信道与波形信道分类
1. 定义
波形信道：输入、输出均为随机过程 \(\{x(t)\}\)、\(\{y(t)\}\)；
连续信道：输入、输出为连续随机变量 \(X,Y\)。
经限时限频取样后：
\[ \{x(t)\} \to (X_1, X_2, …, X_N), \quad \{y(t)\} \to (Y_1, Y_2, …, Y_N) \]
从而波形信道可等效为多维连续信道。
2. 按统计特性分类
无记忆信道：输出仅与对应输入有关；
有记忆信道：输出与多时刻输入有关。
3. 按噪声类型分类
| 类型 | 描述 | 特点 |
|---|---|---|
| 高斯信道 | 噪声服从高斯分布 | 常用模型 |
| 白噪声信道 | 噪声功率谱密度恒定 | \(N_0/2\) |
| 有色噪声信道 | 功率谱密度随频率变化 | 有记忆 |
| 加性信道 | \(y=x+n\) | 噪声与信号独立 |
| 乘性信道 | \(y=x·n\) | 无线通信中常见 |
在加性信道中，条件熵：
\[ h(Y|X)=h(n) \]
称为噪声熵。
第六节 连续信道与波形信道的信息传输率
单符号连续信道
平均互信息：
\[ I(X;Y)=h(Y)-h(Y|X)=h(Y)-h(n) \]
多维连续信道
\[ I(X;Y)=\int\int p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}\,dxdy \]
平均每个自由度的信息传输率：
\[ R = \frac{1}{N}I(X;Y) \]
波形信道
单位时间信息传输率：
\[ R_t = \lim_{T\to\infty} \frac{1}{T} I(\{x(t)\}, \{y(t)\}) \]
平均互信息的性质
非负性：\(I(X;Y)\ge 0\)
对称性：\(I(X;Y)=I(Y;X)\)
上凸性：对输入分布上凸
信息不增性：数据处理定理
若 \(X \to Y \to Z\)，则 \(I(X;Z)\le I(X;Y)\)
对应变换不变性：一一变换不改变 \(I(X;Y)\)
第七节 连续信道与波形信道的信道容量
信道容量定义为可实现的最大平均互信息：
\[ C = \max_{p(x)} I(X;Y) \]
一般连续信道：
\[ C = \max_{p(x)} [h(Y)-h(Y|X)] \]
加性连续信道：
噪声与输入独立，\(h(Y|X)=h(n)\)，
\[ C = \max_{p(x)} [h(Y)-h(n)] \]
高斯加性信道（AWGN信道）
噪声 \(n\sim N(0,\sigma^2)\)
输入功率受限 \(E[X^2]=P\)
则输出 \(Y=X+n\)。
由最大熵定理，最优输入分布也是高斯。
输出熵：
\[ h(Y)=\frac{1}{2}\log_2(2\pi e (P+N)) \]
噪声熵：
\[ h(n)=\frac{1}{2}\log_2(2\pi e N) \]
容量：
\[ C = \frac{1}{2}\log_2\left(1+\frac{P}{N}\right)\quad \text{(比特/自由度)} \]
单位时间容量：
\[ C_t = F\log_2\left(1+\frac{P}{N}\right)\ \text{(比特/秒)} \]
这就是著名的香农信道容量公式，它指出：
在平均功率受限、加性高斯白噪声条件下，信息传输率存在上限。
第八节 香农公式的重要意义
揭示了带宽与信噪比对信息传输速率的基本限制；
为通信系统设计提供了理论极限；
说明提高通信速率的两条路径：
增大带宽；
提高信噪比；
是现代数字通信与编码理论的基础。