一、基本介绍

BJ模型的形式为：

其中，噪声通道 $H(z) = C(z)/D(z)$ 描述了系统的噪声特性，负责吸收所有与输入 $u_k$ 无关的波动（测量误差、未建模动态、环境漂移等）。

由于系统假设“物理过程的惯性”和“环境干扰的扩散规律”相互独立，因此BJ模型可以实现比ARMAX等模型更好的信噪分离效果。但是，有色噪声 $H(z)e_k$ 的存在导致我们无法直接使用常规的线性最小二乘法（OLS）求出解析解，必须通过非线性优化迭代算法（如 Gauss-Newton 或 Levenberg-Marquardt）来求解参数。

二、参数估计

采用预测误差法（Prediction Error Method, PEM）对BJ模型进行参数估计。首先，分离出当前时刻的白噪声项：

注意，$y_k$ 表示当前时刻输出观测值，$u_k$ 是当前时刻输入值。上式表示，如果我们知道了 $B(z)$、$F(z)$、$C(z)$ 和 $D(z)$ 的参数，以及当前时刻的输入和输出观测数据，就可以计算出当前时刻的预测误差 $e_k$，进而知道当前时刻输出的估计值：

这里的 $\hat y_k$ 是排除了噪声影响后的输出估计值，是 $u_k$ 对 $y_k$ 的真实影响。

PEM 的目标就是通过最小化所有时刻的预测误差平方和来求解参数：

对应的损失函数为：

当 $J(\theta)$ 收敛到局部最小值时，留下来的残差将退化为完美的白噪声。这代表数据中的所有有用信息（物理规律、时序相关性）已被 BJ 模型完全榨干，实现信噪分离，从而得到了输入对输出的真实影响。

一、最大似然估计

设随机变量 $X$ 的概率依赖于参数 $\theta$，概率密度函数为：

两边取自然对数有：

取使得 $l(\theta)$ 最大的 $\theta$ 作为参数估计结果 $\hat\theta_{MLE}$，此时有

式（3）左侧似然函数关于参数的偏导数被称为评估分数（score）。

二、Fisher信息量

如果 $\theta^$ 就是 $X$ 分布密度 $p(X;\theta)$ 的真实参数，则在 $\theta^$ 处式（3）评估分数的期望为0：

而Fisher信息则为评估分数对应的方差：

容易看出

如果 $l(\theta)$ 关于 $\theta$ 是二次可微的，则可证明：

对Fisher信息的直观理解：

1. 如果参数 $\theta^$ 的Fisher信息量越大，则根据式（8）中的二阶导数形式，似然函数 $l(\theta)$ 在 $\theta^$ 处的变化斜率绝对值就越大，这样一来，待估计参数 $\theta$ 值的小幅变化都会导致似然函数 $l(\theta)$ 的显著改变，那么我们就更容易准确估计 $\theta^*$ 的取值，这就表明 $X$ 携带了关于确定 $\theta$ 的更多信息；

2. 这意味着我们可以优化 $X$ 采样以提升对参数 $\theta$ 估计的准确性。

三、Fisher信息用于系统辨识

在系统辨识中，通常采用Fisher信息矩阵逆的标量函数指导最优输入信号条件的构造，从而进行参数估计。如果指标函数为

常用的度量函数 $\phi(\cdot)$ 形式有：

1. A-最优准则：$J = {\rm Tr}({\mathbf{M}}^{-1})$ 或 $J = {\rm Tr}({\mathbf W}{\mathbf M}^{-1})$；

2. D-最优准则：$J = \det({\mathbf M}^{-1})$ 或 $J = \log\left(\det\left({\mathbf M}^{-1}\right)\right)$。

其中 $\mathbf W$ 为非负定矩阵。

四、辨识输入信号选择

通过Fisher信息矩阵可知，当系统为单输入单输出且残差为独立同分布正态序列时，通过D-最优准则可获得辨识输入的自相关函数应满足脉冲形式。更一般地，Goodwin和Payne提出：如果模型结构正确，且参数估计值 $\hat\theta$ 是无偏最小方差估计，则对参数 $\hat\theta$ 的辨识精度将依赖于输入信号 $u$，**最优辨识输入信号是具有脉冲式自相关函数的信号**，即

当样本数 $N$ 很大时，白噪声或M序列可近似满足此要求；否则，并非对所有 $N$ 都能找到这种信号。

在**具体工程应用**中，辨识输入信号的选择还需考虑：

1. 输入信号的功率和幅度不应过大，避免系统工作区呈现非线性或对运行安全等构成影响；也不应过小导致辨识信噪比过低和辨识精度下降；

2. 输入信号对系统的“净扰动”要小，即使正负扰动的概率均等；

3. 维纳-辛钦关系式：输入信号频谱需宽于系统频谱以充分激励系统；

一、最大似然估计

Fisher信息由频率学派最大似然估计（Maximum Likelihood Estimation, MLE）而来。基于MLE进行参数估计：

为方便计算，取对数形式，可得：

如果概率密度/质量函数关于$\theta$可导（该前提一般都满足），则MLE估计量满足以下条件：

对于一般的线性回归模型：

如果误差项 $\epsilon$ 服从正态分布，则最小二乘（Ordinary Least Squares, OLS）所得参数估计结果与MLE相同（见最后附录），即：

则有：

二、Fisher信息

对于一组给定的观测样本 $X$，其MLE估计量 $\hat{\theta}_X$ 满足：

如果 $\theta^*$ 为真实参数，则其得分函数的期望为零：

而Fisher信息定义为得分函数的方差：

在正则条件下

$I(\theta)$ 越大，表明样本对参数 $\theta$ 估计提供的信息越多，估计方差越小。由此引出Cramér-Rao下界（CRLB）：

任何正则无偏估计量的方差都受到Cramér-Rao下界的限制：

而在大样本极限下，MLE的方差趋近于Cramér-Rao下界：

三、Matlab中对CRLB的计算

Matlab系统辨识模型一般形式为：

其中，$e(t)$ 为方差 $\lambda = \sigma^2$ 的白噪声。

接下来，Matlab采用观测Fisher信息矩阵来计算CRLB：

在Gauss-Newton或Levenberg-Marquardt优化算法中，该二阶导数Hessian矩阵被近似为雅可比矩阵的乘积，从而简化计算。

最后，计算持续激励大样本量条件下的CRLB和参数估计的协方差矩阵：

四、基于线性回归的算例

这里使用一个简单的2x2线性回归模型作为算例，以阐述Fisher信息矩阵和CRLB的计算过程。该线性回归的方程为：

其中，

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

def gen_samples(N, sigma_1, sigma_2, theta_0, theta_1):
    Sigma = np.array([[sigma_1, 0], [0, sigma_2]])
    epsilon = np.random.multivariate_normal([0, 0], Sigma, N)

    x = np.random.rand(N, 2)
    y = theta_0 + x @ theta_1.T + epsilon
    return x, y


def plot_figs(x, y):
    N = x.shape[0]
    fig = plt.figure(figsize=(4, 4))
    subfigs = fig.subfigures(1, 2, wspace=0.1)

    axs_left = subfigs[0].subplots(2, 1)
    subfigs[0].suptitle("input x")
    axs_left[0].plot(range(N), x[:, 0], alpha=1, linewidth=0.6)
    axs_left[0].set_ylabel("x1")
    axs_left[0].grid(True, alpha=0.3)
    axs_left[1].plot(range(N), x[:, 1], alpha=1, linewidth=0.6)
    axs_left[1].set_ylabel("x2")
    axs_left[1].set_xlabel("Sample index")
    axs_left[1].grid(True, alpha=0.3)
    
    axs_right = subfigs[1].subplots(2, 1)
    subfigs[1].suptitle("output y")
    axs_right[0].plot(range(N), y[:, 0], alpha=1, linewidth=0.6, color="C1")
    axs_right[0].set_ylabel("y1")
    axs_right[0].grid(True, alpha=0.3)
    axs_right[1].plot(range(N), y[:, 1], alpha=1, linewidth=0.6, color="C1")
    axs_right[1].set_ylabel("y2")
    axs_right[1].set_xlabel("Sample index")
    axs_right[1].grid(True, alpha=0.3)

    plt.show()


def est_ols_param(x, y):
    N = x.shape[0]

    # 构造设计矩阵 X_design: [1, x1, x2] for each sample
    X_design = np.hstack([np.ones((N, 1)), x])

    # OLS估计: theta_hat = (X^T X)^{-1} X^T y
    theta_hat = np.linalg.inv(X_design.T @ X_design) @ X_design.T @ y

    # 提取估计的参数
    theta_0_hat = theta_hat[0, :]
    theta_1_hat = theta_hat[1:, :].T

    # 计算Fisher信息矩阵和CRLB
    # 计算残差
    y_pred = X_design @ theta_hat
    residuals = y - y_pred
    
    # 估计噪声协方差矩阵 Sigma_hat
    Sigma_hat = (residuals.T @ residuals) / N
    
    # 计算 Sigma 的逆矩阵
    Sigma_inv = np.linalg.inv(Sigma_hat)
    
    # 计算 X^T X
    XTX = X_design.T @ X_design
    
    # 计算Fisher信息矩阵
    # Fisher_info = (X^T X) ⊗ Sigma^{-1}
    Fisher_info = np.kron(XTX, Sigma_inv)
    
    # 计算CRLB (Cramér-Rao Lower Bound)
    CRLB = np.linalg.inv(Fisher_info)
    
    # 提取参数标准差（对角线元素的平方根）
    param_std = np.sqrt(np.diag(CRLB))

    return theta_0_hat, theta_1_hat, param_std

生成样本

theta_0 = np.array([1, 2])
theta_1 = np.array([[1, 2], [3, 4]])

N = 1000
sigma_1 = 0.1
sigma_2 = 0.1

# 生成样本
x, y = gen_samples(N, sigma_1, sigma_2, theta_0, theta_1)

画图：

# 画图
plot_figs(x, y)

基于OLS进行参数估计：

theta_0_hat, theta_1_hat, param_std = est_ols_param(x, y)

print(f"theta_0_hat = {theta_0_hat}")
print(f"theta_1_hat =\n{theta_1_hat}")
print(f"param_std = {param_std}")

对比试验：样本量对估计标准差的影响

接下来，分别对比不同样本量 $N = 100, 1000, 10000$ 时所得参数估计结果和标准差：

# 完成代码,将结果整理为表格
results = []

for N in [100, 1000, 10000]:
    x, y = gen_samples(N, sigma_1=1, sigma_2=1, theta_0=np.array([1, 2]), theta_1=np.array([[1, 2], [3, 4]]))
    theta_0_hat, theta_1_hat, param_std = est_ols_param(x, y)
    results.append({
        "N": N,
        "θ₀₁": f"{theta_0_hat[0]:.4g}",
        "θ₀₂": f"{theta_0_hat[1]:.4g}",
        "θ₁₁": f"{theta_1_hat[0, 0]:.4g}",
        "θ₁₂": f"{theta_1_hat[0, 1]:.4g}",
        "θ₂₁": f"{theta_1_hat[1, 0]:.4g}",
        "θ₂₂": f"{theta_1_hat[1, 1]:.4g}",
        "std(θ₀₁)": f"{param_std[0]:.4g}",
        "std(θ₀₂)": f"{param_std[1]:.4g}",
        "std(θ₁₁)": f"{param_std[2]:.4g}",
        "std(θ₁₂)": f"{param_std[3]:.4g}",
        "std(θ₂₁)": f"{param_std[4]:.4g}",
        "std(θ₂₂)": f"{param_std[5]:.4g}"
    })

df_results = pd.DataFrame(results)
df_results

可见，增加样本量能够显著降低参数估计的标准差，提高估计的精度。

对比试验：噪声对估计标准差的影响

对比 $y_1$ 通道上加入不同强度噪声 $\sigma_1 = 0.001, 0.1, 1$ 对参数估计标准差的影响：

# 完成代码,将结果整理为表格
results_noise = []

for sigma in [0.001, 0.1, 1]:
    x, y = gen_samples(N=10000, sigma_1=sigma, sigma_2=sigma_2, theta_0=np.array([1, 2]), theta_1=np.array([[1, 2], [3, 4]]))
    theta_0_hat, theta_1_hat, param_std = est_ols_param(x, y)
    results_noise.append({
        "σ": sigma,
        "θ₀₁": f"{theta_0_hat[0]:.4g}",
        "θ₀₂": f"{theta_0_hat[1]:.4g}",
        "θ₁₁": f"{theta_1_hat[0, 0]:.4g}",
        "θ₁₂": f"{theta_1_hat[0, 1]:.4g}",
        "θ₂₁": f"{theta_1_hat[1, 0]:.4g}",
        "θ₂₂": f"{theta_1_hat[1, 1]:.4g}",
        "std(θ₀₁)": f"{param_std[0]:.4g}",
        "std(θ₀₂)": f"{param_std[1]:.4g}",
        "std(θ₁₁)": f"{param_std[2]:.4g}",
        "std(θ₁₂)": f"{param_std[3]:.4g}",
        "std(θ₂₁)": f"{param_std[4]:.4g}",
        "std(θ₂₂)": f"{param_std[5]:.4g}"
    })

df_results_noise = pd.DataFrame(results_noise)
df_results_noise

从上述结果可见，当样本量充足时，输出 $y_1$ 通道上的噪声标准差越大，与该通道有关的参数估计结果的标准差也越大，而其他通道估计结果几乎不受影响。

附录

在固定的 $\sigma^2$ 下，最大化对数似然函数等价于最小化残差平方和，即：

因此，对于线性模型，如果误差项服从正态分布，则OLS估计量等价于MLE估计量。

一、多尺度时序作用案例

设计如下图所示的案例：

图(a)展示了信号间的时序计算关系。其中，$t$ 表示时刻，信号源 $X$ 是一个均值为 0、标准差为 1 的高斯白噪声。$X$ 分别以不同的强度 $1-a_1$、$1-a_2$ 和滞后 $\tau_1$、$\tau_2$ 影响 $Y_1$ 和 $Y_2$。此外， $Y_1$ 和 $Y_2$ 还分别受到由 $a_1$、$a_2$ 调控的上一时刻状态的影响，具有不同时间尺度的自相关特性。最终，$Y_1$ 和 $Y_2$ 通过融合形成总输出 $Y$。这样一来， $Y$ 中包含了来自 $X$ 的不同滞后和时间尺度的信息，换言之，$X$ 对 $Y$ 具有多尺度多滞后的时序因果作用。

图(b)展示了对应于图(a)的变量因果作用有向图，箭头上的符号数字表示作用滞后。各信号值计算式如下：

式中 $\oplus$ 表示信号融合操作，在本文中将采用 $w_1$、$w_2$ 对 $Y_1$、$Y_2$ 加权求和的方式：$Y_t = w_1 Y_{1,t} + w_2 Y_{2,t}$，后续讨论将表明：不同权重分配将影响最终输出 $Y$ 中的主导信号特征，进而对因果分析结果产生影响。

下图分别显示了当 $a=[0.9, 0.99]$ 时，不断增加 $w_1$ 所得信号样本：

可见，$Y_1$ 和 $Y_2$ 分别构成了 $Y$ 的高频和低频成分，随着 $w_1$ 的增加，$Y$ 中 $Y_1$ 的成分逐渐增强，最终主导了 $Y$ 的变化。

二、非平稳序列的多尺度符号化分解

采用符号化技术¹对一维平稳或非平稳的连续时序数据</mark>进行编码分解，得到不同时间尺度上的离散符号序列，便于后续分析。序列的符号化原理如下所示：

关键参数为嵌入维度 $m_e$ （通常为3-5）和嵌入滞后 $\tau_e$ （$\tau_e$ 越小时间尺度越短，$\tau_e$ 越大时间尺度越长）。因此，在固定 $m_e$ 的情况下，从小到大设置 $\tau_e$ 进行符号化，便可将原始时序数据分解为不同时间尺度上的符号序列。每个符号序列的长度为 $N - (m_e-1)\tau$，其中 $N$ 为原始时序数据的长度。

下图展示了对 $Y$ 按照不同尺度参数进行符号化分解的示例，由于 $m_e=3$，离散后取得 $m_e! =6$ 种状态符号：

三、多尺度时序因果分析

对 $X$ 和 $Y$ 序列数据进行多尺度分解，将结果代入时序因果分析算法进行计算，以探究其潜在的因果关系。设 $X$ 和 $Y$ 按照时间尺度 $\tau$ 分解后的符号序列分别为 $X^{(\tau)}$ 和 $Y^{(\tau)}$，采用动量信息传递（MIT, Momentum Information Transfer）算法²对二者间的时序因果关系进行识别分析。

MIT算法源于传递熵（TE, Transfer Entropy）³，但在计算过程中引入了因变量的额外历史状态作为条件集合，能够更好地捕捉时序数据中的因果关系和滞后效应。对于符号序列 $X^{(\tau)}$ 和 $Y^{(\tau)}$，TE和MIT的计算公式如下：

下图显示了采用MIT对本文案例所述系统进行分析所得结果。分析采用Bootstrap自举方式从系统中循环地（100轮）抽取100个独立样本，然后汇总所有滞后上计算所得的MIT熵值和背景值（由置换检验获得），最终绘制MIT熵值随滞后和时间尺度的变化关系：

图中，从左往右，输出 $Y$ 中 $Y_1$ 信号权重逐渐增强，同时 $Y_2$ 信号权重不变：

1. 当 $Y_1$ 信号权重很小（$w_1=0.01$）时（最左图），输出 $Y$ 中 $Y_2$ 占主导地位，MIT 算法仅能检测出 $X$ 对 $Y$ 在滞后 $\tau_2 = 10$ 处的因果作用；
2. 当 $Y_1$ 信号权重较大（$w_1\geq0.3$）时（最右两张图），输出 $Y$ 中 $Y_1$ 占主导地位，MIT 算法相应地只检测出 $X$ 对 $Y$ 在滞后 $\tau_1 = 5$ 处的因果作用；
3. 值得注意的是，只有当权重取中等值（$w_1=0.3$）时，MIT 算法才能同时检测出 $X$ 对 $Y$ 在 $\tau_1 = 5$ 和 $\tau_2 = 10$ 处的双重因果作用。此外，该图显示 $X$ 对 $Y_1$ 成分作用对应尺度比 $Y_2$ 更小。

本案例中的多尺度现象只有在合适的权重设置下才会出现，并非普遍现象。

1. 案例构建和样本采集
2. 小样本量下的独立性检验

一、案例构建和样本采集

假定有两个独立的骰子 $X$ 和 $Y$，每个骰子有6个面。独立重复 $N_{\text{trails}}$ 次掷骰子试验，每次试验持续较少的 $N_{\text{steps}}$ 步（即小样本量）。分别记录第i次试验的第j步骰子结果为 $x_{i,j}$ 和 $y_{i,j}$。最终获得样本数组 $X_{N_{\text{trails}}×N_{\text{steps}}}$ 和 $Y_{N_{\text{trails}}×N_{\text{steps}}}$ 用于分析。

在本案例中，使用状态转移矩阵 $\pi$ 控制骰子 $X$ 和 $Y$ 各自的点数变化。

状态转移矩阵性质：

• 每个元素 $π_{i,j} \geq 0$ 表示从当前状态 $i$ 转移到下个状态 $j$ 的概率
• $\boldsymbol{\pi}$ 的每一行之和必为1
• 骰子点数为1至6，状态空间维数为6
• $\boldsymbol{\pi}$ 为 $6 \times 6$ 的矩阵

独立投掷的状态转移矩阵：

1阶投掷的状态转移矩阵：

2阶投掷的状态转移矩阵：

对于任意历史状态 $(s_{t-2}, s_{t-1}) \in \mathcal{S}^2$：

对应样本变化曲线如下：

可见，随着阶数的增加，样本序列的变化趋势逐渐平缓。因此，可以通过设计状态转移的方式对每次试验的点数变化规律进行控制。需注意，由于骰子 $X$ 和 $Y$ 相互独立，不论状态转移矩阵如何设置，$X$ 和 $Y$ 试验所得样本都应无关。

本文研究：如何使用小样本，准确检验 $X$ 和 $Y$ 的独立性，并确定马尔可夫链的阶数。

二、小样本量下的独立性检验

2.1 非马尔可夫链的独立性检验方法

如果 $X$ 和 $Y$ 的样本序列不具有马尔可夫性，则理论上在任意试验 $i$ 中，$X$ 和 $Y$ 应始终相互独立。因此，对每组样本 $x_{i}=\left[ x_{i,1},\cdots,x_{i,N_{\text{steps}}} \right]$ 和 $y_{i}=\left[ y_{i,1},\cdots,y_{i,N_{\text{steps}}} \right]$ 进行独立性检验时，结果应显示二者独立。需要注意的是，由于每次试验的步数 $N_{\text{steps}}$ 较少（实际应用中常见），必须确保在如此小样本量下，独立性检验结果依然具有可靠性。为此，置换检验和 Bootstrap 检验等非参数方法特别适合用于小样本量下复杂分布数据的独立性检验。具体而言，对于某一 $X$-$Y$ 联合分布（其来源不一定为马尔可夫链），通过独立同分布采样获得的样本 $x_{i}$ 和 $y_{i}$，可先计算互信息 $I(x_{i};y_{i})$ 以衡量其关联度，再通过置换检验进行判断：若 $I(x_{i};y_{i})$ 未显著大于 0（零假设 $H_{0}$），则接受 $X$ 与 $Y$ 无关的结论；反之，若显著大于 0（备择假设 $H_{1}$），则认为两者存在关联。

互信息是一种衡量随机变量间线性和非线性关联程度的指标，定义为：

2.1.1 排列置换检验

在零假设 $H_0$ 成立条件下（即 $X$ 和 $Y$ 样本来自同一总体），其组别标签可随机交换而不影响统计量分布。具体实施时：首先将原始样本合并为总集 $Z = X \cup Y = {z_1,\cdots,z_{N_X+N_Y}}$，随后进行 $N_{\text{perm}}$ 轮置换抽样，每轮从 $Z$ 中无放回抽取 $\lfloor(N_X+N_Y)/2\rfloor$ 个样本作为置换组 $X_k^{\text{perm}}$，剩余样本作为 $Y_k^{\text{perm}}$，并计算每轮的关联系数$I(X_k^{\text{perm}};Y_k^{\text{perm}})$；通过重复该过程构建经验分布函数

最终，结合样本实际观测值计算 $p$ 值，并与单边检验显著性水平 $\alpha$ 比较：

若 $p \leq \alpha$，则拒绝零假设 $H_0$ 接受 $H_1$，认为 $X$ 和 $Y$ 之间存在显著关联。

2.1.2 蒙特卡洛置换检验

蒙特卡洛置换检验提供了一种非参数的关联性分析方法，其流程与排列置换检验类似，但在各变量内部进行置换操作。对于一组 样本 $X$ 和 $Y$，首先计算其互信息 $I(X;Y)$。然后进行 $N_{\text{perm}}$ 次随机抽样，每次随机打乱 $X$ 顺序得到置换样本 $X_k^{\text{perm}}$，并计算互信息 $I(X_k^{\text{perm}};Y)$。最终通过多轮置换获得经验分布，计算 $p$ 值和显著性。

2.1.3 Bootstrap 检验

Bootstrap 检验是一种基于重采样的非参数方法，适用于小样本量下的独立性检验。其基本思想是通过对原始样本进行有放回抽样，构建多个 Bootstrap 样本集，从而估计统计量的分布。对于一组样本 $X$ 和 $Y$，首先计算其互信息 $I(X;Y)$。然后进行 $N_{\text{bootstrap}}$ 次随机抽样，每次从 $X$ 中有放回地抽取 $N_X$ 个样本，得到 Bootstrap 样本 $X_k^{\text{bootstrap}}$。最终通过多轮 Bootstrap 抽样获得经验分布，计算 $p$ 值和显著性。

2.2 马尔可夫链的独立性检验方法

2.1节中介绍的3种方法均适用于非马尔可夫链的独立性检验。然而，当样本序列具有马尔可夫性时，序列具有时序性和马尔可夫性，直接随机打乱样本会破坏内部的时序结构和依赖关系，丢失本底关联信息，进而造成检验结果失真。因此，针对马尔可夫链的独立性检验，需要采用更复杂的检验方法。

2.1节方法用于马尔可夫链检验的问题主要在于零假设分布样本构建失真，需要采用如下的保序替代样本（order-preserving surrogates）构建方法：

1. 设定变量数据的马尔可夫阶数 $k$，并基于原始序列 $X$ 估计状态转移矩阵$\hat{\boldsymbol{\pi}}$；
2. 利用估计的转移概率矩阵$\hat{\boldsymbol{\pi}}$，从 $X$ 的初始状态出发，随机生成保序替代样本 $X_{k}^{\text{surrog}}$，并计算其互信息 $I(X_{k}^{\text{surrog}};Y)$；
3. 重复步骤2，进行 $N_{\text{surrogates}}$ 次生成计算，得到保序替代样本互信息值的经验分布；

1. 计算原始样本的互信息 $I(X;Y)$，并与保序替代样本的经验分布进行比较，计算 $p$ 值和显著性。

三、案例分析

3.1 独立投掷样本序列

下图展示了 $N_{\text{trials}}=1000$ 组独立投掷样本序列 $X$ 和 $Y$ 所得到的真实互信息分布，以及仅通过第1组100个样本在 $N_{\text{resample}}=1000$ 次重采样参数下通过置换检验（perm）、蒙特卡洛置换检验（MC_perm）、Bootstrap 检验（Bootstrap）和马尔可夫链检验（Markov_chain）获得的零假设互信息分布。

可以看出，所有检验方法得到的零假设分布均与真实分布高度一致，说明这四种方法均能有效地检验非马尔可夫数据的独立性。

3.2 一阶投掷样本序列

下图继续展示了四种方法在1阶投掷样本序列 $X$ 和 $Y$ 上的零假设互信息分布与真实分布对比。

这次情况发生了变化，置换检验、蒙特卡洛置换检验和 Bootstrap 检验的零假设分布与真实分布存在明显负向偏差，说明这三种方法在1阶马尔可夫链数据上失效，且更容易拒绝掉实际无关的MI值，接受 $H_1$ 备择假设，导致更高的I类错误率。相比之下，只有马尔可夫链检验所得的零假设分布与真实分布高度一致，说明其能够有效地检验1阶马尔可夫数据的独立性。

综上，只有马尔可夫链检验能够同时胜任非马尔可夫链和马尔可夫链数据的独立性检验，而其他三种方法在马尔可夫链数据上会出现较高的I类错误率。在算法实现时，可将非马尔可夫链数据的阶数设为0代入计算，提升通用性。

一、算法原理

1.1 连续和离散小波变换

不同的小波 $\Psi$ 具有不同形状，每类小波 $\it\Psi$ 的基波表达式为：

其中，参数 $s$ 为尺度参数（scale），其值越大，对应小波尺度越大，频率越低；$\tau$ 为时间位移参数（translation），用于控制小波在时间方向的移动。

在 连续小波变换（continuous wavelet transform, CWT） 中，$s$ 和 $\tau$ 连续取值，计算量较大且不同频率结果之间存在冗余（对于信号重构而言），而在 离散小波变换（discrete wavelet transform, DWT） 中，$s$ 和 $\tau$ 的取值则是离散的：

其中，$j, k \in Z$，通常取 $\tau_0 = 1$，$s_0 = 2$。

注意，对于离散小波变换 DWT：

• 尺度参数表征的是频率，在子小波中尺度参数以2的倍数增长（即小波的“长度”被“拉长”了2倍），那么子小波对应能检测到的频率值也会以1/2的倍数缩小。母小波所对应的频谱位于频率谱的高端，具有最大的频率谱范围，而其他的子小波的频率谱则依次向频谱图的低频端移动，同时它们所覆盖的频率谱范围也相应地递减；
• 在理想情况下，所有的滤波器应首尾相接互相覆盖。比如在第一级分解中，尺度参数 $s_0$ 值较小，因此滤波细节信号 $D_1$ 保留了大量高频信息（高通滤波），剩余的近似信号 $A_1$ 则进入下一步采用更大尺度参数 $2\times s_0$ 的分解，依此类推。因此，小波分解所得近似信号的频率逐级递减。

1.2 单变量稳态数据识别

设待识别变量为 $X_{\rm r}$，其时序数据为 $X_{\rm r} = {x_{\rm r, 1}, \cdots, x_{\rm r, N}}$，其中 $x_{\rm r, t}$ 为第 $t$ 个时刻的数据。对 $X_{\rm r}$ 进行离散小波变换 DWT，得到 $X_{\rm r}$ 的 $J$ 级小波分解系数 $W_{\rm r} = {W_{\rm r, j, k}}$，其中 $j = 1, 2, \cdots, J$ 为分解级数，$k = 1, 2, \cdots, N$ 为分解系数的时间索引。保留 $W_{\rm r}$ 中的低频分量，将其余分量置零，然后对 $W_{\rm r}$ 进行逆小波变换，得到新的时序数据 $X$。

接下来，从滤波后的 $X = {x_1, x_2, \cdots, x_N}$ 中提取稳态数据。设在时刻 $t$ 的记录 $x_t = f(t)$，则此时 $X$ 变化的一阶和二阶导数分别为 $f’(t)$ 和 $f’‘(t)$，如果两个导数变化绝对值均低于设定阈值，则可认为此时 $X$ 处于稳态。计算过程如下：

1. 确定稳态判断阈值参数 $T_s$、$T_w$ 和 $T_u$。其中，$T_s$ 和 $T_w$ 分别为过程稳态数据的一阶和二阶导数绝对值的90%或95%分位数。$T_u = \alpha \cdot T_s$，其中 $\alpha$ 为超参数，为 (2, 5) 之间可调的整数参数。

2. 对于每个时刻 $t$：

   • 首先，计算系数 $\gamma(t)$：

     \[\gamma(t) = \left\{ \begin{align*} &0, \text{if } |f''(t)|\leq T_w \\ &\frac{f(t)-T_w}{2 T_w}, \text{if } T_w < |f''(t)|\leq 3T_w\\ &1, \text{else} \end{align*} \right.\]

   • 接下来，计算系数 $\theta(t)$：

     \[\theta(t) = (1 + \gamma(t)) |f''(t)|\]

   • 然后，计算变量的瞬时稳态系数 $\beta(t)$：

     \[\beta(t) = \left\{ \begin{align*} &0, \text{if } \theta(t) > T_u \\ &0.5\left(\cos\left(\frac{\theta(t) - T_s}{T_u - T_s}\right) + 1\right), \text{if } T_s < \theta(t) < T_u \\ &1, \text{else} \end{align*} \right.\]

     稳态系数 $\beta(t)$ 的取值范围为 [0, 1]。当 $\beta(t) = 0$ 时，表示时刻 $t$ 处于非稳态，$\beta(t)$ 的取值越接近1，表示过程在时刻 $t$ 越平稳。

   • 最后，使用稳态系数阈值 $T_{\beta} = 1 - \varepsilon$ 对当前时刻的稳态系数 $\beta(t)$ 进行判断，其中 $\varepsilon \leq 0.1$ 为超参数。若 $\beta(t) \geq T_{\beta}$，则认为时刻 $t$ 处于稳态，否则处于非稳态。

3. 当对所有时刻 $t$ 都进行了稳态判断后，便获得了稳态和非稳态数据的时刻记录 $T_{ss}$ 和 $T_{ns}$。如果要求稳态数据长度不小于某一阈值 $L$，则进一步地从 $T_{ss}$ 中提取出所有满足单段连续长度不小于 $L$ 的稳态数据段，最后形成稳态时刻片段集合 $T_{ss}^{\rm seg}$，并提取对应的稳态数据片段集合 $\left{X_{ss}^{\rm seg}\right}$。

1.3 多变量稳态数据识别

在含有 $P$ 个变量的过程中，若每个变量均达到稳态，则过程整体达到稳态。因此，可通过如下的加权方式获得过程整体的瞬时稳态系数：

其中，$w_i$ 为每个变量的权重，可由用户指定。若 $B(t) \geq T_{\beta}$，则认为整个过程在时刻 $t$ 处于稳态。同样地，可按照上述2.2节中第3步求解满足最低稳态样本量要求 $L$ 的稳态样本片段集合。

二、算例实现

2.1 单变量稳态数据识别

从样本中，变量 $x_1$ 的原始数据记录如下：

其中红色标记区域为人工挑选的用于计算参数 $T_s$、$T_w$ 的稳态数据片段，长度为500。对该片段采用db4小波进行变换，得到滤波结果如下：

可见，滤波后结果更为平滑。最终求得参数值：$T_s = 0.28$、$T_w = 0.21$、$T_u = 0.56$。

接下来，对整个 $x_1$ 信号进行稳态识别，得到结果如下：

2.2 多变量稳态数据识别

在2.1节的基础上，对同时含有多个变量过程的稳态进行识别。过程变量 $X_1$、$X_2$ 和 $X_3$ 的原始数据记录如下：

其中，红色标记区域为人工挑选的用于计算参数 $T_s$、$T_w$ 的稳态数据片段，长度为500。计算获得各变量稳定系数和过程稳定系数变化如下：

最终获得过程稳态识别结果如下：

三、参考文献

1. T. Jiang, B. Chen, X. He, et al. Application of Steady-State Detection Method Based on Wavelet Transform, Computers & Chemical Engineering, 2002.

一、定阶检验原理

1.1 基于块熵的定阶检验

块熵是信息论中用于衡量序列不确定性的指标，描述长度为 $L$ 的连续序列块的熵值，反映了系统在特定时间尺度下的复杂度，计算公式为：

如果序列完全随机，则 $H(L) = L\cdot H(1)$ 达到最大值；否则，$H(L) < L\cdot H(1)$。如果在 $L\geq K$时，$H(L+1) - H(L)$ 趋于稳定，则可以认为序列的马尔可夫阶数为 $K$。

Pethel等[1]提出了一种基于块熵和独立性检验的马尔可夫定阶方法，但我自己复现效果并不稳定，不能确定是算例的特殊性原因还是方法原因。

1.2 基于互信息和条件互信息的定阶检验

互信息（Mutual Information, MI）是衡量两个随机变量之间相互依赖关系的指标。对于离散和连续随机变量的定义分别为：

条件互信息（Conditional Mutual Information, CMI）则衡量在给定第三个变量的条件下，两个变量之间的依赖关系。CMI可基于MI推导而得：

在阶数为 $K$ 的马尔可夫链中，处于时刻 $t$ 的状态 $X_t$ 仅与前 $K$ 个状态 $X_{t-1}, X_{t-2}, \ldots, X_{t-K}$ 直接相关，因此存在如下的条件独立性：

当 $1 \leq k < K$ 时：

当 $k \geq K$ 时：

特别地：

二、定阶检验案例

骰子 $X$ 有6个面，对其进行 $N_{\text{steps}}=1000$ 次投掷，投掷过程分别遵循如下状态转移矩阵 $\boldsymbol{\pi}$ 所确定的0至2阶马尔可夫过程：

0阶投掷的状态转移矩阵：

1阶投掷的状态转移矩阵：

2阶投掷的状态转移矩阵：

对于任意历史状态 $(s_{t-2}, s_{t-1}) \in \mathcal{S}^2$：

检验结果如下：

0阶投掷的检验结果：

1阶投掷的检验结果：

2阶投掷的检验结果：

可见，基于MI和CMI的定阶检验方法能够有效地识别出马尔可夫链的阶数，在对应阶数处的信息量分布与背景分布呈现显著差异。

此过程还涉及Markov链自举重采样和多维变量概率密度估计等细节问题，此处按下不表。

参考文献

[1] S.D. Pethel, D.W. Hahs: Exact Test of Independence Using Mutual Information, 2014.

一、基本介绍

设样本集为

其中，$k$ 为样本索引，$N$ 为样本量，$p$ 为特征维数。GAM 的一般形式为

其中：

• $g(\cdot)$ 是链接函数；
• $\mu_k$ 是条件均值；
• $\beta_0$ 是截距项；
• $f_i(\cdot)$ 是第 $i$ 个特征对应的平滑函数。

当响应变量服从高斯分布且取恒等链接 $g(\mu)=\mu$ 时，上式退化为更熟悉的加性回归形式：

其中通常假设 $\varepsilon_k \overset{\text{i.i.d.}}{\sim} \mathcal{N}(0,\sigma^2)$。

需要注意的是，GAM 中截距项与各个平滑函数之间存在可辨识性问题。为使分解唯一，通常需要施加约束，例如

这样可以避免平滑函数中的常数部分与截距项 $\beta_0$ 混淆。

二、单特征拟合

以下为便于说明，先考虑单特征情形，并假设响应变量为高斯型且采用恒等链接。此时模型写为

这里将唯一的平滑函数记为 $f(\cdot)$。常见的平滑表示方式包括：

• 多项式回归：$f(x)=\beta_1 x+\beta_2 x^2+\cdots+\beta_d x^d$；
• 回归样条：$f(x)=\sum_{j=1}^{m} \beta_j B_j(x)$；
• 平滑样条：在样条表示基础上加入平滑惩罚；
• 核回归：通过核函数对邻近样本加权；
• 局部加权回归：在局部邻域内做加权拟合。

其中，样条基函数展开是最常用的形式之一。

2.1 基函数展开

设选择了 $m$ 个基函数 $B_1(x),\cdots,B_m(x)$，则可将平滑函数写为

因此，对任意一个样本点 $x_k$，都有

从而模型可表示为

这里需要强调：上式只是对函数 $f(x)$ 的表示方式，并不意味着仅凭单个样本点 $(x_k,y_k)$ 就能估计全部参数。参数估计必须依赖多个样本点共同完成。

在实际应用中，常选用 B 样条作为基函数，因为它兼具局部支撑性、数值稳定性和较强的拟合能力。通过调整基函数个数 $m$ 及节点位置，可以控制模型复杂度与拟合效果 1。

2.2 单特征多点拟合

给定 $N$ 个样本点 $(x_k,y_k)$，将上式对所有样本同时写出，可得矩阵形式

其中

其中，设计矩阵 $\mathbf{B}\in\mathbb{R}^{N\times(m+1)}$ 的第一列对应截距项，其余各列对应基函数在样本点处的取值。

若暂不考虑平滑惩罚，则可通过最小二乘法求解

当 $\mathbf{B}^\top \mathbf{B}$ 可逆时，最小二乘解为

若 $\mathbf{B}^\top \mathbf{B}$ 不可逆，则通常需要使用广义逆或引入正则化。

2.3 惩罚回归

当基函数个数 $m$ 较大时，仅最小化残差平方和虽然能提高训练集拟合程度，但也更容易导致过拟合，即拟合曲线过于波动、泛化能力下降。

为控制平滑函数的复杂度，通常在损失函数中加入惩罚项，得到

其中：

• 第一项为残差平方和，用于衡量拟合误差；
• 第二项 $\lambda J(f)$ 为惩罚项，用于控制函数复杂度；
• $\lambda\ge 0$ 为平滑参数，用于平衡拟合精度与平滑程度。

常见的惩罚形式是函数曲率的平方积分：

其含义是：若函数二阶导数较大，说明曲线弯曲更剧烈，则惩罚更强；若函数更平滑，则惩罚更小。

平滑参数 $\lambda$ 的作用可概括为：

• 当 $\lambda=0$ 时，模型退化为普通最小二乘拟合；
• 当 $\lambda$ 较小时，模型更强调贴合数据；
• 当 $\lambda$ 较大时，模型更强调函数平滑；
• 当 $\lambda\to\infty$ 时，函数会被强烈约束到更简单的形式。

在矩阵形式下，惩罚回归通常写为

其中 $\mathbf{\Omega}$ 是由基函数及其导数构造出的惩罚矩阵。若不对截距项施加惩罚，则通常令 $\mathbf{\Omega}$ 的第一行和第一列为零。

当矩阵 $\mathbf{B}^\top\mathbf{B}+\lambda\mathbf{\Omega}$ 可逆时，解可写为

因此，GAM 的核心思想之一就是：通过“基函数展开 + 平滑惩罚”的方式，在保留非线性拟合能力的同时抑制过拟合。

三、多特征拟合

在多特征情形下，GAM 假设每个特征都对应一个平滑函数。在高斯响应、恒等链接的设定下，模型写为

例如，当 $p=2$ 时，有

这种结构能够分别刻画各个特征对响应变量的非线性影响，同时保持较强的可解释性。

若对每个特征 $x_{k,i}$ 都选取 $m_i$ 个基函数 $B_{i,1}(\cdot),\cdots,B_{i,m_i}(\cdot)$，则第 $i$ 个平滑函数可表示为

于是整体模型可写为

将所有样本写成矩阵形式，仍可记为

其中设计矩阵 $\mathbf{B}$ 的每一行对应一个样本，包含截距项以及所有特征对应的基函数取值，即

相应地，参数向量为

若采用惩罚估计，则优化问题可写为

其中 $\lambda_i\ge 0$ 是第 $i$ 个平滑函数对应的平滑参数。若为简化起见，也可以取统一的平滑参数，即令 $\lambda_1=\cdots=\lambda_p=\lambda$。

常见的惩罚项形式为

于是总体惩罚可写为

在矩阵形式下，上式可进一步写为

其中 $\mathbf{\Omega}$ 通常为分块对角矩阵，其各个分块分别对应不同平滑函数的惩罚矩阵，截距项对应的分块取零。

综上，GAM 通过将高维非线性关系分解为若干个一维平滑函数之和，在模型灵活性与可解释性之间取得了较好的平衡。

1. 先用默认的 LinearGAM 作为同方差基线；
2. 再用 LinearGAM + FGLS 近似处理异方差；
3. 对比两种预测区间在噪声随 $x$ 增大时的差异。

一、环境配置

conda create -n pyGAM python=3.11
conda activate pyGAM

pip install pygam==0.12.0
pip install seaborn==0.13.2
pip install jupyter==1.1.1

导入必要的库：

from matplotlib.ticker import MultipleLocator, AutoMinorLocator
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

from pygam import LinearGAM

二、生成测试样本

本算例展示三项内容：

1. 先用默认的 LinearGAM 作为同方差基线；
2. 再用 LinearGAM + FGLS 近似处理异方差；
3. 对比两种预测区间在噪声随 $x$ 增大时的差异。

生成测试样本：

1. 均值函数设为 $3 + \log(x + 1)$；
2. 噪声标准差设为 $0.1(0.1x + 1)$，因此噪声会随 $x$ 增大而增大；
3. 固定随机种子，保证 notebook 每次运行结果一致。

rng = np.random.default_rng(42)
x_samples = np.linspace(0, 100, 1000)
X = x_samples.reshape(-1, 1)

y_true = 3 + np.log(x_samples + 1)
noise_scale = 0.1 * (0.1 * x_samples + 1)
y_samples = y_true + rng.normal(0, noise_scale, size=x_samples.shape)

先定义统一的绘图辅助函数，并查看模拟样本。

def configure_plot_style():
    plt.rcParams["font.family"] = "Times New Roman"
    plt.rcParams["mathtext.fontset"] = "stix"


def apply_axis_style(ax, x_values, y_values, title, xlabel="$x$", ylabel="$y$"):
    x_step = max(1, int(np.max(x_values) / 20))
    y_range = max(float(np.max(y_values) - np.min(y_values)), 1.0)
    y_step = max(0.5, round(y_range / 10, 1))

    ax.xaxis.set_major_locator(MultipleLocator(x_step))
    ax.xaxis.set_minor_locator(AutoMinorLocator(2))
    ax.yaxis.set_major_locator(MultipleLocator(y_step))
    ax.yaxis.set_minor_locator(AutoMinorLocator(5))

    ax.grid(True, which="major", linestyle="-", linewidth=0.8, alpha=0.35, color="#4C4C4C")
    ax.grid(True, which="minor", linestyle="--", linewidth=0.5, alpha=0.2, color="#4C4C4C")
    ax.set_title(title, fontsize=14)
    ax.set_xlabel(xlabel, fontsize=12)
    ax.set_ylabel(ylabel, fontsize=12)
    ax.tick_params(axis="both", which="major", labelsize=11, length=6, width=1.0)
    ax.tick_params(axis="both", which="minor", length=3, width=0.8)


def plot_samples(ax, x_values, y_values, label="Samples", alpha=0.9):
    return sns.scatterplot(
        x=x_values, y=y_values,
        s=42, color="#2E86AB",
        edgecolor="white", linewidth=0.6, alpha=alpha,
        ax=ax, label=label
    )


configure_plot_style()
fig, ax = plt.subplots(figsize=(9, 5.5))
plot_samples(ax, x_samples, y_samples)
apply_axis_style(ax, x_samples, y_samples, "Log Relationship with Heteroscedastic Noise")
sns.despine()
plt.tight_layout()

三、同方差 vs 异方差GAM建模

3.1 同方差模型

接下来，采用GAM对数据进行拟合：

先给出同方差基线模型。这里的 LinearGAM 使用单一噪声尺度，因此适合作为对照，而不是最终的异方差解法。

gam_homo = LinearGAM(
    n_splines=10,
    spline_order=3,
    fit_intercept=True
).fit(X, y_samples)

绘制同方差基线模型的均值曲线、95% 置信区间（CI）和 95% 预测区间（PI）。

y_pred_homo = gam_homo.predict(X)
y_ci_homo = gam_homo.confidence_intervals(X, width=0.95)
y_pi_homo = gam_homo.prediction_intervals(X, width=0.95)

configure_plot_style()
fig, ax = plt.subplots(figsize=(9, 5.5))
plot_samples(ax, x_samples, y_samples)
ax.fill_between(x_samples, y_pi_homo[:, 0], y_pi_homo[:, 1], color="#8E9AAF", alpha=0.22, label="95% PI (homoscedastic)")
ax.plot(x_samples, y_pred_homo, color="#E76F51", linewidth=2.2, label="LinearGAM mean")
ax.fill_between(x_samples, y_ci_homo[:, 0], y_ci_homo[:, 1], color="#E76F51", alpha=0.25, label="95% CI (mean)")
apply_axis_style(
    ax,
    x_samples,
    np.concatenate([y_samples, y_pi_homo.ravel()]),
    "Homoscedastic LinearGAM: 95% CI vs 95% PI"
 )
ax.legend(frameon=False)
sns.despine()
plt.tight_layout()

可以看到，基线模型的均值拟合是合理的，但其预测区间宽度变化较弱。原因是默认 LinearGAM 把噪声方差看作常数，因此不能显式表达“噪声随 $x$ 增大”的结构。

3.2 异方差模型

下面使用 LinearGAM + FGLS 做近似异方差建模。思路分三步：

1. 先用基线模型得到残差；
2. 对 $\log(\hat\varepsilon^2)$ 再拟合一个 GAM，估计方差函数；
3. 用 $1/\hat\sigma^2(x)$ 作为权重重新拟合均值模型。

residuals_homo = y_samples - y_pred_homo

eps = 1e-10
log_res2 = np.log(residuals_homo ** 2 + eps)
var_gam = LinearGAM(
    n_splines=10,
    spline_order=3,
    fit_intercept=True
).fit(X, log_res2)

sigma_sq_fgls = np.exp(var_gam.predict(X))
weights_fgls = 1.0 / np.clip(sigma_sq_fgls, 1e-6, None)

gam_fgls = LinearGAM(
    n_splines=10,
    spline_order=3,
    fit_intercept=True
).fit(X, y_samples, weights=weights_fgls)

y_pred_fgls = gam_fgls.predict(X)
y_ci_fgls = gam_fgls.confidence_intervals(X, width=0.95)
sigma_fgls = np.sqrt(np.exp(var_gam.predict(X)))
z_score = 1.96
y_pi_fgls = np.column_stack([
    y_pred_fgls - z_score * sigma_fgls,
    y_pred_fgls + z_score * sigma_fgls,
])

print("FGLS 拟合完成：已同时得到均值模型和随 x 变化的噪声标准差估计。")

FGLS 拟合完成：已同时得到均值模型和随 x 变化的噪声标准差估计。

configure_plot_style()
fig, axes = plt.subplots(1, 2, figsize=(14, 5.5))

ax = axes[0]
plot_samples(ax, x_samples, y_samples, alpha=0.3)
ax.fill_between(x_samples, y_pi_homo[:, 0], y_pi_homo[:, 1], color="#A0A0A0", alpha=0.2, label="95% PI (homoscedastic)")
ax.fill_between(x_samples, y_pi_fgls[:, 0], y_pi_fgls[:, 1], color="#4E5A6E", alpha=0.4, label="95% PI (heteroscedastic)")
ax.plot(x_samples, y_pred_fgls, color="#E76F51", linewidth=2.3, label="FGLS mean")
ax.plot(x_samples, y_true, color="#1D3557", linewidth=1.8, linestyle="--", alpha=0.75, label="True mean")
apply_axis_style(
    ax,
    x_samples,
    np.concatenate([y_samples, y_pi_homo.ravel(), y_pi_fgls.ravel()]),
    "Prediction Interval: Homoscedastic vs Heteroscedastic"
 )
ax.legend(frameon=False)

ax = axes[1]
ax.plot(x_samples, noise_scale, color="#1D3557", linewidth=2.2, linestyle="--", label="True noise std")
ax.plot(x_samples, sigma_fgls, color="#E76F51", linewidth=2.2, label="Estimated noise std")
ax.fill_between(x_samples, 0, sigma_fgls, color="#E76F51", alpha=0.12)
apply_axis_style(
    ax,
    x_samples,
    np.concatenate([noise_scale, sigma_fgls]),
    "Noise Std: Truth vs FGLS Estimate",
    ylabel="Standard deviation"
 )
ax.legend(frameon=False)

sns.despine()
plt.tight_layout()
plt.show()

四、结论

1. 默认 LinearGAM 更适合作为同方差基线，它的 PI 宽度主要由单一噪声尺度决定；
2. LinearGAM + FGLS 通过“残差建模 + 加权重拟合”可以近似刻画异方差；
3. 在这个合成示例里，FGLS 给出的预测区间会随 $x$ 增大而变宽，同时估计出的噪声标准差也能较好追踪真实趋势。