具体描述
内容简介
本书系统地阐释了各种非线性卡尔曼滤波器的基本原理及其在信号处理、混沌通信、生物信息学以及传感器网络中的应用。全书共10章。首先介绍了卡尔曼滤波器等自适应滤波器的基本原理与方法;以容积卡尔曼滤波器为例,讨论采用概率密度函数近似这一类非线性卡尔曼滤波器的增益特性、发展及应用;探讨非线性卡尔曼滤波器在生物信息学、信号处理和混沌通信等领域的应用;然后,就滤波器的阵列算法,重点讨论双非线性卡尔曼滤波器和反馈型非线性卡尔曼滤波器的基本原理和方法;最后,针对非线性卡尔曼滤波器的其他形式,详细讨论了一类非线性卡尔曼信息滤波器的原理及其稳定性分析;将非线性卡尔曼滤波器与粒子滤波器相结合构成另一类非线性滤波器,详细讨论这类非线性滤波器在传感器网络中的各种应用。 作者简介
2012年8月至2013年8月在香港理工大学从事副研究员研究工作。科研项目(1)国家自然科学基金项目:求容积分卡尔曼滤波器的数值稳定算法探索及其在混沌通信中的应用.(项目编号:61101232,2012.1-2014.12,项目负责人)(2)中央高校基本科研业务费专项重点项目:基于数值积分方法的贝叶斯滤波理论探索及其在目标跟踪中的应用(项目编号:XDJK2014B001:2014.1-2016.12,项目负责人)(3)中央高校基本科研业务费专项:基于Cubature卡尔曼滤波器的混沌通信系统的研究.(XDJK2010C024),2010.8-2012.7,项目负责人,已结题)(4)西南大学博士基金:求容积分卡尔曼滤波算法的研究及其应用.(SWU111027,2011.10-2014.9,项目负责人)(5)国家自然科学基金:基于纠错编码理论的最小基因组设计方法的研究。(项目编号:61001157,2011.1-2013.12,第二主研)(6)国家自然科学基金:基于MEMS光交叉的二维反馈迭代函数系统的全光实现.(61071190,2011.1-2013.12,第三主研) 目录
第1章 自适应滤波器基本原理 1
1.1 引言 1
1.2 自适应滤波器 2
1.3 最小均方误差 4
1.4 最小均方自适应滤波器 6
1.4.1 最速下降法 6
1.4.2 最小均方自适应滤波 7
1.5 递归最小二乘自适应滤波器 8
1.5.1 最小二乘法 8
1.5.2 递归最小二乘法 9
1.6 卡尔曼滤波器 10
1.7 粒子滤波器 12
1.8 本章小结 13
参考文献 13
第2章 卡尔曼滤波器原理及分类 15
2.1 引言 15
2.2 线性连续系统的离散化 15
2.3 线性离散卡尔曼滤波器 17
2.3.1 贝叶斯滤波理论 17
2.3.2 线性最小方差估计 18
2.4 非线性离散卡尔曼滤波器 22
2.4.1 非线性函数的近似 25
2.4.2 概率密度函数的近似 31
2.5 本章小结 36
参考文献 36
第3章 容积卡尔曼滤波器 39
3.1 引言 39
3.2 数值积分 39
3.3 容积积分准则 44
3.3.1 积分坐标变换 44
3.3.2 球面-径向准则 45
3.3.3 径向准则 49
3.3.4 容积准则 51
3.4 矩阵分解 55
3.5 球面-径向容积卡尔曼滤波器 57
3.5.1 滤波算法 57
3.5.2 收敛性分析 64
3.5.3 仿真分析 66
3.6 球面单纯形-径向容积卡尔曼滤波器 71
3.6.1 滤波算法 71
3.6.2 仿真分析 72
3.7 本章小结 75
参考文献 76
第4章 非线性卡尔曼滤波算法的增益特性 78
4.1 引言 78
4.2 状态空间模型及特性 78
4.3 标量先导卡尔曼滤波算法及其增益特性分析 83
4.3.1 滤波算法 83
4.3.2 卡尔曼增益特性的理论分析 84
4.3.3 仿真分析 88
4.4 标量容积卡尔曼滤波算法及其增益特性分析 91
4.4.1 滤波算法 91
4.4.2 卡尔曼增益特性的理论分析 92
4.4.3 仿真分析 93
4.5 本章小结 95
参考文献 96
第5章 非线性卡尔曼滤波器系列的应用 97
5.1 引言 97
5.2 基因识别 99
5.2.1 研究现状 99
5.2.2 基于符号动力学的DNA序列表示方法 102
5.2.3 基于非线性卡尔曼滤波器的基因识别 110
5.3 混沌信号的滤波与混沌通信 117
5.3.1 混沌 117
5.3.2 混沌的定义 117
5.3.3 混沌的主要特征 119
5.3.4 基于混沌的通信 124
5.3.5 仿真分析 129
5.4 盲信号分离 143
5.4.1 盲信号分离问题概述 143
5.4.2 基于卡尔曼滤波器的盲信号分离算法 145
5.4.3 基于非线性卡尔曼滤波器的盲信号分离算法 151
5.5 本章小结 162
参考文献 162
第6章 双非线性卡尔曼滤波器系列 167
6.1 引言 167
6.2 双非线性卡尔曼滤波器 168
6.2.1 状态估计 168
6.2.2 参数估计 172
6.2.3 双估计 173
6.3 仿真分析 174
6.3.1 信道均衡 174
6.3.2 通信 181
6.4 本章小结 188
参考文献 188
第7章 非线性卡尔曼滤波器阵列算法 190
7.1 引言 190
7.2 滤波器阵列 191
7.2.1 系统模型 191
7.2.2 反馈型先导卡尔曼滤波器阵列算法 192
7.2.3 反馈型平方根先导卡尔曼滤波器阵列算法 195
7.3 仿真分析 197
7.3.1 两用户通信 197
7.3.2 多用户通信 202
7.4 本章小结 203
参考文献 204
第8章 非线性卡尔曼信息滤波器 206
8.1 引言 206
8.2 矩阵求逆引理 206
8.3 两种信息矩阵的更新 207
8.4 扩展卡尔曼信息滤波器 209
8.5 非线性信息滤波器 210
8.5.1 一类非线性信息滤波器 211
8.5.2 平方根非线性信息滤波器 214
8.5.3 稳定性分析 218
8.6 仿真分析 224
8.6.1 稳定性仿真 224
8.6.2 轨迹跟踪 229
8.7 本章小结 232
参考文献 232
第9章 传感器网络中的信号盲分离 234
9.1 引言 234
9.2 传感器网络中的信号盲分离 236
9.2.1 盲分离模型 236
9.2.2 信号量化 238
9.2.3 盲分离算法 243
9.2.4 算法复杂度分析 246
9.2.5 仿真分析 246
9.3 本章小结 250
参考文献 251
第10章 传感器网络中的信号重构 253
10.1 引言 253
10.2 传感器网络中的信号重构 254
10.2.1 信号重构模型 254
10.2.2 信号量化 255
10.2.3 信号重构算法 256
10.2.4 算法复杂度分析 259
10.2.5 仿真分析 259
10.3 本章小结 263
参考文献 263 前言/序言
《高斯过程回归:理论、算法与应用》 一、 什么是高斯过程回归? 高斯过程回归(Gaussian Process Regression, GPR)是一种强大而灵活的非参数贝叶斯模型,用于解决回归问题。它通过定义一个定义在函数空间上的概率分布来处理数据,而不是像传统回归方法那样假设一个固定的函数形式。具体来说,高斯过程将待建模的未知函数看作是从一个高斯过程中抽取的一个样本。 高斯过程由其均值函数和协方差函数(也称为核函数)完全确定。均值函数描述了函数在不同点的期望值,而协方差函数则描述了函数在不同点之间的相关性。这种相关性是高斯过程回归的核心,它能够捕捉到数据中的平滑度和局部结构。 二、 高斯过程回归的核心理论 1. 高斯过程的定义: 一个随机变量的集合 ${Y(x) | x in X}$ 被称为一个高斯过程,如果对于任意有限的输入点集合 ${x_1, x_2, ldots, x_n} subset X$,对应的函数值 ${Y(x_1), Y(x_2), ldots, Y(x_n)}$ 服从一个联合高斯分布。 这个联合高斯分布由以下两个部分定义: 均值函数 $m(x)$: $E[Y(x)] = m(x)$,它描述了函数在输入 $x$ 处的期望值。在许多应用中,为了简化模型,我们通常假设均值函数为零,$m(x) = 0$。 协方差函数 $k(x, x')$: $Cov[Y(x), Y(x')] = k(x, x')$,它描述了函数在输入 $x$ 和 $x'$ 处的值之间的协方差。这个函数是高斯过程回归的核心,它决定了函数的光滑度、周期性、衰减特性等。 2. 条件概率分布: 给定一组训练数据点 ${(x_i, y_i)}_{i=1}^n$,其中 $y_i = Y(x_i) + epsilon_i$,$epsilon_i$ 是独立同分布的高斯噪声,方差为 $sigma^2$,即 $epsilon_i sim mathcal{N}(0, sigma^2)$。 我们可以将训练数据表示为向量形式: $mathbf{y} = [y_1, y_2, ldots, y_n]^T$ $mathbf{X} = [x_1, x_2, ldots, x_n]^T$ (如果 $x_i$ 是标量) 或 $mathbf{X} = [x_1^T, x_2^T, ldots, x_n^T]^T$ (如果 $x_i$ 是向量) 令 $mathbf{K}$ 为一个 $n imes n$ 的协方差矩阵,其中 $mathbf{K}_{ij} = k(x_i, x_j)$。 令 $mathbf{k}_ = [k(x_, x_1), k(x_, x_2), ldots, k(x_, x_n)]^T$ 为在测试点 $x_$ 和所有训练点之间的协方差向量。 令 $k_{} = k(x_, x_)$ 为在测试点 $x_$ 自身的协方差。 如果均值函数为零,并且考虑了噪声,那么联合分布为: $$ egin{bmatrix} mathbf{y} \ Y(x_) end{bmatrix} sim mathcal{N} left( mathbf{0}, egin{bmatrix} mathbf{K} + sigma^2 mathbf{I} & mathbf{k}_ \ mathbf{k}_^T & k_{} end{bmatrix}
ight) $$ 其中 $mathbf{I}$ 是单位矩阵。 根据高斯分布的条件概率性质,给定训练数据 $mathbf{y}$,测试点 $x_$ 处的函数值 $Y(x_)$ 的后验分布是另一个高斯分布: $$ Y(x_) | mathbf{X}, mathbf{y}, x_ sim mathcal{N}(mu(x_), Sigma(x_)) $$ 其后验均值和方差为: $$ mu(x_) = mathbf{k}_^T (mathbf{K} + sigma^2 mathbf{I})^{-1} mathbf{y} $$ $$ Sigma(x_) = k_{} - mathbf{k}_^T (mathbf{K} + sigma^2 mathbf{I})^{-1} mathbf{k}_ $$ 这就是高斯过程回归进行预测的核心公式。后验均值 $mu(x_)$ 提供了对未知函数在 $x_$ 处值的最佳估计,而后验方差 $Sigma(x_)$ 则量化了预测的不确定性。 3. 协方差函数的选择 (核函数): 核函数是高斯过程回归的灵魂,它决定了模型的行为。不同的核函数可以捕捉到不同类型的数据模式。常用的核函数包括: 平方指数核 (Squared Exponential Kernel / RBF Kernel): $k(x, x') = sigma_f^2 expleft(-frac{|x - x'|^2}{2l^2}
ight)$ 这是一个非常常用且平滑的核函数,能够捕捉到几乎所有可微的函数。$sigma_f^2$ 控制了函数的幅度,而 $l$ (长度尺度) 控制了函数的光滑度和变化速度。 Matern 核: $k(x, x') = sigma_f^2 frac{2^{
u}}{Gamma(
u)} left(frac{sqrt{2
u}|x - x'|}{l}
ight)^
u K_
uleft(frac{sqrt{2
u}|x - x'|}{l}
ight)$ 其中 $Gamma$ 是伽马函数, $K_
u$ 是修正贝塞尔函数。Matern 核族比平方指数核更通用,通过调整参数 $
u$,可以控制函数的平滑度。当 $
u = infty$ 时,Matern 核收敛于平方指数核。当 $
u = 1/2$ 时,对应于指数核,它描述的是马尔可夫过程,函数不一定可微。当 $
u = 3/2$ 时,函数一阶可微。当 $
u = 5/2$ 时,函数二阶可微。 周期核 (Periodic Kernel): $k(x, x') = sigma_f^2 expleft(-frac{2 sin^2(frac{pi|x - x'|}{p})}{l^2}
ight)$ 这个核函数可以捕捉到具有周期性模式的数据。$p$ 控制了周期。 线性核 (Linear Kernel): $k(x, x') = sigma_0^2 + sigma_w^2 (x - c)^T (x' - c)$ 适合捕捉线性趋势。 组合核: 可以通过线性组合或乘积的方式组合不同的核函数,以捕捉更复杂的函数行为。例如,一个周期核与一个平方指数核相加,可以建模一个周期性的信号叠加一个非周期性的平滑扰动。 4. 超参数优化: 核函数通常包含一些超参数(如 $sigma_f^2$, $l$, $sigma^2$ 等)。这些超参数的取值对模型的性能至关重要。通过最大化观测数据的边际对数似然函数来学习这些超参数: $$ log p(mathbf{y}|mathbf{X}) = -frac{1}{2} mathbf{y}^T (mathbf{K} + sigma^2 mathbf{I})^{-1} mathbf{y} - frac{1}{2} log|mathbf{K} + sigma^2 mathbf{I}| - frac{n}{2} log(2pi) $$ 通常使用梯度下降等优化算法来求解。 三、 高斯过程回归的算法实现 1. 预测: 计算后验均值和方差的步骤如下: 计算协方差矩阵 $mathbf{K}$ 和 $mathbf{k}_$。 计算 $(mathbf{K} + sigma^2 mathbf{I})^{-1}$。这是一个 $n imes n$ 的矩阵求逆操作,计算复杂度为 $O(n^3)$。 利用该逆矩阵和 $mathbf{k}_, mathbf{y}$ 计算后验均值和方差。 2. 超参数优化: 计算边际对数似然函数。 计算其梯度,以便进行优化。 使用例如共轭梯度法 (Conjugate Gradient) 或 L-BFGS 等优化算法更新超参数。 3. 潜在的计算瓶颈: 高斯过程回归最主要的计算瓶颈在于矩阵求逆和矩阵乘法,其复杂度与训练数据点的数量 $n$ 呈立方关系 ($O(n^3)$) 进行预测,以及 $O(n^2)$ 进行超参数更新。当训练数据量较大时,直接计算会变得非常缓慢,甚至不可行。 4. 应对大规模数据的近似方法: 为了解决计算复杂度问题,许多近似方法被提出,主要可以分为以下几类: 稀疏高斯过程 (Sparse Gaussian Processes): 引入一组“伪输入点”或“伪观测点”,通过对这些伪点进行建模,来近似原始的高斯过程。常见的有 FITC (Fully Independent Training Conditional), VFE (Variational Free Energy) 等。 低秩近似 (Low-Rank Approximations): 利用核矩阵的低秩性质,通过分解或截断来近似计算。 基于分解的方法: 将高斯过程的计算分解到子区域或局部模型上。 随机特征法 (Random Feature Methods): 将高斯过程表示为大量随机基函数的线性组合,从而将非参数模型转化为参数模型,降低计算复杂度。 四、 高斯过程回归的应用领域 高斯过程回归的强大能力和灵活的建模方式使其在众多领域得到了广泛的应用: 1. 机器学习和模式识别: 回归任务: 作为一种通用的回归器,可以直接应用于各种回归问题。 分类任务: 可以通过集成学习或转化为概率分类器来解决分类问题。 降维和特征学习: 用于学习数据的潜在表示。 2. 机器人学和控制: 运动规划: 学习机器人运动的动力学模型,进行安全和最优的运动规划。 模型预测控制 (MPC): 建立精确的系统模型,用于预测和控制。 传感器数据融合: 融合来自不同传感器的信息,进行状态估计。 轨迹优化: 优化机器人执行特定任务的轨迹。 3. 科学和工程: 地球科学: 地质建模、地震预测、气候变化建模。 材料科学: 预测材料性能、设计新材料。 物理学: 粒子物理实验数据分析、场论建模。 生物医学: 基因表达分析、药物发现、疾病建模。 金融工程: 资产定价、风险管理、时间序列预测。 计算机图形学: 形状建模、纹理合成。 4. 优化问题: 贝叶斯优化 (Bayesian Optimization): 高斯过程回归是贝叶斯优化的核心组件,用于高效地优化昂贵的黑盒函数,例如超参数调优、实验设计、机器人控制策略搜索等。贝叶斯优化利用高斯过程的后验均值和方差来指导搜索过程,平衡探索和利用。 5. 环境监测和预测: 空气质量预测: 基于历史数据和气象信息,预测未来的空气质量。 水文建模: 预测水位、降雨量等。 噪声建模: 估计和预测环境中噪声的传播。 五、 高斯过程回归的优点和局限性 优点: 提供不确定性估计: 高斯过程回归的输出不仅仅是一个点估计,还伴随着一个量化的不确定性度量(后验方差),这在许多需要风险评估的应用中至关重要。 非参数模型: 无需预先假设数据遵循特定的函数形式,能够自适应地学习数据的复杂结构。 灵活的核函数: 可以通过选择和组合不同的核函数来捕捉各种数据特性,如平滑度、周期性、衰减等。 贝叶斯框架: 具备贝叶斯推断的优点,能够方便地进行模型更新和信息融合。 在小数据集上表现良好: 在数据量较少时,通常比许多参数模型表现更优。 局限性: 计算复杂度高: 对于大规模数据集,直接的 $O(n^3)$ 预测和 $O(n^2)$ 更新复杂度是主要障碍。 核函数选择困难: 选择合适的核函数需要一定的经验和领域知识。 对高维数据敏感: 在非常高的维度空间中,核函数的有效性可能会下降(维度灾难)。 模型解释性相对较弱: 相较于线性模型等,高斯过程的内部工作机制(尤其是核函数)的直观解释性可能不如参数模型。 六、 结论 高斯过程回归作为一种强大的贝叶斯非参数回归方法,凭借其灵活的建模能力和丰富的理论基础,在众多科学与工程领域展现出巨大的潜力。虽然在处理大规模数据集时存在计算挑战,但不断发展的近似方法正在不断拓展其应用边界。深入理解高斯过程回归的原理、掌握各类核函数的特性及其在不同应用场景下的选择,对于构建更精确、更鲁棒的预测模型至关重要。