粒子滤波器 （英语：particle filter ）是一种使用蒙特卡罗方法 的递归滤波器 ，透过一组具有权重的随机样本（粒子）来表示随机事件 的后验概率 ，从含有噪声或不完整的观测序列，估计出动力系统的状态，粒子滤波器可以运用在任何状态空间 的模型上。粒子滤波器是卡尔曼滤波器 的一般化方法，卡尔曼滤波器建立在线性的状态空间和高斯分布 的噪声上；而粒子滤波器的状态空间模型可以是非线性，且噪声分布可以是任何型式。
从统计和概率的角度来看，粒子滤波器属于遗传算法 分支过程 的类别，并且是指平均场类型相互作用的粒子方法。 这些粒子方法的解释取决于科学专业。 在进化计算中，平均场遗传类型粒子方法通常用作启发式和自然搜索算法（也称为元启发算法 ）。在计算物理学 和分子化学 中，它们用于解决费曼-卡兹(Feynman-Kac)路径积分问题，或者用于计算玻尔兹曼-吉布斯(Boltzmann-Gibbs)度量，薛定谔 算子的最高特征值和基态。在生物学 与遗传学 中，它们还代表了某些环境中一群个体或基因的进化。
平均场类型进化计算技术的起源于1950年艾伦·图灵 在遗传类型突变选择学习机上的开创性工作，以及1954年新泽西州 普林斯顿高级研究所 的尼尔斯·艾尔·巴里切利 (Nils Aall Barricelli)的文章。统计学 中的粒子滤波器最早可追溯到1950年代中期。哈默斯利(Hammersley)等人在1954年提出的“穷人的蒙特卡洛”法暗示了当今使用的遗传类型粒子过滤方法。 1963年，尼尔斯·艾尔·巴里切利(Nils Aall Barricelli)模拟了一种遗传类型算法，以模仿个人玩简单游戏的能力。在进化计算 文献中，遗传类型突变选择算法通过1970年代初期约翰·霍兰德(John Holland)的开创性工作而流行，特别是1975年出版的著作。
在生物学 与遗传学 中，澳大利亚遗传学家亚历克斯·弗雷泽 （Alex Fraser）在1957年还发表了一系列有关人工选择 生物的遗传类型模拟的论文。 由生物学家进行的进化计算机模拟在1960年代初变得更加普遍，并且该方法在弗雷泽和伯内尔（Burnell）（1970）和克罗斯比（Crosby）（1973）的书中进行了描述。弗雷泽的模拟包括了现代突变选择遗传粒子算法的所有基本要素。
从数学观点来看，给定一些部分和噪声观测结果的信号随机状态的条件分布，是由信号的随机轨迹上的费曼-卡兹（Feynman-Kac）概率描述的，该概率由一系列似然势函数加权。量子蒙特卡洛法 ，更具体地说是扩散蒙特卡洛法 ，也可以解释为费曼-卡兹路径积分的平均场遗传类型粒子近似。量子蒙特卡罗方法的起源通常归因于恩里科·费米(Enrico Fermi)和罗伯特·里克特迈耶（Robert Richtmyer），他们于1948年开发了一种中子链反应的均值场粒子解释方法，但它是第一个类似启发式和遗传类型的粒子算法（又名“重采样”或“重新配置”蒙特卡洛方法）是在1984年由Jack H. Hetherington提出的用于估计量子系统（在简化的矩阵模型中）的基态能量的方法。还可以引用1951年出版的西奥多·爱德华·哈里斯 （Theodore E. Harris）和赫尔曼·康恩（Herman Kahn）的开创性著作，该著作使用平均场，但类似于启发式遗传方法，用于估计粒子传输能量。在分子化学中，遗传启发式粒子方法（又名修剪和富集策略）的使用可以追溯到1955年马歇尔·N·罗森布鲁斯（Marshall N. Rosenbluth）和阿里安娜·W·罗森布卢斯（Arianna W. Rosenbluth）的开创性工作。
遗传粒子算法在高级信号处理 和贝叶斯推断 中的使用是最近的。1993年1月，北川源四郎开发了“蒙特卡罗滤波器”，该文在1996年出现了轻微修改。1993年4月，戈登等人在他们的开创性著作中发表了遗传类型算法在贝叶斯统计推断中的应用。作者将其算法命名为“自举滤波器”，并证明与其他滤波方法相比，其自举算法不需要对该状态空间或系统噪声进行任何假设。独立的是皮埃尔·德尔·莫拉尔(Pierre Del Moral)和希米尔孔·卡瓦略(Himilcon Carvalho)，皮埃尔·德尔·莫拉尔(Pierre Del Moral)，安德烈·莫宁(André Monin)和热拉尔·萨鲁特(Gérard Salut)在1990年代中期发表的有关粒子过滤器的论文。 1989-1992年初，皮埃尔·德尔·莫拉尔(P.Del Moral)，J.C.诺耶(J.C. Noyer)，G.Rigal和G.Salut在LAAS-CNRS中也开发了信号处理技术，并通过STCAN（服务技术）进行了一系列受限和分类研究des Constructions and Armes Navales），IT公司DIGILOG和LAAS-CNRS（系统分析和体系结构实验室）来解决RADAR/SONAR和GPS信号处理问题。
从1950年到1996年，所有有关粒子过滤器、遗传算法的出版物，包括在计算物理和分子化学中引入的修剪和重采样蒙特卡洛方法，都提出了适用于不同情况的类似于自然和启发式算法，而没有任何证据证明它们的一致性，也没有讨论估计的偏差以及基于族谱和祖先树的算法。
这些粒子算法的数学基础和首次严格的分析是由皮埃尔·德尔·莫拉尔（Pierre Del Moral）在1996年提出的。他的著作[ 1] 条件概率 测度的粒子近似的无偏性质的证明。文章介绍的似然函数的无偏粒子估计器如今已用于贝式统计推理中。
到1990年代末，Dan Crisan、Jessica Gaines、Terry Lyons、Pierre Del Moral等人提出了具有不同种群大小的分支类型粒子方法。P. Del Moral，A。Guionnet和L. Miclo在2000年开发了该领域的进一步发展。第一个中心极限定理是由Pierre Del Moral和Alice Guionnet于1999年以及Pierre Del Moral和Laurent Miclo于2000年提出的。Pierre于1990年代末提出了关于粒子过滤器
时间参数的第一个统一收敛结果。 Del Moral和Alice Guionnet。 2001年，P。Del Moral和L. Miclo首次对基于族谱树的粒子滤波器平滑器进行了严格的分析。
关于Feynman-Kac粒子方法论的理论和相关的粒子过滤器算法已在2000年和2004年的书中得到发展。这些抽象的概率模型封装了遗传类型算法，粒子和自举滤波器，交互的卡尔曼滤波器（又称Rao–Blackwellized粒子滤波器），重要性采样和重采样样式的粒子滤波器技术，包括基于族谱树的方法和用于解决滤波和平滑问题的粒子后向方法。其他类别的粒子滤波方法包括基于族谱树的模型、后向马尔可夫粒子模型、自适应平均场粒子模型、岛型粒子模型和粒子马尔可夫链蒙特卡罗方法。
粒子滤波器的目标是通过观测值估计状态变量的后验概率。粒子滤波器是针对隐马尔可夫模型 设计的，系统中既包含隐藏的变量，也包含可观测的变量[ 2]
一个通用粒子滤波器通过观察测量过程估计隐藏状态的后验分布。考察下图所示的状态空间：
X
0
→
X
1
→
X
2
→
X
3
→
⋯
signal
↓
↓
↓
↓
⋯
Y
0
Y
1
Y
2
Y
3
⋯
observation
{\displaystyle {\begin{array}{cccccccccc}X_{0}&\to &X_{1}&\to &X_{2}&\to &X_{3}&\to &\cdots &{\text{signal}}\\\downarrow &&\downarrow &&\downarrow &&\downarrow &&\cdots &\\Y_{0}&&Y_{1}&&Y_{2}&&Y_{3}&&\cdots &{\text{observation}}\end{array}}}
滤波问题是要通过给定的观测过程
Y
0
,
⋯
,
Y
k
,
{\displaystyle Y_{0},\cdots ,Y_{k},}
k 的值，依次估计隐藏状态
X
k
{\displaystyle X_{k}}
所有的对
X
k
{\displaystyle X_{k}}
后验分布
p
(
x
k
∣
y
0
,
y
1
,
…
,
y
k
)
{\displaystyle p(x_{k}\mid y_{0},y_{1},\dots ,y_{k})}
马尔可夫链蒙特卡洛（MCMC） 或重要性采样 方式会对整个后验概率
p
(
x
0
,
x
1
,
…
,
x
k
∣
y
0
,
y
1
,
…
,
y
k
)
{\displaystyle p(x_{0},x_{1},\dots ,x_{k}\mid y_{0},y_{1},\dots ,y_{k})}
粒子滤波器能够从一系列含有噪声或不完整的观测值中，估计出动力系统的内部状态。在动力系统的分析中，需要两个模型，一个用来描述状态随时间的变化（系统模型） ，另一个用来描述每个状态下观测到的噪声（观测模型） ，将这两个模型都用概率来表示。
在许多情况下，每得到一个新的观测值时，都必须对系统做出一次估计，利用递归滤波器 ，能够有效地达到这样的目的。递归滤波器会对得到的资料做连续处理，而非分批处理，因此不需要将完整的资料储存起来，也不需要在得到新的观测值时，将现有的资料重新做处理。递归滤波器包含两个步骤：
预测 ：利用系统模型，由前一个状态的信息预测下一个状态的概率密度函数 。
更新 ：利用最新的观测值，修改预测出的概率密度函数。
借由贝叶斯推断 （Baysian inference），我们可以描述出状态空间 的概率，并在得到新的观测值时，对系统做出更新，因而达成上述目的。
在某些问题中，在信号的随机状态下，观测值的条件分布可能不具有密度，或者不可能或太复杂而无法计算。在这种状况下，我们需要求近似值。其中一个策略是借由马尔可夫链
X
k
=
(
X
k
,
Y
k
)
{\displaystyle {\mathcal {X}}_{k}=\left(X_{k},Y_{k}\right)}
X
k
{\displaystyle X_{k}}
Y
k
=
Y
k
+
ϵ
V
k
for some parameter
ϵ
∈
[
0
,
1
]
{\displaystyle {\mathcal {Y}}_{k}=Y_{k}+\epsilon {\mathcal {V}}_{k}\quad {\mbox{for some parameter}}\quad \epsilon \in [0,1]}
对于具有已知概率密度函数 的独立序列中的某些序列，核心的概念是观测下式
Law
(
X
k
|
Y
0
=
y
0
,
⋯
,
Y
k
=
y
k
)
≈
ϵ
↓
0
Law
(
X
k
|
Y
0
=
y
0
,
⋯
,
Y
k
=
y
k
)
{\displaystyle {\text{Law}}\left(X_{k}|{\mathcal {Y}}_{0}=y_{0},\cdots ,{\mathcal {Y}}_{k}=y_{k}\right)\approx _{\epsilon \downarrow 0}{\text{Law}}\left(X_{k}|Y_{0}=y_{0},\cdots ,Y_{k}=y_{k}\right)}
在部分的观测
Y
0
=
y
0
,
⋯
,
Y
k
=
y
k
,
{\displaystyle {\mathcal {Y}}_{0}=y_{0},\cdots ,{\mathcal {Y}}_{k}=y_{k},}
X
k
=
(
X
k
,
Y
k
)
{\displaystyle {\mathcal {X}}_{k}=\left(X_{k},Y_{k}\right)}
R
d
x
+
d
y
{\displaystyle \mathbb {R} ^{d_{x}+d_{y}}}
p
(
Y
k
|
X
k
)
{\displaystyle p({\mathcal {Y}}_{k}|{\mathcal {X}}_{k})}
近似贝式计算 非常相关。在量子滤波器中，这些近似贝式量子滤波器的技术在1998年被皮埃尔·德尔·莫拉尔（P. Del Moral）, 让·雅各德(J. Jacod)和菲力普·普罗特(P. Protter)所采用。且被皮埃尔·德尔·莫拉尔，阿诺·杜斯(A. Doucet)和阿杰·贾斯拉(A. Jasra)更进一步发展。
借由贝式定理在条件概率中可以得出
p
(
x
0
,
⋯
,
x
k
|
y
0
,
⋯
,
y
k
)
=
p
(
y
0
,
⋯
,
y
k
|
x
0
,
⋯
,
x
k
)
p
(
x
0
,
⋯
,
x
k
)
p
(
y
0
,
⋯
,
y
k
)
{\displaystyle p(x_{0},\cdots ,x_{k}|y_{0},\cdots ,y_{k})={\frac {p(y_{0},\cdots ,y_{k}|x_{0},\cdots ,x_{k})p(x_{0},\cdots ,x_{k})}{p(y_{0},\cdots ,y_{k})}}}
当
p
(
y
0
,
⋯
,
y
k
)
=
∫
p
(
y
0
,
⋯
,
y
k
|
x
0
,
⋯
,
x
k
)
p
(
x
0
,
⋯
,
x
k
)
d
x
0
⋯
d
x
k
p
(
y
0
,
⋯
,
y
k
|
x
0
,
⋯
,
x
k
)
=
∏
l
=
0
k
p
(
y
l
|
x
l
)
p
(
x
0
,
⋯
,
x
k
)
=
p
0
(
x
0
)
∏
l
=
1
k
p
(
x
l
|
x
l
−
1
)
{\displaystyle {\begin{aligned}p(y_{0},\cdots ,y_{k})&=\int p(y_{0},\cdots ,y_{k}|x_{0},\cdots ,x_{k})p(x_{0},\cdots ,x_{k})dx_{0}\cdots dx_{k}\\p(y_{0},\cdots ,y_{k}|x_{0},\cdots ,x_{k})&=\prod _{l=0}^{k}p(y_{l}|x_{l})\\p(x_{0},\cdots ,x_{k})&=p_{0}(x_{0})\prod _{l=1}^{k}p(x_{l}|x_{l-1})\end{aligned}}}
粒子滤波器也是一个近似值，当有足够的粒子时，结果会更加的准确。非线性滤波方程可以借由递归得出
p
(
x
k
|
y
0
,
⋯
,
y
k
−
1
)
⟶
updating
p
(
x
k
|
y
0
,
⋯
,
y
k
)
=
p
(
y
k
|
x
k
)
p
(
x
k
|
y
0
,
⋯
,
y
k
−
1
)
∫
p
(
y
k
|
x
k
′
)
p
(
x
k
′
|
y
0
,
⋯
,
y
k
−
1
)
d
x
k
′
⟶
prediction
p
(
x
k
+
1
|
y
0
,
⋯
,
y
k
)
=
∫
p
(
x
k
+
1
|
x
k
)
p
(
x
k
|
y
0
,
⋯
,
y
k
)
d
x
k
{\displaystyle {\begin{aligned}p(x_{k}|y_{0},\cdots ,y_{k-1})&{\stackrel {\text{updating}}{\longrightarrow }}p(x_{k}|y_{0},\cdots ,y_{k})={\frac {p(y_{k}|x_{k})p(x_{k}|y_{0},\cdots ,y_{k-1})}{\int p(y_{k}|x'_{k})p(x'_{k}|y_{0},\cdots ,y_{k-1})dx'_{k}}}\\&{\stackrel {\text{prediction}}{\longrightarrow }}p(x_{k+1}|y_{0},\cdots ,y_{k})=\int p(x_{k+1}|x_{k})p(x_{k}|y_{0},\cdots ,y_{k})dx_{k}\end{aligned}}}
Eq. 1
依照惯例
p
(
x
0
|
y
0
,
⋯
,
y
k
−
1
)
=
p
(
x
0
)
{\displaystyle p(x_{0}|y_{0},\cdots ,y_{k-1})=p(x_{0})}
固定一个时间范围和一个序列的观测
Y
0
=
y
0
,
⋯
,
Y
n
=
y
n
{\displaystyle Y_{0}=y_{0},\cdots ,Y_{n}=y_{n}}
G
k
(
x
k
)
=
p
(
y
k
|
x
k
)
.
{\displaystyle G_{k}(x_{k})=p(y_{k}|x_{k}).}
在这种表示法中，对于从原点k = 0到时间k = n的 轨迹集合上的任何有界函数F，我们都可以用费曼-卡兹公式来表示
∫
F
(
x
0
,
⋯
,
x
n
)
p
(
x
0
,
⋯
,
x
n
|
y
0
,
⋯
,
y
n
)
d
x
0
⋯
d
x
n
=
∫
F
(
x
0
,
⋯
,
x
n
)
{
∏
k
=
0
n
p
(
y
k
|
x
k
)
}
p
(
x
0
,
⋯
,
x
n
)
d
x
0
⋯
d
x
n
∫
{
∏
k
=
0
n
p
(
y
k
|
x
k
)
}
p
(
x
0
,
⋯
,
x
n
)
d
x
0
⋯
d
x
n
=
E
(
F
(
X
0
,
⋯
,
X
n
)
∏
k
=
0
n
G
k
(
X
k
)
)
E
(
∏
k
=
0
n
G
k
(
X
k
)
)
{\displaystyle {\begin{aligned}\int F(x_{0},\cdots ,x_{n})p(x_{0},\cdots ,x_{n}|y_{0},\cdots ,y_{n})dx_{0}\cdots dx_{n}&={\frac {\int F(x_{0},\cdots ,x_{n})\left\{\prod \limits _{k=0}^{n}p(y_{k}|x_{k})\right\}p(x_{0},\cdots ,x_{n})dx_{0}\cdots dx_{n}}{\int \left\{\prod \limits _{k=0}^{n}p(y_{k}|x_{k})\right\}p(x_{0},\cdots ,x_{n})dx_{0}\cdots dx_{n}}}\\&={\frac {E\left(F(X_{0},\cdots ,X_{n})\prod \limits _{k=0}^{n}G_{k}(X_{k})\right)}{E\left(\prod \limits _{k=0}^{n}G_{k}(X_{k})\right)}}\end{aligned}}}
这些费曼-卡兹路径积分模型出现在各种科学学科中，包括计算物理、生物学、信息论和计算机科学。他们的解释取决于应用领域。举例来说，如果我们选择状态空间某些子集的指标函数
G
n
(
x
n
)
=
1
A
(
x
n
)
{\displaystyle G_{n}(x_{n})=1_{A}(x_{n})}
E
(
F
(
X
0
,
⋯
,
X
n
)
|
X
0
∈
A
,
⋯
,
X
n
∈
A
)
=
E
(
F
(
X
0
,
⋯
,
X
n
)
∏
k
=
0
n
G
k
(
X
k
)
)
E
(
∏
k
=
0
n
G
k
(
X
k
)
)
{\displaystyle E\left(F(X_{0},\cdots ,X_{n})|X_{0}\in A,\cdots ,X_{n}\in A\right)={\frac {E\left(F(X_{0},\cdots ,X_{n})\prod \limits _{k=0}^{n}G_{k}(X_{k})\right)}{E\left(\prod \limits _{k=0}^{n}G_{k}(X_{k})\right)}}}
和
P
(
X
0
∈
A
,
⋯
,
X
n
∈
A
)
=
E
(
∏
k
=
0
n
G
k
(
X
k
)
)
{\displaystyle P\left(X_{0}\in A,\cdots ,X_{n}\in A\right)=E\left(\prod \limits _{k=0}^{n}G_{k}(X_{k})\right)}
只要标准化常数严格为正。
在动力系统中，我们常常需要对物体做追踪。假设有一动力系统，已知其状态序列
{
x
k
,
k
∈
N
}
{\displaystyle \{x_{k},k\in N\}}
x
k
=
f
k
(
x
k
−
1
,
v
k
−
1
)
{\displaystyle x_{k}=f_{k}(x_{k-1},v_{k-1})}
其中
f
k
:
R
n
x
×
R
n
v
→
R
n
x
{\displaystyle f_{k}:R^{n_{x}}\times R^{n_{v}}\rightarrow R^{n_{x}}}
状态转移函数 ，可以是非线性的函数，
{
v
k
−
1
,
k
∈
N
}
{\displaystyle \{v_{k-1},k\in N\}}
独立且相同分布（i.i.d.） 的过程噪声序列，
n
x
{\displaystyle n_{x}}
n
v
{\displaystyle n_{v}}
N
{\displaystyle N}
y
k
{\displaystyle y_{k}}
x
k
{\displaystyle x_{k}}
y
k
{\displaystyle y_{k}}
y
k
=
h
k
(
x
k
,
n
k
)
{\displaystyle y_{k}=h_{k}(x_{k},n_{k})}
其中
h
k
:
R
n
x
×
R
n
n
→
R
n
y
{\displaystyle h_{k}:R^{n_{x}}\times R^{n_{n}}\rightarrow R^{n_{y}}}
观测函数 ，可以是非线性的函数，
{
n
k
,
k
∈
N
}
{\displaystyle \{n_{k},k\in N\}}
独立且相同分布（i.i.d.） 的观测噪声序列，
n
y
{\displaystyle n_{y}}
n
n
{\displaystyle n_{n}}
从贝叶斯理论的观点来看，追踪问题是要根据到时间
k
{\displaystyle k}
y
1
:
k
{\displaystyle y_{1:k}}
k
{\displaystyle k}
x
k
{\displaystyle x_{k}}
p
(
x
k
∣
y
1
:
k
)
{\displaystyle p(x_{k}\mid y_{1:k})}
p
(
x
0
∣
y
0
)
≡
p
(
x
0
)
{\displaystyle p(x_{0}\mid y_{0})\equiv p(x_{0})}
先验概率 )为已知，则利用“预测” 和“更新” 两个步骤就能递归地计算出概率密度函数
p
(
x
k
∣
y
1
:
k
)
{\displaystyle p(x_{k}\mid y_{1:k})}
在此假设在时间
k
−
1
{\displaystyle k-1}
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
{\displaystyle p(x_{k-1}\mid y_{1:k-1})}
利用查普曼-科尔莫戈罗夫等式 (Chapman–Kolmogorov equation)，可以由状态转移函数 与时间
k
−
1
{\displaystyle k-1}
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
{\displaystyle p(x_{k-1}\mid y_{1:k-1})}
k
{\displaystyle k}
先验概率
p
(
x
k
∣
y
1
:
k
−
1
)
{\displaystyle p(x_{k}\mid y_{1:k-1})}
p
(
x
k
∣
y
1
:
k
−
1
)
=
∫
p
(
x
k
,
x
k
−
1
∣
y
1
:
k
−
1
)
d
x
k
−
1
=
∫
p
(
x
k
∣
x
k
−
1
,
y
1
:
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
d
x
k
−
1
=
∫
p
(
x
k
∣
x
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
d
x
k
−
1
{\displaystyle {\begin{aligned}p(x_{k}\mid y_{1:k-1})&=\int p(x_{k},x_{k-1}\mid y_{1:k-1})d{x_{k-1}}\\&=\int p(x_{k}\mid x_{k-1},y_{1:k-1})p(x_{k-1}\mid y_{1:k-1})d{x_{k-1}}\\&=\int p(x_{k}\mid x_{k-1})p(x_{k-1}\mid y_{1:k-1})d{x_{k-1}}\\\end{aligned}}}
其中，由于状态转移模型被假设为一阶马尔可夫过程 ，时间
k
−
1
{\displaystyle k-1}
k
{\displaystyle k}
p
(
x
k
∣
x
k
−
1
,
y
1
:
k
−
1
)
=
p
(
x
k
∣
x
k
−
1
)
{\displaystyle p(x_{k}\mid x_{k-1},y_{1:k-1})=p(x_{k}\mid x_{k-1})}
p
(
x
k
∣
x
k
−
1
)
{\displaystyle p(x_{k}\mid x_{k-1})}
状态转移函数
x
k
=
f
k
(
x
k
−
1
,
v
k
−
1
)
{\displaystyle x_{k}=f_{k}(x_{k-1},v_{k-1})}
v
k
−
1
{\displaystyle v_{k-1}}
在时间
k
{\displaystyle k}
y
k
{\displaystyle y_{k}}
贝叶斯理论 ，由先验概率
p
(
x
k
∣
y
1
:
k
−
1
)
{\displaystyle p(x_{k}\mid y_{1:k-1})}
后验概率
p
(
x
k
∣
y
1
:
k
)
{\displaystyle p(x_{k}\mid y_{1:k})}
p
(
x
k
∣
y
1
:
k
)
=
p
(
y
k
∣
x
k
)
p
(
x
k
∣
y
1
:
k
−
1
)
p
(
y
k
∣
y
1
:
k
−
1
)
{\displaystyle p(x_{k}\mid y_{1:k})={p(y_{k}\mid x_{k})p(x_{k}\mid y_{1:k-1}) \over p(y_{k}\mid y_{1:k-1})}}
其中的归一化常数 为
p
(
y
k
∣
y
1
:
k
−
1
)
=
∫
p
(
y
k
∣
x
k
)
p
(
x
k
∣
y
1
:
k
−
1
)
d
x
k
{\displaystyle p(y_{k}\mid y_{1:k-1})=\int p(y_{k}\mid x_{k})p(x_{k}\mid y_{1:k-1})dx_{k}}
其中的似然函数
p
(
y
k
∣
x
k
)
{\displaystyle p(y_{k}\mid x_{k})}
观测函数
y
k
=
h
k
(
x
k
,
n
k
)
{\displaystyle y_{k}=h_{k}(x_{k},n_{k})}
n
k
{\displaystyle n_{k}}
上述“预测” 与“更新” 的递推关系，是贝叶斯最佳解的基本概念，然而公式中运用到的积分，对于一般非线性、非高斯的系统，难以得到解析解，因此需要利用蒙特卡洛方法 来近似贝叶斯最佳解。
编辑
编辑
SIR 是由SIS 加上重采样（resampling） 改良而来，在SIS中，我们将后验概率
p
(
x
k
∣
y
1
:
k
)
{\displaystyle p(x_{k}\mid y_{1:k})}
N
{\displaystyle N}
{
x
k
(
i
)
,
w
k
(
i
)
}
i
=
1
N
{\displaystyle {\{x_{k}^{(i)},w_{k}^{(i)}\}}_{i=1}^{N}}
其中的权重是根据重要性采样 的规则产生，且必须符合
∑
i
=
1
N
w
k
(
i
)
=
1
{\displaystyle \sum _{i=1}^{N}w_{k}^{(i)}=1}
SIS是将重要性采样递归执行的一种方法，根据重要性采样的理论，一个函数
f
{\displaystyle f}
∫
f
(
x
k
)
p
(
x
k
∣
y
1
:
k
)
d
x
k
≈
∑
i
=
1
N
w
k
(
i
)
f
(
x
k
(
i
)
)
=
1
{\displaystyle \int f(x_{k})p(x_{k}\mid y_{1:k})dx_{k}\approx \sum _{i=1}^{N}w_{k}^{(i)}f(x_{k}^{(i)})=1}
在每一次递归过程中，我们希望由前一次采样的权重，计算出下一次采样的权重。假设采样的样本分布可以表示为
x
(
i
)
∼
q
(
x
)
,
{\displaystyle x^{(i)}\sim q(x),}
i
=
1
,
.
.
.
,
N
{\displaystyle i=1,...,N}
其中
q
(
x
)
{\displaystyle q(x)}
重要性密度（importance density） 。若样本
x
k
(
i
)
{\displaystyle x_{k}^{(i)}}
q
(
x
k
∣
y
1
:
k
)
{\displaystyle q(x_{k}\mid y_{1:k})}
w
k
(
i
)
∝
p
(
x
k
(
i
)
∣
y
1
:
k
)
q
(
x
k
(
i
)
∣
y
1
:
k
)
{\displaystyle w_{k}^{(i)}\propto {p(x_{k}^{(i)}\mid y_{1:k}) \over q(x_{k}^{(i)}\mid y_{1:k})}}
我们将重要性密度分解为
q
(
x
k
∣
y
1
:
k
)
=
q
(
x
k
∣
x
k
−
1
,
y
1
:
k
)
q
(
x
k
−
1
∣
y
1
:
k
−
1
)
{\displaystyle q(x_{k}\mid y_{1:k})=q(x_{k}\mid x_{k-1},y_{1:k})q(x_{k-1}\mid y_{1:k-1})}
再将后验概率表示为
p
(
x
k
∣
y
1
:
k
)
=
p
(
y
k
∣
x
k
,
y
1
:
k
−
1
)
p
(
x
k
∣
y
1
:
k
−
1
)
p
(
y
k
∣
y
1
:
k
−
1
)
=
p
(
y
k
∣
x
k
,
y
1
:
k
−
1
)
p
(
x
k
∣
x
k
−
1
,
y
1
:
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
p
(
y
k
∣
y
1
:
k
−
1
)
=
p
(
y
k
∣
x
k
)
p
(
x
k
∣
x
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
p
(
y
k
∣
y
1
:
k
−
1
)
∝
p
(
y
k
∣
x
k
)
p
(
x
k
∣
x
k
−
1
)
p
(
x
k
−
1
∣
y
1
:
k
−
1
)
{\displaystyle {\begin{aligned}p(x_{k}\mid y_{1:k})&={p(y_{k}\mid x_{k},y_{1:k-1})p(x_{k}\mid y_{1:k-1}) \over p(y_{k}\mid y_{1:k-1})}\\&={p(y_{k}\mid x_{k},y_{1:k-1})p(x_{k}\mid x_{k-1},y_{1:k-1})p(x_{k-1}\mid y_{1:k-1}) \over p(y_{k}\mid y_{1:k-1})}\\&={p(y_{k}\mid x_{k})p(x_{k}\mid x_{k-1})p(x_{k-1}\mid y_{1:k-1}) \over p(y_{k}\mid y_{1:k-1})}\\&\propto p(y_{k}\mid x_{k})p(x_{k}\mid x_{k-1})p(x_{k-1}\mid y_{1:k-1})\\\end{aligned}}}
则权重的递归式可以表示为
w
k
(
i
)
∝
p
(
y
k
∣
x
k
(
i
)
)
p
(
x
k
(
i
)
∣
x
k
−
1
(
i
)
)
p
(
x
k
−
1
(
i
)
∣
y
1
:
k
−
1
)
q
(
x
k
(
i
)
∣
x
k
−
1
(
i
)
,
y
1
:
k
)
q
(
x
k
−
1
(
i
)
∣
y
1
:
k
−
1
)
=
w
k
−
1
(
i
)
p
(
y
k
∣
x
k
(
i
)
)
p
(
x
k
(
i
)
∣
x
k
−
1
(
i
)
)
q
(
x
k
(
i
)
∣
x
k
−
1
(
i
)
,
y
1
:
k
)
{\displaystyle {\begin{aligned}w_{k}^{(i)}&\propto {p(y_{k}\mid x_{k}^{(i)})p(x_{k}^{(i)}\mid x_{k-1}^{(i)})p(x_{k-1}^{(i)}\mid y_{1:k-1}) \over q(x_{k}^{(i)}\mid x_{k-1}^{(i)},y_{1:k})q(x_{k-1}^{(i)}\mid y_{1:k-1})}\\&=w_{k-1}^{(i)}{p(y_{k}\mid x_{k}^{(i)})p(x_{k}^{(i)}\mid x_{k-1}^{(i)}) \over q(x_{k}^{(i)}\mid x_{k-1}^{(i)},y_{1:k})}\\\end{aligned}}}
SIS可能会造成退化问题（degeneracy problem），也就是在经过几次递归后，很多粒子的权重都变小到可以忽略不计，只剩少数粒子的权重较大，如此会浪费大量的计算量在几乎没有作用的粒子上，而使估计性能下降。由于在递归过程中，权重的方差只会愈来愈大，因此退化问题无法被避免。
为了评估退化问题，我们定义有效粒子数 为
N
e
f
f
^
=
1
∑
i
=
1
N
(
w
k
(
i
)
)
2
{\displaystyle {\widehat {N_{eff}}}={1 \over \sum _{i=1}^{N}(w_{k}^{(i)})^{2}}}
在进行SIS时，若有效粒子数小于某一阈值，则对粒子做重采样，即可减缓退化问题。重采样的概念是去除权重过小的粒子，专注于权重较大的粒子。进行重采样时，要由现有的粒子分布取样，产生一组新的粒子
{
x
k
(
i
)
∗
}
i
=
1
N
{\displaystyle {\{x_{k}^{(i)*}\}}_{i=1}^{N}}
独立且相同分布（i.i.d.） ，因此将权重重新设定为
w
k
(
i
)
=
1
N
{\displaystyle w_{k}^{(i)}={1 \over N}}
M. S. Arulampalam, S. Maskell, N. Gordon and T. Clapp, "A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking." In IEEE Transactions on Signal Processing, vol. 50, no. 2, pp. 174-188, Feb 2002.
A. Doucet, N. de Freitas, N. Gordon, "An Introduction to Sequential Monte Carlo Methods." In A. Doucet, N. de Freitas, N. Gordon (eds.) Sequential Monte Carlo Methods in Practice. Statistics for Engineering and Information Science. Springer, New York, NY, 2001
A. Doucet, "On sequential Monte Carlo methods for Bayesian filtering." Dept. Eng., Univ. Cambridge, UK, Tech. Rep., 1998.
^ Del Moral, Pierre (1996). "Non Linear Filtering: Interacting Particle Solution （页面存档备份 ，存于互联网档案馆 ）" (PDF). Markov Processes and Related Fields. 2 (4): 555–580.
^ 可观测性 . [2020-04-29 ] . （原始内容 存档于2020-11-22）.
![{\displaystyle {\mathcal {Y}}_{k}=Y_{k}+\epsilon {\mathcal {V}}_{k}\quad {\mbox{for some parameter}}\quad \epsilon \in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd574394a51021cd10cac7714851c3b8c30f92f7)
