【小呆的随机振动力学笔记】随机过程基础【一】

1. 随机过程基础

\quad\quad 上一节，我们主要回顾了概率论知识，接下来我们来回顾随机过程基础理论（或者叫随机场）。随机过程其实是随机变量的扩展，它是一系列的随机变量组成的序列，严谨的定义如下
\quad\quad 对于每个时间$t\in T$，$X(t)$都是一个随机变量，那么不同的$t$产生的随机变量组成的随机变量族称为随机过程，如下图所示。其实本质上就是一系列的随机变量组成的序列，而这个序列一个采样称之为样本函数。

$$图1.1随机过程的样本函数$$
**注1：比如对于$t=t_0$，实际上此时随机变量$X(t=t_0)$可以取 { x 1 ( t 0 ) , ⋯ , x n ( t 0 ) } \{x_1(t_0),\cdots,x_n(t_0)\} {x1​(t0​),⋯,xn​(t0​)}的任意元素，随机过程的每个时刻都是如此，一系列随机变量取值组成序列 { x ^ ( t ) } \{\hat x(t)\} {x^(t)}就是一个样本函数。

1.1 随机过程的概率分布

\quad\quad 对于一个随机过程$X(t)$来说，每个$t=t_0$，其概率密度函数是一维的$f(x_0,t_0)$，如果两个$t=t_{1}t=t_2$，那么其联合概率密度函数是两维$f(x_1,t_1;x_2,t_2)$，如果$t$取n个值，那么其联合概率密度函数为$f(x_1,t_1;\cdots ;x_n,t_n)$。

1.2 随机过程的统计特征

\quad\quad 随机过程$X(t)$的矩可以参考概率论的矩计算形式，即原点矩函数和中心矩函数如下所示
\quad\quad 原点矩：$E[X^k(t_0)]={\int }_{-\infty }^{+\infty }{x}^k(t_0)f(x_0,t_0)d{x}_0$
\quad\quad 联合原点矩：$E[X^m(t_1)X^n(t_2)]={\int }_{-\infty }^{+\infty }{x}^m(t_1)x^n(t_2)f(x_1,t_1;x_2,t_2)d{x}_{1}d{x}_2$
\quad\quad 中心矩：$E[(X(t_1)-\mu {)}^k]={\int }_{-\infty }^{+\infty }(x_1-\mu {)}^{k}f(x_1,t_1)d{x}_1$
\quad\quad 联合中心矩：$E[(X(t_1)-{\mu }_{X_1}{)}^m(X(t_2)-{\mu }_{X_2}{)}^n]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x_1-{\mu }_{X_1}{)}^m(x_1-{\mu }_{X_2}{)}^{n}f(x_1,t_1;x_2,t_2)d{x}_{1}d{x}_2$
\quad\quad 在随机过程中，同样有几个重要的矩函数：
\quad\quad 均值，即一阶原点矩：${\mu }_X(t_0)=E[X(t_0)]={\int }_{-\infty }^{+\infty }x(t_0)f(x_0,t_0)d{x}_0$
\quad\quad 方差，即二阶中心矩：${\sigma }_X^2(t_0)=E\{[X(t_0)-{\mu }_X(t_0){]}^2\}={\int }_{-\infty }^{+\infty }[x(t_0)-{\mu }_X(t_0){]}^{2}f(x_0,t_0)d{x}_0$
**注2：$x_i=x(t_i)$

\quad\quad 为了研究一个随机过程$X(t)$在二个不同时刻的值的关系，即随机变量$X(t_1)$和$X(t_2)$的相互依赖关系，定义它的自相关函数为
$$R_{XX}(t_1,t_2)=E[X(t_1)X(t_2)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }{x}_1{x}_{2}f(x_1,t_1;x_2,t_2)d{x}_{1}d{x}_2\text{\hspace{1em}(1-1)}$$

\quad\quad 同时参照协方差定义自协方差函数

$$E\{[X(t_1)-{\mu }_X(t_1)][X(t_2)-{\mu }_X(t_2)]\}={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }[x_1-{\mu }_X(t_1)][x_2-{\mu }_X(t_2)]f(x_1,t_1;x_2,t_2)d{x}_{1}d{x}_2\text{\hspace{1em}(1-2)}$$
\quad\quad 同时由期望算子的线性性，上式又可化简为
$$E\{[X(t_1)-{\mu }_X(t_1)][X(t_2)-{\mu }_X(t_2)]\}=E[X(t_1)X(t_2)]-{\mu }_X(t_1){\mu }_X(t_2)=R_{XX}(t_1,t_2)-{\mu }_X(t_1){\mu }_X(t_2)\text{\hspace{1em}(1-3)}$$
\quad\quad 即协方差函数=自相关函数-均值乘积

1.3 平稳随机过程

\quad\quad 在讨论随机过程的统计特征前，先讨论随机过程的分类。随机过程$X(t)$每个时刻都是随机变量，如果其多维概率密度分布随时间的平移保持不变，那么称之为严格平稳随机过程，即
$$f(x_1,t_1;x_2,t_2;\cdots ;x_n,t_n)=f(x_1^{\ast },t_1+\tau ;x_2^{\ast },t_2+\tau ;\cdots ;x_n^{\ast },t_n+\tau )\text{\hspace{1em}(1-4)}$$
**注2：$x_i=x(t_i)$且$x_i^{\ast }=x(t_i+\tau )$，如果上式对于$n=1,2,\cdots$都成立，称之为严格平稳随机过程。
\quad\quad 当$n=1$时，随机过程$X(t)$的一维概率密度与时间无关，即$f(x,t_1)=f(x)$；当$n=2$时，随机过程$X(t)$的二维概率密度与时间差相关，即$f(x_1,t_1,x_2,t_2)=f(x_1,x_2,t_1-t_2)$；依次类推。
\quad\quad 这是一个非常严格的规定，实际中随机过程很难达到，而且对于我们处理信息，也不是特别需要这么严格的特性，因此退而求其次有宽平稳随机过程的定义
\quad\quad 如果随机过程$X(t)$在$n=1,2$时，其一维概率密度分析和二维概率密度分布满足上面规定，不管其更高阶是否满足规定，我们定义这样的随机过程为宽平稳随机过程。

\quad\quad 由上可知，在$n=1,2$时，随机过程满足平稳规定，那么有以下特点：
\quad\quad 1. 其一维统计量与时间无关，即$E[X(t)]={\mu }_X(t)={\mu }_X$，$E[(X(t)-{\mu }_X{)}^2]={\sigma }_X^2(t)={\sigma }_X^2$；
\quad\quad 2. 其二维统计量与时间无关，仅仅与时间差相关，即
$$\begin{gathered} E[X_1(t_1)X_2(t_2)]=R_{XX}(t_1,t_2)=R_{XX}(t_2-t_1) \\ E\{[X(t_1)-{\mu }_X(t_1)][X(t_2)-{\mu }_X(t_2)]\}=Co{v}_{XX}(t_1,t_2)=R_{XX}(t_2-t_1)-{\mu }_X^2=Co{v}_{XX}(t_2-t_1) \end{gathered}$$

**注3：严格平稳是无论多少维，其联合概率密度函数在时间一起增加相同时间量的情况下保持不变，宽平稳只要求前两维成立。另外如果随机过程每个时刻都独立，一定是严格平稳的，但是严格平稳不一定（基本上都不是）是每个时刻都独立。本质上平稳要求随机过程中各时间之间的相关性不随时间平移而变化，即从$t_1$到$t_2$的相关性和$t_1+\tau$到$t_2+\tau$的相关性是一样的。

1.4 遍历过程平稳随机过程

\quad\quad 假定对于随机过程$X(t)$经过测量采样，得到$N$组样本$x_i(t)$，其中 x i ( t ) = { x i ( t 0 ) , x i ( t 1 ) , ⋯ , x i ( t n ) } , i = 1 , 2 , ⋯ , N x_i(t)=\{x_i(t_0),x_i(t_1),\cdots,x_i(t_n)\},i=1,2,\cdots,N xi​(t)={xi​(t0​),xi​(t1​),⋯,xi​(tn​)},i=1,2,⋯,N，那么该随机过程的均值、相关函数等可计算集合平均来得到
μ X ( t ) = E [ X ( t ) ] ≈ { 1 N ∑ i = 1 N x i ( t 0 ) , 1 N ∑ i = 1 N x i ( t 1 ) , ⋯ , 1 N ∑ i = 1 N x i ( t n ) } (1-5) \mu_{X}(t)=E[X(t)]\approx \{\frac{1}{N}\sum_{i=1}^N x_i(t_0),\frac{1}{N}\sum_{i=1}^N x_i(t_1),\cdots,\frac{1}{N}\sum_{i=1}^N x_i(t_n)\}\tag{1-5} μX​(t)=E[X(t)]≈{N1​i=1∑N​xi​(t0​),N1​i=1∑N​xi​(t1​),⋯,N1​i=1∑N​xi​(tn​)}(1-5)
$$R_{XX}(t_1,t_2)=E[X(t_1)X(t_2)]\approx \frac{1}{N}\sum _{i=1}^N{x}_i(t_1)x_i(t_2)\text{\hspace{1em}(1-6)}$$
**注4：如果随机过程为平稳随机过程，那么式（1-5）每个时间的平均都相等(或近似相等)，即有
$$\frac{1}{N}\sum _{i=1}^N{x}_i(t_0)=\frac{1}{N}\sum _{i=1}^N{x}_i(t_1)=\cdots =\frac{1}{N}\sum _{i=1}^N{x}_i(t_n)={\mu }_X$$
\quad\quad 随着样本数量的增多，估计精度会越来越高，但是对于生产生活中的实际应用，测量样本往往非常少，有的时候甚至只能测一次，那么怎么来保证估计的可靠呢？这里就需要引入平稳随机过程的遍历性来进行说明：
\quad\quad 即对于平稳随机过程，由于其一维统计量与时间无关，二维统计量只与时间差相关，那么只要单个样本时间足够长，该样本能获得随机过程的所有信息。
\quad\quad 当随机过程$X(t)$满足时间遍历性，那么可以通过时间平均来代替集合平均。实际工作中，可以把长样本切割分成N份短样本，认为N份短样本可以代表N次采样，当然前提该随机过程必须平稳，且具备时间遍历性。
\quad\quad 定义$X(t)$的均值时间平均为
$$⟨X(t){⟩}_t=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{T}x(t)dt\text{\hspace{1em}(1-7)}$$
\quad\quad 如果有以下关系成立
$$⟨X(t){⟩}_t=E[X(t)]={\mu }_X\text{\hspace{1em}(1-8)}$$
\quad\quad 那么，称随机过程在均值意义上遍历的。
\quad\quad 如果以下关系成立
$$⟨X^2(t){⟩}_t=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^T{x}^2(t)dt=E[X^2(t)]\text{\hspace{1em}(1-8)}$$
\quad\quad 那么，称随机过程在均方意义上遍历的。
\quad\quad 如果以下关系成立
$$⟨X(t)X(t+\tau ){⟩}_t=\underset{T\to \infty }{\lim }\frac{1}{T}{\int }_0^{T}x(t)x(t+\tau )dt=E[X(t)X(t+\tau )]=R_{XX}(\tau )\text{\hspace{1em}(1-9)}$$
\quad\quad 那么，称随机过程在相关意义上遍历的。
**注5：讨论随机过程的遍历性的前提是随机过程必须是平稳的。