- 第九讲 离散时间鞅
- 一、离散时间鞅
- Part 1：初等概率论中的条件期望
- Part 2：离散时间鞅的引入
- Part 3：离散时间鞅的定义
- 二、可选停时定理
- Part 1：离散时间的随机积分
- Part 2：停时的定义
- Part 3：可选停时定理
- 一、离散时间鞅
鞅是一类重要的理论丰富且应用广泛的随机过程，这里我们对关于鞅的理论做一点补充。首先我们先回顾一下初等概率论中的条件期望的定义和性质。
条件期望的定义：设 \(Y_1,Y_2,\cdots,Y_n\) 都是离散型随机变量，\(X\) 是一个可积的随机变量，对满足
\[P(Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n)>0 \]的 \(i_1,i_2,\cdots,i_n\) ，令
\[h(i_1,i_2,\cdots,i_n)={\rm E}(X|Y_1=i_1,Y_2=i_2,\cdots,Y_n=i_n). \]定义给定 \(Y_1,Y_2,\cdots,Y_n\) 的条件下 \(X\) 的条件期望为
\[\mathrm{E}\left(X|Y_1,Y_2,\cdots,Y_n\right)=h(Y_1,Y_2,\cdots,Y_n), \]它是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数。
条件期望的性质：设 \(X\) 与 \(Z\) 均为可积的随机变量，设 \(a,b\) 是常数，则有
-
线性性：
\[\mathrm{E}(aX+bZ|Y_1,Y_2,\cdots,Y_n)=a\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)+b\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \] -
单调性：如果 \(X\leq Z,\ {\rm a.s.}\) ，则
\[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\leq\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \] -
如果 \(X\) 是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数，则 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=X\) 。
-
如果 \(X\) 是关于 \(Y_1,Y_2,\cdots,Y_n\) 的函数，且 \(XZ\) 可积，则
\[\mathrm{E}(XZ|Y_1,Y_2,\cdots,Y_n)=X\mathrm{E}(Z|Y_1,Y_2,\cdots,Y_n). \] -
如果 \(X\) 与 \(Y_1,Y_2,\cdots,Y_n\) 相互独立，则 \(\mathrm{E}(X\mid Y_1,Y_2,\cdots,Y_n)=\mathrm{E}(X)\) 。
-
全期望公式：
\[\mathrm{E}\left[\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right]=\mathrm{E}(X). \] -
Jensen 不等式：设 \(\phi\) 是凸函数且 \(\phi(X)\) 是可积的，则
\[\phi\left(\mathrm{E}(X|Y_1,Y_2,\cdots,Y_n)\right)\leq \mathrm{E}(\phi(X)|Y_1,Y_2,\cdots,Y_n). \]
鞅是公平赌博的一种推广，我们借用一个例子来引出鞅的定义。
首先给出一个简单随机游走模型：设离散型随机变量 \(Y_1,Y_2,\cdots\) 独立同分布，其概率分布列为
\[P(Y_i=1)=p=1-P(Y_i=-1). \]令 \(S_0=0\) ，对 \(n\geq 1\) ，令 \(S_n=Y_1+Y_2+\cdots+Y_n\) ，则 \(\{S_n\}\) 就是 \(\mathbb{Z}\) 上的简单随机游动，且显然 \(\{S_n\}\) 是平稳独立增量过程，是离散时间离散状态的马尔可夫链。
在一场赌博中，用 \(Y_i\) 表示第 \(i\) 次甲赢的钱数，并且设赌局开始时甲带了 \(0\) 元钱，则 \(S_n\) 表示经过 \(n\) 次赌博后甲口袋里的钱数。显然对甲而言，如果 \(p>0.5\) ，则该赌博对甲有利；如果 \(p<0.5\) ，则该赌博对甲不利；如果 \(p=0.5\) ，则该赌博是公平的。
如果已知前 \(n\) 次赌博之后甲口袋里的钱数情况，考虑下一次赌博后甲口袋里的平均钱数。用这个平均钱数与前 \(n\) 次甲口袋里的钱数作比较，如果增加则说明对甲有利，如果减少则说明对甲不利，如果不变则说明该赌博公平。
这个问题可以用条件期望来刻画：
\[\begin{aligned} {\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)&={\rm E}(S_{n}+Y_{n+1}\mid S_0,S_1,\cdots,S_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+2p-1. \end{aligned} \]由于 \(p\) 的取值不同，会造成以下三种不同的结果：
-
当 \(p\geq0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\geq S_n\) ，此时称 \(\{S_n\}\) 为下鞅。
-
当 \(p\leq0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)\leq S_n\) ，此时称 \(\{S_n\}\) 为下鞅。
-
当 \(p=0.5\) 时，对 \(\forall n\geq1\) 都有 \({\rm E}(S_{n+1}\mid S_0,S_1,\cdots,S_n)= S_n\) ，此时称 \(\{S_n\}\) 为鞅。
直观地说，下鞅对己方有利或公平，上鞅对己方不利或公平，鞅则对应于公平赌博。
Part 3：离散时间鞅的定义在公平赌博的基础上，我们给出离散时间鞅的定义，并结合以下的例子逐步理解。
离散时间鞅的定义：设 \(X=\{X_n:n\geq0\}\) 和 \(Y=\{Y_n:n\geq0\}\) 是两个随机过程，且对 \(\forall n\geq0\) 都有 \(X_n\) 可积。如果对 \(\forall n\geq0\) ，都有 \(X_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，则称 \(X\) 关于 \(Y\) 适应。如果对 \(\forall n\geq0\) ，都有
\[{\rm E}(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=(\leq,\geq)X_n, \]则称 \(X=\{X_n\}\) 是关于 \(Y=\{Y_n\}\) 的鞅 \((\)上鞅 \(,\) 下鞅\()\) 。
独立随机变量之和：设 \(Y_0,Y_1,Y_2,\cdots\) 相互独立，\(Y_0=0,\ {\rm E}(Y_n)=\mu_n\) 。对 \(\forall n\geq0\) ，令
\[S_n=Y_0+Y_1+\cdots+Y_n, \]则对 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，且有
\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}+Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n+{\rm E}(Y_{n+1}) \\ \\ &=S_n+\mu_{n+1}. \end{aligned} \]所以有以下结论：
(1) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=0\) 对 \(\forall n\geq1\) 成立。
(2) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq0\) 对 \(\forall n\geq1\) 成立。
(3) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq0\) 对 \(\forall n\geq1\) 成立。
独立随机变量乘积：设 \(Y_0,Y_1,Y_2,\cdots\) 相互独立且取值为正，\(Y_0=1,\ {\rm E}(Y_n)=\mu_n\) 。对 \(\forall n\geq0\) ，令
\[S_n=Y_0\cdot Y_1\cdot\cdots\cdot Y_n, \]则对 \(\forall n\geq0\) ，有 \(S_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，且有
\[\begin{aligned} {\rm E}(S_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(S_{n}\cdot Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=S_n\cdot{\rm E}(Y_{n+1}) \\ \\ &=\mu_{n+1}S_n. \end{aligned} \]由于 \(S_n>0\) ，所以有以下结论：
(1) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的鞅 \(\iff\) \({\rm E}(Y_n)=1\) 对 \(\forall n\geq1\) 成立。
(2) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的下鞅 \(\iff\) \({\rm E}(Y_n)\geq1\) 对 \(\forall n\geq1\) 成立。
(3) 随机过程 \(\{S_n\}\) 是关于 \(\{Y_n\}\) 的上鞅 \(\iff\) \({\rm E}(Y_n)\leq1\) 对 \(\forall n\geq1\) 成立。
离散时间鞅的性质：设 \(X=\{X_n\}\) 和 \(Y=\{Y_n\}\) 是两个随机过程，\(X\) 关于 \(Y\) 适应，且对 \(\forall n\geq0\) 都有 \(X_n\) 可积，则有
-
\(X\) 是关于 \(Y\) 的下鞅 \(\iff\) \(-X\) 是关于 \(Y\) 的上鞅。
-
\(X\) 是关于 \(Y\) 的鞅 \(\iff\) \(X\) 是关于 \(Y\) 的上鞅，且 \(X\) 是关于 \(Y\) 的下鞅。
-
鞅全体是线性空间。
-
若 \(X\) 是关于 \(Y\) 的下鞅，则 \({\rm E}(X_n)\) 是关于 \(n\) 单调递增函数；
若 \(X\) 是关于 \(Y\) 的鞅，则 \({\rm E}(X_n)\) 是关于 \(n\) 的常值函数。
-
设 \(X\) 是关于 \(Y\) 的鞅，\(\phi\) 是凸函数且 \(\phi(X_n)\) 可积，则 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。
特别地，\(\{|X_n|\}\) 和 \(\{X_n^2\}\) 若可积，则是关于 \(Y\) 的下鞅。
-
设 \(X\) 是关于 \(Y\) 的下鞅，\(\phi\) 是单调递增凸函数且 \(\phi(X_n)\) 可积，则 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。
二、可选停时定理 Part 1：离散时间的随机积分这里我们对性质 5 和性质 6 进行简单的证明：
对 \(\forall n\geq0\) ，有 \(\phi(X_n)\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，又因为 \(\phi\) 是凸函数，由 Jensen 不等式可知
\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)). \]性质 5 ：设 \(X\) 是关于 \(Y\) 的鞅，则有
\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))=\phi(X_n). \]由此可以推得 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。
性质 6 ：设 \(X\) 是关于 \(Y\) 的下鞅，且有 \(\phi\) 单调递增，所以
\[{\rm E}\left(\phi(X_{n+1})\mid Y_0,Y_1,\cdots,Y_n\right)\geq\phi({\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right))\geq\phi(X_n). \]由此可以推得 \(\{\phi(X_n)\}\) 是关于 \(Y\) 的下鞅。
这里我们需要引入一个随机积分的概念，这个在离散时间的情况下看上去有点难以理解。
设 \(Y=\{Y_n:n\geq0\}\) 是一个随机过程， 如果对 \(\forall n\geq1\) ，都有 \(H_n\) 是 \(Y_n,Y_1,\cdots,Y_n\) 可测的，即
\[H_n\in\sigma\{Y_0,Y_1,\cdots,Y_n\} \]则称随机过程 \(H=\{H_n:n\geq1\}\) 是关于 \(Y\) 可预测的。
设 \(X=\{X_n:n\geq0\}\) 是关于 \(Y\) 适应的，设 \(H=\{H_n:n\geq1\}\) 是关于 \(Y\) 可预测的，定义一个初始值为 \(X_0\) 的随机过程 \(Z=\{Z_n:n\geq0\}\) ，满足
\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1}),\quad n\geq1, \]则称过程 \(Z\) 是过程 \(H\) 关于过程 \(X\) 的随机积分。
鞅基本定理：设 \(X=\{X_n:n\geq0\},\ Y=\{Y_n:n\geq0\},\ H=\{H_n:n\geq1\}\) 是三个随机过程，且有 \(X\) 是关于 \(Y\) 适应的，\(H\) 是关于 \(Y\) 可预测的。令过程 \(Z=\{Z_n:n\geq0\}\) 是过程 \(H\) 关于过程 \(X\) 的随机积分，即
\[Z_n=Z_{n-1}+H_n(X_n-X_{n-1})=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}),\quad n\geq1. \]假设对 \(\forall n\geq0\) ，都有 \(Z_n\) 可积，则有：
(1) 如果 \(X\) 是关于 \(Y\) 的鞅，则 \(Z\) 也是关于 \(Y\) 的鞅。
(2) 如果 \(X\) 是关于 \(Y\) 的下鞅，且 \(H\) 非负，则 \(Z\) 也是关于 \(Y\) 的下鞅。
注意：如果 \(X\) 可积且对 \(\forall n\geq1\) ，都有 \(H_n\) 有界，则 \(Z_n\) 一定可积。
Part 2：停时的定义对 \(\forall n\geq0\) ，由 \(Z_n\) 的定义
\[Z_n=X_0+\sum_{i=1}^nH_i(X_i-X_{i-1}), \]显然 \(Z_n\) 是 \(Y_0,Y_1,\cdots,Y_n\) 的函数，或可以理解为 \(Z_n\in \sigma\{Y_0,Y_1,\cdots,Y_n\}\) ，且有
\[\begin{aligned} {\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)&={\rm E}(Z_{n}+H_{n+1}(X_{n+1}-X_n)\mid Y_0,Y_1,\cdots,Y_n) \\ \\ &=Z_n+H_{n+1}{\rm E}\left(X_{n+1}-X_n\mid Y_0,Y_1,\cdots,Y_n\right) \\ \\ &=Z_n+H_{n+1}\left[{\rm E}\left(X_{n+1}\mid Y_0,Y_1,\cdots,Y_n\right)-X_n\right]. \end{aligned} \]如果 \(X\) 是鞅，则对 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Z_{n}\) ，所以 \(Z\) 是鞅。
如果 \(X\) 是下鞅且 \(H\) 非负，则对 \(\forall n\geq0\) ，都有 \({\rm E}(Z_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Z_{n}\) ，所以 \(Z\) 是下鞅。
停时是停止时间的简称，是一种特殊的随机变量，指具有某种与将来无关性质的随机时刻。
停时的定义：设 \(Y=\{Y_n:n\geq0\}\) 是随机过程，随机变量 \(\tau\) 取值为非负整数，且对 \(\forall n\geq0\) ，如果事件 \(\{\tau=n\}\) 由随机变量 \(Y_0,Y_1,\cdots,Y_n\) 决定，若 \(P(\tau<\infty)=1\) ，则称 \(\tau\) 是关于 \(Y\) 的停时。
停止过程的定义：设 \(Y=\{Y_n:n\geq0\}\) 是随机过程，设 \(\tau\) 是关于 \(Y\) 的停时，定义
\[Y^\tau_n=\left\{\begin{array}{ll} Y_n , & n\leq \tau, \\ \\ Y_\tau , & n>\tau, \end{array}\right. \]则称随机过程 \(Y^\tau=\{Y^\tau_n:n\geq0\}\) 为 \(Y\) 的停止过程。
注意：停止过程还可以等价地表示为随机积分的形式：
\[Y_n^\tau=Y_{\tau\wedge n}=\sum_{k=0}^{n-1}Y_k\bold1_{\{\tau=k\}}+Y_n\bold1_{\{\tau\geq n\}}. \]令 \(H_n=\boldsymbol1_{\{\tau\geq n\}},\ n\geq 1\) ，则 \(H=\{H_n:n\geq1\}\) 非负，且 \(H\) 是关于 \(Y\) 可预测的，于是 \(Y^\tau\) 是 \(H\) 关于 \(Y\) 的随机积分。
定理：设 \(\tau\) 是关于 \(Y=\{Y_n:n\geq0\}\) 的停时，\(Y^\tau=\{Y^\tau_n:n\geq0\}\) 是 \(Y\) 的停止过程.
(1) 如果 \(Y\) 是关于 \(Y\) 自身的鞅，即对 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)=Y_n\) ，则停止过程 \(Y^\tau\) 也是关于 \(Y\) 的鞅。
(2) 如果 \(Y\) 是关于 \(Y\) 自身的下鞅，即对 \(\forall n\geq0\) ，都有 \({\rm E}(Y_{n+1}\mid Y_0,Y_1,\cdots,Y_n)\geq Y_n\) ，则停止过程 \(Y^\tau\) 也是关于 \(Y\) 的下鞅。
Part 3：可选停时定理由随机积分的定义，停止过程的随机积分形式还可以改写为
\[Y_{n}^\tau=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1}),\quad n\geq1. \]于是有
\[\begin{aligned} {\rm E}(Y_n^\tau\mid Y_0,Y_1,\cdots,Y_{n-1})&={\rm E}(Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}(Y_{n}-Y_{n-1})\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}{\rm E}(Y_{n}-Y_{n-1}\mid Y_0,Y_1,\cdots,Y_{n-1}) \\ \\ &=Y^\tau_{n-1}+\boldsymbol1_{\{\tau\geq n\}}\left[{\rm E}(Y_{n}\mid Y_0,Y_1,\cdots,Y_{n-1})-Y_{n-1}\right]. \end{aligned} \]由鞅基本定理可知，定理 (1) 和 (2) 均成立。
规定以下简称：如果 \(X\) 是关于 \(X\) 自身的鞅，则简称 \(X\) 是鞅。
可选停时定理：设 \(X\) 是鞅，\(\tau\) 是关于 \(X\) 的停时，\(P(\tau<\infty)=1\) ，且 \(X_\tau\) 可积，则有
\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]由之前定理可知，停止过程 \(X^\tau\) 是关于 \(X\) 的鞅，所以由全期望公式容易证明
\[{\rm E}(X_n^\tau)={\rm E}(X_{\tau\wedge n})={\rm E}(X_0^\tau)={\rm E}(X_0). \]由此可得
\[\begin{aligned} {\rm E}(X_\tau)-{\rm E}(X_0)&={\rm E}(X_\tau)-{\rm E}(X_{\tau\wedge n}) \\ \\ &={\rm E}(X_\tau\mid\tau>n)+{\rm E}(X_\tau\mid\tau\leq n)-{\rm E}(X_n\mid\tau>n)-{\rm E}(X_\tau\mid\tau\leq n) \\ \\ &={\rm E}(X_\tau\mid\tau>n)-{\rm E}(X_n\mid\tau>n). \end{aligned} \]因为 \(X_\tau\) 可积且 \(P(\tau<\infty)=1\) ，所以由控制收敛定理，
\[\lim_{n\to\infty}{\rm E}(X_\tau\mid \tau>n)=0. \]因此
\[{\rm E}(X_\tau)={\rm E}(X_0) \quad \iff \quad \lim_{n\to\infty}{\rm E}(X_n\mid\tau>n)=0. \]