概率统计随机过程之分析化

Aug 30, 2020 · 概率统计随机过程  ·
分享到:

定义：设XX是非负整数的随机变量，定义其概率母函数 (probability-generating function)为 g(s)=E[sX]=∑j=0∞sjP[X=j],s∈[−1,1]g(s)=\mathbb{E}[s^X]=\sum_{j=0}^{\infty} s^j\mathbb{P}[X=j], s\in[-1,1]

其中约定 00=10^0=1。显然 g(s)g(s) 在 [−1,1][-1,1] 绝对收敛

  • P[X=k]=g(k)(0)k!, k=0,1,…\mathbb{P}[X=k]=\frac{g^{(k)}(0)}{k!},\ k=0,1,\ldots，这说明概率母函数和概率分布列一一对应
  • E[X]=g(1)(1)\mathbb{E}[X]=g^{(1)}(1)
  • 若 E[X]<∞\mathbb{E}[X]<\infty，则 Var[X]=g(2)(1)+g(1)(1)−[g(1)(1)]2\mathrm{Var}[X]=g^{(2)}(1)+g^{(1)}(1)-[g^{(1)}(1)]^2
  • 若 X1,…,XnX_1,\ldots,X_n 相互独立，Y=X1+⋯+XnY=X_1+\cdots+X_n，则 gY(s)=gX1(s)⋯gXn(s),s∈[−1,1]g_Y(s)=g_{X_1}(s)\cdots g_{X_n}(s),s\in[-1,1]
  • X1,X2,…X_1,X_2,\ldots 是独立同分布的非负整数随机变量，概率母函数为 ψ(x)\psi(x); NN 为取正整数值的随机变量且独立于 XiX_i，概率母函数为 G(s)G(s)。则 Y=X1+⋯+XNY=X_1+\cdots+X_N 的概率母函数为 H(s)=G[ψ(s)]H(s)=G[\psi(s)]

只给出性质五的证明 H(s)=E[E[SW∣Y]]=∑n=1∞E[sX1+⋯+Xn]P[Y=n]=∑n=1∞[ψ(s)]nP[Y=n]=G[ψ(s)]\begin{aligned} H(s)&=\mathbb{E}[\mathbb{E}[S^W\mid Y]]\\ &=\sum_{n=1}^{\infty}\mathbb{E}[s^{X_1+\cdots+X_n}]\mathbb{P}[Y=n]\\ &=\sum_{n=1}^{\infty}[\psi(s)]^n\mathbb{P}[Y=n]=G[\psi(s)] \end{aligned}

二项分布 B(n,p)B(n,p) 的概率母函数为 g(s)=(sp+q)ng(s)=(sp+q)^n

由此立得若 Xi,…,XmX_i,\ldots,X_m 独立，且Xi∼B(ni,p)X_i\sim B(n_i,p)，则Y=X1+⋯+Xm∼B(n1+⋯+nm,p)Y=X_1+\cdots+X_m\sim B(n_1+\cdots+n_m,p)

泊松分布 P(λ)\mathcal{P}(\lambda) 的概率母函数为 g(s)=eλ(s−1)g(s)=e^{\lambda(s-1)}

由此立得若 Xi,…,XmX_i,\ldots,X_m 独立，且Xi∼P(λi)X_i\sim \mathcal{P}(\lambda_i)，则Y=X1+⋯+Xm∼P(λ1+⋯+λm)Y=X_1+\cdots+X_m\sim \mathcal{P}(\lambda_1+\cdots+\lambda_m)

几何分布 G(p)G(p) 的概率母函数为 g(s)=sp1−sqg(s)=\frac{sp}{1-sq}

由此立得若 Xi,…,XmX_i,\ldots,X_m 独立，且Xi∼G(p)X_i\sim G(p)，则Sm=X1+⋯+XmS_m=X_1+\cdots+X_m 有概率母函数 gSm(s)=(sp1−sq)m=(sp)m∑j=0∞m(m+1)⋯(m+j−1)j!(sq)j=(sp)m∑j=0∞(m+j−1j)(sq)j=∑k=m∞(k−1m−1)pmqk−msk\begin{aligned} g_{S_m}(s)&=\left(\frac{sp}{1-sq}\right)^m\\ &=(sp)^m\sum_{j=0}^{\infty}\frac{m(m+1)\cdots(m+j-1)}{j!}(sq)^j\\ &=(sp)^m\sum_{j=0}^{\infty}\binom{m+j-1}{j}(sq)^j\\ &=\sum_{k=m}^{\infty}\binom{k-1}{m-1}p^mq^{k-m}s^k\end{aligned}

于是得 Pascal 分布 E[Sm=k]=(k−1m−1)pmqk−m\mathbb{E}[S_m=k]=\binom{k-1}{m-1}p^mq^{k-m}

求扔三颗骰子，总点数为 9 的概率。 记 XiX_i 为第 ii 颗骰子的点数，其概率母函数

g(s)=E[sX1]=16(s+s2+⋯+s6)=16s(1−s6)1−sg(s)=\mathbb{E}[s^{X_1}]=\frac{1}{6}(s+s^2+\cdots+s^6)=\frac{1}{6}\frac{s(1-s^6)}{1-s}

则 Y=X1+X2+X3Y=X_1+X_2+X_3 的概率母函数为

gY(s)=[gX(s)]3=s3(1−s6)363(1−s)s=163(s3)(1−3s6+3s12−s18)∑k=0∞(k+22)skg_Y(s)=[g_X(s)]^3=\frac{s^3(1-s^6)^3}{6^3(1-s)^s}=\frac{1}{6^3}(s^3)(1-3s^6+3s^{12}-s^{18})\sum_{k=0}^{\infty}\binom{k+2}{2}s^k

则 s9s^9 的系数为 P(Y=9)=163[(6+22)−3]=25216\mathbb{P}(Y=9)=\frac{1}{6^3}[\binom{6+2}{2}-3]=\frac{25}{216}

设 (X,Y)(X,Y) 是二维取非负整数值的随机向量，记 pik=P[X=i,Y=k]p_{ik}=\mathbb{P}[X=i,Y=k]，则其二维概率母函数为 g(s,t)=E[sXtY]=∑i=0∞∑k=0∞piksitk,s,t∈[−1,1]g(s,t)=\mathbb{E}[s^Xt^Y]=\sum_{i=0}^{\infty}\sum_{k=0}^{\infty}p_{ik}s^it^k,\quad s,t\in[-1,1]

其有如下性质

  • ∣g(s,t)∣≤g(1,1)=1,∣s∣≤1,∣t∣≤1\lvert g(s,t)\rvert\leq g(1,1)=1,\lvert s\rvert\leq 1,\lvert t\rvert\leq 1
  • gaX+bY+c(s)=scg(sa,sb)g_{aX+bY+c}(s)=s^cg(s^a,s^b)
  • 若 X,YX,Y 独立，则 g(s,t)=gX(s)gY(t)g(s,t)=g_X(s)g_Y(t)
  • g(s,1)=gX(s),g(1,t)=gY(t)g(s,1)=g_X(s),g(1,t)=g_Y(t)
  • 若 E[X]<∞,E[Y]<∞\mathbb{E}[X]<\infty,\mathbb{E}[Y]<\infty，则 E[X]=∂g(s,t)∂s∣s=t=1,E[Y]=∂g(s,t)∂t∣s=t=1\mathbb{E}[X]=\frac{\partial g(s,t)}{\partial s}\big|_{s=t=1},\mathbb{E}[Y]=\frac{\partial g(s,t)}{\partial t}\big|_{s=t=1}
  • 若 E[X2]<∞,E[Y2]<∞\mathbb{E}[X^2]<\infty,\mathbb{E}[Y^2]<\infty，则 E[X2]=∂2g(s,t)∂s2∣s=t=1,E[Y2]=∂2g(s,t)∂t2∣s=t=1,E[XY]=∂2g(s,t)∂s∂t∣s=t=1\mathbb{E}[X^2]=\frac{\partial^2 g(s,t)}{\partial s^2}\big|_{s=t=1},\mathbb{E}[Y^2]=\frac{\partial^2 g(s,t)}{\partial t^2}\big|_{s=t=1},\mathbb{E}[XY]=\frac{\partial^2 g(s,t)}{\partial s\partial t}\big|_{s=t=1}
  • pik=1i!k!∂i+kg(s,t)∂si∂tk∣s=t=0, i,k=0,1,…p_{ik}=\frac{1}{i!k!}\frac{\partial^{i+k}g(s,t)}{\partial s^i\partial t^k}\big |_{s=t=0},\ i,k=0,1,\ldots

只能对取非负整数值的随机变量定义

定义:设 XX 是随机变量，定义其矩母函数 (moment-generating function)为 MX(s)=E[esX]M_X(s)=\mathbb{E}[e^{sX}] 仅当 E[esX]<∞\mathbb{E}[e^{sX}]<\infty 时，我们称 MX(s)M_X(s) 存在

  • MaX+b(s)=esbM(sa)M_{aX+b}(s)=e^{sb}M(sa)
  • E[Xk]=M(k)(0),k=1,2,…\mathbb{E}[X^k]=M^{(k)}(0),k=1,2,\ldots
  • M(0)=1M(0)=1
  • 可逆性：若∃a>0,∀s∈[−a,a],M(s)<∞\exists a>0,\forall s\in[-a,a], M(s)<\infty，则 M(s)M(s) 唯一地决定了 XX 的分布函数
  • 若 X1,…,XnX_1,\ldots,X_n 独立，Y=X1+⋯+XnY=X_1+\cdots+X_n，则MY(s)=MX1(s)⋯MXn(s)M_{Y}(s)=M_{X_1}(s)\cdots M_{X_n}(s)
  • X1,X2,…X_1,X_2,\ldots 独立同分布，矩母函数为 MX(s)M_X(s); NN 为取正整数值的随机变量，矩母函数为 MN(s)M_N(s)。则 Y=X1+⋯+XYY=X_1+\cdots+X_Y 的矩母函数为 MY(s)=E[E[esY∣N=n]]=E[(MX(s))n]=∑n=1∞(MX(s))nP[N=n]M_Y(s)=\mathbb{E}[\mathbb{E}[e^{sY}\mid N=n]]=\mathbb{E}[(M_X(s))^n]=\sum_{n=1}^{\infty}(M_X(s))^n\mathbb{P}[N=n]

而 MN(s)=∑n=1∞[es]nP[N=n]M_N(s)=\sum_{n=1}^{\infty}[e^s]^n\mathbb{P}[N=n] 二者有紧密的联系：将 MN(s)M_N(s) 中出现的 ese^s 替换为 MX(s)M_X(s) 即可

X 2 3 5
P\mathbb{P} 1/2 1/6 1/3

M(s)=12e2s+16e3s+13e5sM(s)=\frac{1}{2}e^{2s}+\frac{1}{6}e^{3s}+\frac{1}{3}e^{5s}

E[X]=M(1)(0)=(122e2s+163e3s+135e5s)∣s=0=196\mathbb{E}[X]=M^{(1)}(0)=(\frac{1}{2}2e^{2s}+\frac{1}{6}3e^{3s}+\frac{1}{3}5e^{5s})|_{s=0}=\frac{19}{6}

E[X2]=M(2)(0)=(124e2s+169e3s+1325e5s)∣s=0=716\mathbb{E}[X^2]=M^{(2)}(0)=(\frac{1}{2}4e^{2s}+\frac{1}{6}9e^{3s}+\frac{1}{3}25e^{5s})|_{s=0}=\frac{71}{6}

设 X∼E(λ)X\sim \mathcal{E}(\lambda)，则当 s<λs<\lambda 时，有 M(s)=λ∫0∞esxe−λx dx=λs−λe(s−λ)x∣x=0∞=λλ−sM(s)=\lambda\int_0^\infty e^{sx}e^{-\lambda x}\,\mathrm{d}x=\frac{\lambda}{s-\lambda}e^{(s-\lambda)x}|{x=0}^{\infty}=\frac{\lambda}{\lambda-s}

而当 s≥λs\ge\lambda 时 M(s)M(s) 不存在

E[X]=M(1)(0)=λ(λ−s)2∣s=0=1λ\mathbb{E}[X]=M^{(1)}(0)=\frac{\lambda}{(\lambda-s)^2}|_{s=0}=\frac{1}{\lambda} E[X]=M(2)(0)=2λ(λ−s)3∣s=0=2λ2\mathbb{E}[X]=M^{(2)}(0)=\frac{2\lambda}{(\lambda-s)^3}|_{s=0}=\frac{2}{\lambda^2}

X∼N(μ1,σ12),Y∼N(μ2,σ22),X,YX\sim\mathcal{N}({\mu_1,\sigma_1^2}),Y\sim\mathcal{N}(\mu_2,\sigma_2^2), X,Y 相互独立，求 Z=X+YZ=X+Y 的分布

先计算标准正态分布的矩母函数，由定义求得 M(s)=es2/2M(s)=e^{s^2/2}

根据矩母函数的性质，有 MX(s)=eμ1seσ12s2/2,MY(s)=eμ2seσ22s2/2,MZ(s)=e(μ1+μ2)se(σ12+σ22)s2/2M_X(s)=e^{\mu_1 s}e^{\sigma_1^2s^2/2},\\ M_Y(s)=e^{\mu_2 s}e^{\sigma_2^2s^2/2},\\ M_Z(s)=e^{(\mu_1+\mu_2) s}e^{(\sigma_1^2+\sigma_2^2)s^2/2}

于是 Z∼N(μ1+μ2,σ12+σ22)Z\sim\mathcal{N}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)

不断进行成功概率为 pp 的伯努利实验直至成功，每次实验的耗时服从参数 λ\lambda 的指数分布，且完全独立。 求总耗时的分布

首先 Xi∼E(λ),N∼G(p),Y=X1+⋯+XNX_i\sim\mathcal{E}(\lambda), N\sim G(p), Y=X_1+\cdots+X_N , 当 s<λs<\lambda 时有 MXi(s)=λλ−sM_{X_i}(s)=\frac{\lambda}{\lambda-s} 而 MN(s)=pes1−qesM_N(s)=\frac{pe^s}{1-qe^s} 故 MY(s)=pMX(s)1−qMX(s)=pλλ−s−qλ=pλpλ−sM_Y(s)=\frac{p M_X(s)}{1-qM_X(s)}=\frac{p\lambda}{\lambda-s-q\lambda}=\frac{p\lambda}{p\lambda-s}

设X⃗=(X1,X2,…,Xn)⊺\vec{X}=(X_1,X_2,\ldots,X_n)^\intercal，则其矩母函数定义为

MX⃗(s⃗)=E[es⃗⊺X⃗]=E[es1X1+⋯+snXn]M_{\vec{X}}(\vec{s})=\mathbb{E}[e^{\vec{s}^\intercal\vec{X}}]=\mathbb{E}[e^{s_1X_1+\cdots+s_nX_n}]

有些分布的矩母函数不存在，因为其积分发散，如 Cauchy 分布。为此我们引入特征函数来保证可积性。

定义：对随机变量 XX ，定义其特征函数 (characteristic function) 为 ϕ(t)=E[eitX]=E[cos⁡(tX)]+iE[sin⁡(tX)],t∈R\phi(t)=\mathbb{E}[e^{itX}]=\mathbb{E}[\cos(tX)]+i\mathbb{E}[\sin(tX)], t\in \mathbb{R}

  • ∣ϕ(t)∣≤ϕ(0)=1,ϕ(−t)=ϕ(t)‾\lvert \phi(t)\rvert\leq \phi(0)=1,\quad\phi(-t)=\overline{\phi(t)}
  • ϕ(t)\phi(t) 在 (−∞,∞)(-\infty,\infty) 一致连续 v若 E[∣X∣k]<∞\mathbb{E}[\lvert X\rvert^k]<\infty，则 ϕ(k)(t)=ikE[XkeitX],ϕ(k)(0)=ikE[Xk]\phi^{(k)}(t)=i^k\mathbb{E}[X^k e^{itX}],\phi^{(k)}(0)=i^k\mathbb{E}[X^k]
  • 非负定性：∀t1,…,tn∈R,∀z1,…,zn∈C,∑k=1n∑j=1nϕ(tk−tj)zkzˉj≥0\forall t_1,\ldots,t_n\in\mathbb{R},\forall z_1,\ldots,z_n\in\mathbb{C},\sum_{k=1}^{n}\sum_{j=1}^{n}\phi(t_k-t_j)z_k\bar{z}_j\ge 0
  • 若 X1,…,XnX_1,\ldots,X_n 相互独立， XkX_k 特征函数为 ϕk(t)\phi_k(t)，则 Y=X1+⋯+XnY=X_1+\cdots+X_n 的特征函数为 ϕY(t)=ϕ1(t)⋯ϕk(t)\phi_Y(t)=\phi_1(t)\cdots\phi_{k}(t)。注意，逆命题不成立，后面给出了例子。

特征函数与概率分布函数是有一一对应关系的，二者可以互相确定，在概率论中叫做反演定理。

在累积概率分布函数与特征函数之间存在双射。也就是说，两个不同的概率分布不能有相同的特征函数。

给定一个特征函数ϕ\phi，可以用以下公式求得对应的累积概率分布函数 FX(y)−FX(x)=lim⁡τ→+∞12π∫−τ+τe−itx−e−ityit φX(t) dtF_{X}(y)-F_{X}(x)=\lim_{{\tau \to +\infty }}{\frac{1}{2\pi }}\int_{{-\tau }}^{{+\tau }}{\frac{e^{{-itx}}-e^{{-ity}}}{it}}\,\varphi_{X}(t)\,dt 一般地，这是一个广义积分；被积分的函数可能只是条件可积而不是勒贝格可积的，也就是说，它的绝对值的积分可能是无穷大。

二项分布 B(n,p)B(n,p) 的特征函数为 ϕ(t)=(eitp+q)n\phi(t)=(e^{it}p+q)^n

(对比其概率母函数 g(s)=(sp+q)ng(s)=(sp+q)^n)

泊松分布 P(λ)\mathcal{P}(\lambda) 的特征函数为 ϕ(t)=eλ(eit−1)\phi(t)=e^{\lambda(e^{it}-1)}

(对比其概率母函数 g(s)=eλ(s−1)g(s)=e^{\lambda(s-1)})

几何分布 G(p)G(p) 的特征函数为 ϕ(t)=peit1−qeit\phi(t)=\frac{pe^{it}}{1-qe^{it}}

(对比其概率母函数 g(s)=sp1−sqg(s)=\frac{sp}{1-sq})

正态分布 N(μ,σ2)\mathcal{N}(\mu,\sigma^2) 有特征函数 ϕ(t)=eiμte−12σ2t2\phi(t)=e^{i\mu t}e^{-\frac{1}{2}\sigma^2t^2}

(对比其矩母函数 M(s)=eμseσ2s2/2M(s)=e^{\mu s}e^{\sigma^2s^2/2})

先考察标准正态分布。正态分布的特征函数推导不太容易，一种不太严谨的做法是做形式化运算，将 ii 视为常数，则

ϕ(t)=12π∫−∞∞eitxe−x2/2 dx=e−t2/212π∫−∞∞e−(x−it)2/2 dx=e−t2/2\phi(t)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty e^{itx}e^{-x^2/2}\,\mathrm{d}x=e^{-t^2/2}\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty e^{-(x-it)^2/2}\,\mathrm{d}x=e^{-t^2/2}

严格的数学推导需要一定复变函数的背景知识。

首先 ϕ(t)=12π∫−∞∞eitxe−x2/2 dx=12π∫−∞∞cos⁡(tx)e−x2/2 dx\phi(t)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty e^{itx}e^{-x^2/2}\,\mathrm{d}x=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty \cos(tx)e^{-x^2/2}\,\mathrm{d}x

对 tt 求导得 ϕ′(t)=−12π∫−∞∞xsin⁡(tx)e−x2/2 dx=12π∫−∞sin⁡(tx) de−x2/2=−12π∫−∞∞tcos⁡(tx)e−x2/2 dx=−tϕ(t)\begin{aligned}\phi'(t)&=-\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty x\sin(tx)e^{-x^2/2}\,\mathrm{d}x\\&=\frac{1}{\sqrt{2\pi}}\int_{-\infty}\sin(tx)\,\mathrm{d}e^{-x^2/2}\\&=-\frac{1}{\sqrt{2\pi}}\int_{-\infty}^\infty t\cos(tx)e^{-x^2/2}\,\mathrm{d}x\\&=-t\phi(t)\end{aligned}

即 ddt[ϕ(t)et2/2]=0\frac{\mathrm{d}}{\mathrm{d}t}[\phi(t)e^{t^2/2}]=0，则 ϕ(t)et2/2=C=ϕ(0)=1\phi(t)e^{t^2/2}=C=\phi(0)=1，得 ϕ(t)=e−t2/2\phi(t)=e^{-t^2/2}

由此再求一般正态的特征函数

E[eit(μ+σX)]=eitμE[eitσX]=eitμe−σ2t2/2\mathbb{E}[e^{it(\mu+\sigma X)}]=e^{it\mu}\mathbb{E}[e^{it\sigma X}]=e^{it\mu}e^{-\sigma^2t^2/2}

同时，若 X1,…,XmX_1,\ldots,X_m 相互独立，Xj∼μj,σj2X_j\sim\mathcal{\mu_j,\sigma_j^2}，则

Y=X1+⋯+Xm∼N(∑j=1mμj,∑j=1mσj2)Y=X_1+\cdots+X_m\sim\mathcal{N}(\sum_{j=1}^{m}\mu_j,\sum_{j=1}^{m}\sigma_j^2)

均匀分布 U(a,b)\mathcal{U}(a,b) 的特征函数为 ϕ(t)=eitb−eitait(b−a)\phi(t)=\frac{e^{itb}-e^{ita}}{it(b-a)}

指数分布 指数分布 E(λ)\mathcal{E}(\lambda) 的特征函数为 ϕ(t)=(1−itλ)−1\phi(t)=(1-\frac{it}{\lambda})^{-1}

(与矩母函数 M(s)=λλ−s=11−s/λ=(1−s/λ)−1M(s)=\frac{\lambda}{\lambda-s}=\frac{1}{1-s/\lambda}=(1-s/\lambda)^{-1} 对比)

f(x)=1π(1+x2)f(x)=\frac{1}{\pi(1+x^2)}，其特征函数为 ϕ(t)=e−∣t∣\phi(t)=e^{-\lvert t\rvert}

取 Y=aX,(a>0)Y=aX,(a>0)，则 ϕY(t)=E[ei(at)X]=e−a∣t∣\phi_Y(t)=\mathbb{E}[e^{i(at)X}]=e^{-a\lvert t\rvert}，此时

ϕX+Y(t)=E[eit(1+a)X]=e−(1+a)∣t∣=ϕX(t)ϕY(t)\phi_{X+Y}(t)=\mathbb{E}[e^{it(1+a)X}]=e^{-(1+a)\lvert t\rvert}=\phi_X(t)\phi_Y(t)，但显然 X,YX,Y 不独立

f(x)=12e−∣x∣f(x)=\frac{1}{2}e^{-\lvert x\rvert} ，其特征函数为 ϕ(t)=11+t2\phi(t)=\frac{1}{1+t^2}

注意它和柯西分布的“对称性”

  • 若 E[∣X∣n]<∞\mathbb{E}[\lvert X\rvert^n]<\infty，则 ϕ(t)=∑m=0nE[(itX)m]m!+o(tn)\phi(t)=\sum_{m=0}^{n}\frac{\mathbb{E}[(itX)^m]}{m!}+o(t^n)

特别的，若二阶矩存在，则 ϕ(t)=1+itE[X]−12t2E[X2]+o(t2)\phi(t)=1+it\mathbb{E}[X]-\frac{1}{2}t^2\mathbb{E}[X^2]+o(t^2)

  • 逆转公式：若累积分布函数 F(x)F(x) 在 (a,b)(a,b) 连续，则 12πlim⁡T→∞∫−TTe−ita−e−itbitϕ(t) dt=F(b)−F(a)\frac{1}{2\pi}\lim\limits_{T\rightarrow\infty}\int_{-T}^T\frac{e^{-ita}-e^{-itb}}{it}\phi(t)\,\mathrm{d}t=F(b)-F(a) 若 ∫−∞∞∣ϕ(t)∣ dt<∞\int_{-\infty}^{\infty}\lvert\phi(t)\rvert\,\mathrm{d}t<\infty，则 XX 有有界连续密度函数 f(x)=12π∫−∞∞e−itxϕ(t) dtf(x)=\frac{1}{2\pi}\int_{-\infty}^{\infty}e^{-itx}\phi(t)\,\mathrm{d}t

    这些说明了随机变量和分布函数相互唯一决定

  • 先介绍收敛性：设 XX 有分布函数 F(x)F(x)， XnX_n 有分布函数 Fn(x)F_n(x)。若在 F(x)F(x) 的连续点 xx 处，有 lim⁡n→∞Fn(x)=F(x)\lim\limits_{n\rightarrow\infty}F_n(x)=F(x)，则称 XnX_n 依分布收敛 (convergence in distribution) 到 XX，记为 Xn→dXX_n\overset{d}{\rightarrow} X;或称 FnF_n 弱收敛 (weak convergence) 到 FF，记为 Fn→wFF_n\overset{w}{\rightarrow}F

    连续性定理指出，XnX_n 依分布收敛到 XX 的充分必要条件是，其对应的特征函数满足 lim⁡n→∞ϕn(t)=ϕ(t),∀t∈R\lim\limits_{n\rightarrow\infty}\phi_n(t)=\phi(t),\quad\forall t\in\mathbb{R}
  • 判定一个函数是否为特征函数有如下定理

  • S. Bochner-Khintchine 定理

    设 ϕ(t),t∈R\phi(t),t\in\mathbb{R} 是连续函数且 ϕ(0)=1\phi(0)=1，其是特征函数的充要条件是他是非负定的，即 ∀t1,…,tn∈R,∀z1,…,zn∈C,∑k=1n∑j=1nϕ(tk−tj)zkzˉj≥0\forall t_1,\ldots,t_n\in\mathbb{R},\forall z_1,\ldots,z_n\in\mathbb{C},\sum_{k=1}^{n}\sum_{j=1}^{n}\phi(t_k-t_j)z_k\bar{z}_j\ge 0

  • Polya 定理

    设 ϕ(t)\phi(t) 是连续函数、偶函数，在 (0,∞)(0,\infty) 是凸函数，且满足ϕ(t)≥0\phi(t)\ge 0,ϕ(0)=1\phi(0)=1,ϕ(t)→0 (t→∞)\phi(t)\rightarrow 0\,(t\rightarrow\infty) 则其是特征函数。

  • J. Marcinkiewiez 定理

    若 ϕ(t)\phi(t) 具有形式 eP(t)e^{P(t)}，其中 P(t)P(t) 是多项式，则其系数不能大于 2

（1）ϕ(t)\phi(t) 是特征函数，证明 ϕˉ,ϕ2,∣ϕ∣2,Re[ϕ]\bar{\phi},\phi^2,\lvert\phi\rvert^2,Re[\phi] 都是特征函数

设 X,YX,Y独立同分布且特征函数为 ϕ\phi，则前三个分别为 −X,X+Y,X−Y-X,X+Y,X-Y

第四个构造独立于 XX 的随机变量 ZZ 且 P[Z=±1]=0.5\mathbb{P}[Z=\pm 1]=0.5，则XZXZ 的特征函数为 Re[ϕ]Re[\phi]

（2）ϕ(t)\phi(t) 是特征函数，则 ∣ϕ(t)∣\lvert\phi(t)\rvert 未必是特征函数

设 X∼B(1,1/3)X\sim B(1,1/3)，ϕ(t)=23+13eit\phi(t)=\frac{2}{3}+\frac{1}{3}e^{it} 。设 YY 的特征函数为 ψ(t)=∣ϕ(t)∣\psi(t)=\lvert\phi(t)\rvert,则 ψ2(t)=ϕ(t)ϕ(−t)\psi^2(t)=\phi(t)\phi(-t)，即 Y1+Y2Y_1+Y_2 和 X1−X2X_1-X_2 同分布。其中 Y1,Y2Y_1,Y_2 与 YY 独立同分布，X1,X2X_1,X_2 与 XX 独立同分布。由于 X1−X2∈{−1,0,1}X_1-X_2\in\{-1,0,1\}，则 Yi∈{−0.5,0.5}Y_i\in\{-0.5,0.5\}，记 P[Y1=0.5]=α\mathbb{P}[Y_1=0.5]=\alpha。则

P[Y1+Y2=1]=α2=P[X1−X2=1]=2/9\mathbb{P}[Y_1+Y_2=1]=\alpha^2=\mathbb{P}[X_1-X_2=1]=2/9

P[Y1+Y2=−11]=(1−α)2=P[X2−X1=1]=2/9\mathbb{P}[Y_1+Y_2=-11]=(1-\alpha)^2=\mathbb{P}[X_2-X_1=1]=2/9

此时 α\alpha 无解

（3）X1,…,X4X_1,\ldots,X_4 独立同标准正态分布，则

  1. X1X2X_1X_2的特征函数为 11+t2\frac{1}{\sqrt{1+t^2}}
  2. X1X2+X3X4X_1X_2+X_3X_4 的特征函数为 11+t2\frac{1}{1+t^2}，即服从拉普拉斯分布

（4）X,YX,Y独立同标准正态分布，U,VU,V独立于 X,YX,Y，则Z=UX+VYU2+V2∼N(0,1)Z=\frac{UX+VY}{\sqrt{U^2+V^2}}\sim\mathcal{N}(0,1)

（5）利用已知结果若 a>0,b>0a>0,b>0，则I(a,b)=∫0∞exp⁡{−a2u2−b2u−2} du=e−2abπ2aI(a,b)=\int_0^\infty\exp\{-a^2u^2-b^2u^{-2}\}\,\mathrm{d}u=\frac{e^{-2ab}\sqrt{\pi}}{2a}

证明若 f(x)=12πx3exp⁡(−12x),x>0f(x)=\frac{1}{2\pi x^3}\exp(-\frac{1}{2x}),x>0， 则 E[e−tX]=exp⁡(−2t)\mathbb{E}[e^{-tX}]=\exp(-\sqrt{2t})

（6）X,Y,ZX,Y,Z独立同标准正态分布，则

  1. X/YX/Y服从柯西分布
  2. 1/X21/X^2的概率密度函数为 5. 中结果
  3. (XYZ)/X2Y2+Y2Z2+Z2X2∼N(0,1/9)(XYZ)/\sqrt{X^2Y^2+Y^2Z^2+Z^2X^2}\sim\mathcal{N}(0,1/9)

（7）XnX_n 有分布函数 Fn(x)=x−sin⁡(2nπx)2nπ,0≤x≤1F_n(x)=x-\frac{\sin(2n\pi x)}{2n\pi},0\leq x\leq 1

  1. XnX_n 有密度函数 fn(x)=1−cos⁡(2nπx),0≤x≤1f_n(x)=1-\cos(2n\pi x),0\leq x\leq 1
  2. Fn(x)F_n(x) 弱收敛于 U[0,1]\mathcal{U}[0,1]，但 fn(x)f_n(x) 不收敛