0%

概率论和随机过程笔记

期末复习了...

第一章 随机事件及其概率

条件概率、全概率公式、贝叶斯公式

定义1.5 条件概率

定理1.2 全概率公式

由因及果

定理1.3 贝叶斯公式

由果溯因

定义 1.7 事件相互独立

第二章 随机变量及其分布

 离散型随机变量的概率分布

定义2.3 概率分布与分布律

形如$P(X=x_k)=p_k,k=1,2,…$ 称为随机变量X的概率分布或分布律

分布律也可以表示为以下表格形式

$X$ $x_1$ $x_2$ $x_k$
$P$ $p_1$ $p_2$ $p_k$
  1. $p_k \ge 0$
  2. $\displaystyle \sum_{k=1}^{\infty}p_k=1$

定义2.4 (0-1)分布

也称两点分布

$X$ 0 1
$P$ $1-p$ $p$

定义2.5 二项分布

在n重贝努里实验中,X为事件A发生的次数,单次发生概率为p

记为

$X\sim B(n,p)$

性质1

设 $X \sim B(n,p)$ ,则当 $k=[(n+1)p]$ 时,$P(X=K)$ 取得最大值

性质2

设随机变量 $X_n \sim B(n,p),且\displaystyle \lim_{n \to \infty}np_n=\lambda$

则$\displaystyle \lim_{n \to \infty} P(X_n=k)\approx\frac{\lambda^k\mathrm{e}^{-\lambda}}{k!}$

及泊松定理

满足 $\lambda$ 为$np_n$的泊松分布,n越大,p越小就越精确

定义2.6 泊松分布

记为 $X \sim \pi(\lambda)$

是二项分布的极限分布

定义2.7 几何分布

在n重贝努里实验中,X为事件A首次发生时的试验次数,单次发生概率p

记为

$X \sim G(p)$

超几何分布

不放回抽样

设样本数量n,总量为N,发生事件A的概率为$\frac{M}{N}$ ,发生k次的概率为:

当 $N\ge 10n$ 时,可以视为二项分布。

随机变量的分布函数

关于分布函数和概率密度函数的关系在这里不再赘述

只有一个地方需要注意,离散型随机变量的分布函数区间一般取左闭右开区间(《南邮概率论与随机过程》P~42~),但计算时却不用区分(P~45~ 定理2.2)

连续型随机变量的分布

定义2.10 均匀分布

若随机变量X的概率密度函数函数为

则称X在(a,b)上满足均匀分布,记为

$X \sim U(a,b)$

分布函数为

定义2.11 指数分布

若随机变量X的概率密度函数为

则称X在(a,b)上满足指数分布

分布函数为

性质 无记忆性

$P(X>t_1+t_2|X>t1)=P(X>t_2)$

定义2.12 正态分布

若随机变量X的概率密度函数为

$f(x)=\displaystyle \frac{1}{\sqrt{2\pi} \sigma } \mathrm{e} ^{-\frac{(x-\mu )^2}{2\sigma ^2} }$

则称服从参数为 $\mu,\sigma ^ 2$ 的正态分布,又称高斯分布,记为

$X \sim N(\mu,\sigma ^ 2)$

其中 $\mu, \sigma ^ 2$ 分别为平均数与方差

分布函数为

$ F(x)=\displaystyle \frac{1}{\sqrt{2\pi} \sigma }\int_{x}^{-\infty } \mathrm{e} ^{-\frac{(x-\mu )^2}{2\sigma ^2} }\mathrm{d}x $

性质1

特别的,当 $\mu=0, \sigma=1$ 时,称X服从标准正态分布

$X\sim N(0,1)$

正态分布的概率密度函数和分布函数分别用$\varphi (x),\Phi(x)$ 表示。

性质2

f(x)图像关于$x=\mu$对称,此时

$f(x)=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$为最大值

性质3

f(x)在$x=\mu \pm \sigma$ 处有拐点

一维连续型随机变量复合函数概率密度

设 X 为连续型随机变量,概率密度为$f_X(x)$ ,求$Y=g(X)$ 的概率密度$f_Y(y)$

  1. 确定 $y=g(x)$ 的值域,求Y的分布函数$F_Y(y) = P(Y \le y) = ?$
  2. 代入 $Y=g(X) \Rightarrow F_Y(y) = P(Y \le y)=P(g(X)\le y)$
  3. 由$f_X(x)$ 求出结果

定理 2.4

设随机变量X具有概率密度 $f_X(x), -\infty < x < +\infty $,又设函数 $g(x)$ 处处可导且恒有 $g(x)’>0$ (或恒有 $g(x)’<0$),则$Y=g(X)$ 是连续型随机变量。

设 $g(x)$ 值域为$(\alpha ,\beta)$ 或 $[\alpha ,\beta]$,$h(y)$ 是$g(x)$ 的反函数,则$Y=g(X)$ 的概率密度为

第三章 多维随机变量及其分布

常见二维连续型随机变量的分布

定义3.6 二维均匀分布

设 $D$ 是 $xOy$ 平面上的有界区域,其面积为 $S_D$ .若 $(x,y)$ 满足二维均匀分布,则其概率密度函数为

定义3.7 二维正态分布

边缘分布 条件分布

看看题目就会了,没啥好记的

随机变量的独立性

定义3.10

设 $F(X,Y)$ 是二维随机变量 (X,Y)的分布函数,$F_X(x),F_Y(y)$ 为边缘分布函数

恒成立,则随机变量X,Y相互独立

定理 3.1

二维随机变量事件相互独立的充要条件为

独立可加性

二项、泊松、正态、卡方满足独立可加性。

几何、均匀、指数都不具有可加性。

例如,

二维复合

一般方法

同一维,求区间代入

$Z=X+Y$

$\displaystyle f_Z(z)=\int_{-\infty}^{+\infty} f(x,z-x)dx$ 或 $f_Z(z)=\int_{-\infty}^{+\infty} f(z-y,y)dy$,xy相互独立三者相等

$M=\max(X,Y)$ and $N=\min(X,Y)$

  • $F_\mathrm{min}(z)=1-[1-F_X(z)][1-F_Y(x)]$
  • $F_\mathrm{max}=F_X(z)F_Y(z)$
  • $=>F_\mathrm{min}(z)=1-[1-F(z)]^n$
  • $=>F_\mathrm{max}(z)=F(z)^n$

$Z=X/Y$

$\displaystyle f_Z(z)=\int_{-\infty}^{+\infty}\left | y\right | f(yz,y)\mathrm{d}y $

相互独立时

$\displaystyle f_Z(z)=\int_{-\infty}^{+\infty}\left | y\right | f_X(yz) f_Y(y)\mathrm{d}y $

第四章 随机变量的数字特征

期望与方差怎么算的就不说了

定理4.1

设 $Y = g(X)$ 是随机变量X的函数,g为连续函数

  • 若X是离散型随机变量,分布律为 $ P(X=x_k)=p_k$

  • 若X是连续型随机变量,概率密度函数为$f(x)$

定理4.2

设 Z=g(X,Y) 是随机变量(X,Y)的函数,g为连续函数

  • 若X,Y是离散型随机变量,分布律为 $ P(X=x_i,Y=y_j)=p_{ij} $

  • 若X,Y是连续型随机变量,概率密度函数为$f(x,y)$

期望的性质

  1. 设 C 是常数,则$E(C)=C$.
  2. 设 C 是常数,X 是随机变量,则 $E(CX)=CE(X)$ .
  3. 设 X,Y为两个随机变量,则有$E(X+Y)=E(X)+E(Y)$ .
  4. 若 X,Y为两个相互独立的随机变量,则有 $E(XY)=E(X)E(Y)$ .

方差的性质

$D(X)=E(X^2)-[E(X)]^2$

  1. 设 C 是常数,则$D(C)=0$.
  2. 设 C 是常数,X 是随机变量,则 $D(CX)=C^2D(X)$ .
  3. 设 X,Y为两个随机变量且相互独立,则有$D(X\pm Y)=D(X)+D(Y)$ .
  4. 期望为常数是方差为0的充要条件

几种重要分布的期望和方差

0-1 分布

  • $E(X)=p$
  • $D(X)=p(1-p)$

二项分布

  • $E(X)=np$
  • $D(X)=np(1-p)$

泊松分布

$E(X)=D(X)=\lambda$

均匀分布

  • $\displaystyle E(X)=\frac{a+b}{2}$
  • $\displaystyle D(X)=\frac{(b-a)^2}{12}$

指数分布

  • $\displaystyle E(X)=\frac{1}{\lambda}$
  • $\displaystyle D(X)=\frac{1}{\lambda^2}$

正态分布

  • $E(X)=\mu$
  • $D(X)=\sigma^2$

协方差与相关系数

协方差

  1. 性质1

    $Cov(X,a)=0,Cov(X,X)=D(X)$

  2. 性质2

    $Cov(X,Y)=Cov(Y,X)$

  3. 性质3

    $Cov(aX,bY)=abCov(X,Y)$

  4. 性质4

    $Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z$

  5. 性质5

    $D(X \pm Y)=D(X)+D(Y) \pm Cov(X,Y)$

相关系数

若(X,Y)是二维随机变量,且二者方差均大于0

当$\rho_{XY}=0$ 时,则称X与Y不相关。

  • $\left | \rho_{XY} \right | \le 1$

  • $\left | \rho_{XY} \right | = 1$ 的充要条件是X与Y依概率1线性相关,即

    $P(Y=aX+b)=1$

  • 若随机变量X与Y相互独立,则X与Y不相关

矩与协方差

设X,Y为随机变量

  • k阶矩:$E(X^k)$
  • k阶中心矩:$E([X-E(X)]^k)$
  • k+l阶混合矩:$E(X^kY^l)$
  • k+l阶混合中心矩:$E([X-E(X)]^k[Y-E(Y)]^l)$

若二维随机变量$(X_1,X_2)$ 的四个二阶中心矩都存在

写成协方差矩阵:

推广到一般形式

n维正态分布

第五章 大数定律与中心极限定理

定理5.1 切比雪夫不等式

定理5.2 切比雪夫大数定理

设 $X_1, \dots ,X_n,\dots $ 是相互独立的随机变量序列,如果存在常数C,使得

则称此随机变量序列 $\{X_n\}$ 服从大数定律

定理5.3 贝努里大数定律

设 $N_A$ 是n重贝努里实验中事件A发生的次数,p是事件A在每次实验发生的概率,则对任意的实数 $\varepsilon > 0$ ,有

定理5.4 辛钦大数定律

设$X_1. \dots,X_n,\dots$ 是独立同分布的随机变量序列,且$E(X_i)=\mu$

则对于任意的实数$ \varepsilon > 0$ 有

中心极限定理

假设随机变量序列$\{X_n\}$ 的如下形式的分布函数:

收敛到标准正态分布的分布函数,成为中心极限定理

凡使 $F_n(x) \stackrel{n \to \infty}{\longrightarrow} \Phi(x)$ 一致成立的定理都称为中心极限定理

定理5.5 独立同分布情形下的中心极限定理

设 $X_i$ 是独立同分布的随机变量序列,$E(X_i) = \mu,D(X_i )= \sigma^2 \neq 0$

当 $n$ 充分大时

定理5.6 德莫佛-拉普斯中心极限定理

$N_A$ 是 $n$ 次独立重复实验中事件 $A$ 发生的次数,$p$ 是每次实验事件 $A$ 发生的概率,$N_A \sim B(n,p)$ ,则对任意有限区间 $(a,b]$ 有

第六章 样本及抽样分布

定义6.1

设 X 是具有分布函数 F 的随机变量,若 $ X_1,X_2,\dots ,X_n$ 是具有分布函数 $F$ 的相互独立的随机变量,则称它们为来自总体 $X$ 的容量为 n 的简单随机样本,样本的观察值 $x_1,x_2, \dots ,x_n$ 称为样本值

则 $ X_1,X_2,\dots ,X_n$ 的联合分布函数为

联合概率密度函数

定义6.3

设 $X_1,X_2,\dots ,X_n $ 为来自总体X的简单随机样本,$x_1,x_2, \dots ,x_n$ 是对应于该样本的样本值

定义6.4 经验分布函数

设 $X_1,X_2,\dots ,X_n $ 是来自总体 $X$ 的简单随机样本,$S(x)$ 表示$X_1,X_2,\dots ,X_n $ 中小于 $x$ 的随机变量的个数,称 $\displaystyle F_n(x)=\frac{1}{n}S(x), -\infty<x<+\infty$ 为总体X的经验分布函数

定理6.1

设 $X_1,X_2,\dots ,X_n $ 是来自总体X的简单随机样本,若 $E(X) = \mu,D(X) = \sigma^2 $ ,则有

  • $E(\bar X) = E(X) = \mu $
  • $\displaystyle D(\bar X) = \frac{D(X)}{n} = \frac{\sigma^2}{n}$
  • $E(S^2)=D(X) = \sigma^2$

三种重要的抽样分布

$\chi ^2$ 分布

设$X_1,X_2,\dots ,X_n $ 是来自正态总体N(0,1)的简单随机样本,则称统计量 $X= X_1^2+X_2^2+\dots+X_n^2$ 服从自由度为 $n$ 的 $\chi ^2 $ 分布,记为

概率密度函数为

  • $\Gamma(1)=1$
  • $\Gamma(n+1)=n!$
  • $\Gamma(0.5) = \sqrt{\pi}$

特殊情况

  • $X_1 \sim N(0,1$)

  • n=2

    与 $\lambda = 1/2 $ 的指数分布的概率密度函数一致

性质1 独立可加性

性质2

分位点

定义6.5

设 $Z \sim N(0,1)$ ,称满足条件 $P(Z \geq z_\alpha) = \alpha ,(0<\alpha<1)$ 的点为标准正态分布的分位点,

常见的为:

  • $z_{0.05} = 1.645$
  • $z_{0.025} = 1.96$
  • $z_{0.01} = 2.33$
  • $z_{0.005} = 2.58$
定义6.6

对于给定的 $\alpha(0<\alpha<1)$,称满足条件 $P(\chi^2 \geq \chi^2_\alpha(n)) =\alpha$ 的点 $\chi^2_\alpha(n)$ 为自由度是n的$\chi^2$ 分布的上$ \alpha$ 分位点

$t$ 分布

设 $X \sim N(0,1),Y\sim \chi^2(n)$ ,且二者相互独立,则称随机变量 $\displaystyle T = \frac{X}{\sqrt{Y/n}}$ 服从自由度为$n$的$t$分布,记为

概率密度函数为

当 $n$ 充分大,图形近似于标准正态分布的图形

性质1

性质2

性质3

若 $T \sim t(n)$ ,则 $\displaystyle E(T)=0,D(T)=\frac{n}{n-2},n>2$

分位点

$F$ 分布

设 $U \sim \chi^2(n_1),V \sim \chi^2(n_2)$ 且二者相互独立,则称随机变量 $\displaystyle F = \frac{U/n_1}{V/n_2} $ 服从自由度为 $(n_1,n_2)$ 的 $F$ 分布,记为

概率密度函数为

性质1

若 $F \sim F(n_1,n_2)$ ,则 $\displaystyle \frac{1}{F} \sim F(n_2,n_1)$

性质2

性质3

若 $F \sim F(n_1,n_2)$ 则 $\displaystyle E(F) = \frac{n_2}{n_2-2}$

与第一自由度无关

分位点

正态总体样本均值与样本方差的分布

定理 6.2

设 $X_1,X_2,\dots,X_n$ 是来自正态总体 $N(\mu,\sigma^2) $ 的样本,则有

定理 6.3

设 $X_1,X_2,\dots,X_n$ 是来自正态总体 $N(\mu,\sigma^2) $ 的样本,$\bar X ,S^2 $ 分别是样本均值和样本方差,则有

定理 6.4

设 $X_1,X_2,\dots,X_n$ 是来自正态总体 $N(\mu,\sigma^2) $ 的样本,$\bar X ,S^2 $ 分别是样本均值和样本方差,则有

定理 6.5

设 $X_1,X_2,\dots,X_{n_1}$ 是来自正态总体 $N(\mu_1,\sigma^2) $ 的样本,$Y_1,Y_2,\dots,Y_{n_2}$ 是来自正态Y总体 $N(\mu_2,\sigma^2) $ 的样本,两个样本独立且$\sigma$ 未知,则有

定理 6.6

设 $X_1,X_2,\dots,X_{n_1}$ 是来自正态总体 $N(\mu_1,\sigma^2) $ 的样本,$Y_1,Y_2,\dots,Y_{n_2}$ 是来自正态Y总体 $N(\mu_2,\sigma^2) $ 的样本,两个样本独立且$\sigma$ 未知,则有

第七章 参数估计

点估计

矩估计

若总体中含有 k 个未知参数 $\theta_1,\theta_2,\dots,\theta_k$ ,

-----------看到底线啦 感谢您的阅读-------------