概率论知识点总结

概率论知识点总结

文章目录

概率论知识点总结第一章：概率论的基本概念第二章：随机变量及其分布第三章 多维随机变量及其分布 总结1：常见的随机变量分布第四章：随机变量的数字特征第五章：大数定理及中心极限定理

第一章：概率论的基本概念

1、样本空间：对于随机试验来说，由于可以事先明确试验所有可能的结果，因此称随机试验所有可能结果的集合为随机试验的样本空间，记为$\Omega$。称随机试验中一个可能结果为一个样本点，记为$\omega$，从而样本空间就是样本点的集合，即$\Omega =\{\omega \}$。 2、随机事件：一般的，称随机试验的样本空间$\Omega$的子集为随机试验的随机事件，简称事件。在每次实验中，当且仅当随机事件所包含的样本点重点一个样本点出现时，称为这一事件发生。特别的，有一个样本点组成的单点集，称为基本事件。 3、事件的运算与关系： Ⅰ.事件的运算 1）和事件：称事件A与事件B中至少有一个发生的事件为事件A和B的和事件。记作$A\cup B$ 2）积事件：称事件A和事件B同时发生的事件为A事件与B事件的积事件。记为$A\cap B$ 3）差事件：称事件A发生而事件B不发生的事件为事件A和事件B的差事件。记为$A-B$ 4）运算律： 吸收律：$若A\subset B，则A\cup B=B，AB=A$ 交换律：$若A\cup B=B\cup A，AB=BA$ 结合律：$若A\cup (B\cup C)=(A\cup B)\cup C，A(BC)=(AB)C$ 分配律：$若A(B\cup C)=AB\cup AC，A\cup (BC)=(A\cup B)(A\cup C)$ 对偶律：$\overline{{\cup }_{i=1}^n{A}_i}={\cap }_{i=1}^n\overline{A_i}，\overline{{\cap }_{i=1}^n{A}_i}={\cup }_{i=1}^n\overline{A_i}$ Ⅱ.事件的关系 1）包含关系：设A与B事件，如果A事件的发生必然导致事件B的发生则称事件B包含事件A，或称事件A是事件B的子事件，记为$A\subset B$ 2）相等关系：设A与B事件，如果$A\subset B$且$B\subset A$，则称事件A与事件B相等，记为$A=B$ 3）互不相容（互斥）关系：设A与B事件，如果事件A和事件B同时发生是不可能的，即$AB=\varnothing$，则称事件A与事件B是互不相容的 4）对立关系：设A与B事件，如果$A\cup B=\Omega$且$AB=\varnothing$，则称事件A与事件B是相互对立的，称事件B是事件A的逆事件或对立事件，记为$\overline{A}$ 4、概率： $P(\varnothing )=0$ $P({\cup }_{i=1}^n{A}_i)={\Sigma }_{i=1}^{n}P(A_i)$ $P(B-A)=P(B)-P(A)$ $P(A)\le 1$ $P(\overline{A})=1-P(A)$ $P(A\cup B)=P(A)+P(B)-P(AB)$ ${\lim }_{n\to \infty }P(A_n)=P({\cup }_{n=1}^{\infty }{A}_n)$ ${\lim }_{n\to \infty }P(A_n)=P({\cap }_{n=1}^{\infty }{A}_n)$ 5、古典概型（几何概率） 设随机试验的样本空间$\Omega =\{{\omega }_1、{\omega }_2、{\omega }_3、{\omega }_4\cdots {\omega }_n\}$，n为有限的正整数，且每个基础事件（两两互不相容的事件）${\omega }_i(i=1、2、3、4\cdots ，n)$发生的可能性相同，则称这种随机试验为古典概型，或称等可能概型。 计算公式：$P(A)=\frac{k}{n}=\frac{有利于事件A发生的基本事件数}{\Omega 中基本事件的总数}$ 6、条件概率和概率的三大公式 $P(B|A)=\frac{P(AB)}{P(A)}$ 1）乘法公式：$P(AB)=P(A|B)P(B)=P(B|A)P(A)$ 2）全概率公式： $P(A)={\Sigma }_{i=1}^{n}P(B_i)P(A|B_i)$ $P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\Sigma }_{j=1}^{n}P(B_j)P(A|B_j)}$ 7、事件的独立性 1）$P(AB)=P(A)P(B)$ 2）Ａ，B相互独立，A的运算与B的运算也相互独立 3）Ａ，B，C相互独立，A,B,C任意两者的运算和第三事件的运算相互独立。若事件$A_1,A_2\cdots A_n$相互独立，则其两两独立，但反之不然。 4）$A_1,A_2\cdots A_n$相互独立，则 ①其中任意k个事件也相互独立 ②将其中任意K个事件换成它们各自的对立事件，所得到的n个事件也相互独立 ③将$A_1,A_2,\cdots ,A_n$任意分为k个没有相同事件的不同小组，并对每个小组中的事件施以和、积、差、逆运算后，所得到的k个事件也相互独立。

第二章：随机变量及其分布

1、随机变量的分布函数 设X是一个随机变量，称函数$F(x)=P(X\le x)$为随机变量X的分布函数。 从几何上看，如果把X看成数轴上的随机点坐标，那么分布函数F（x）就是在x处的函数值就表示X落在区间$（-\infty ,x]$上的（即随机点落在点x的左边）概率。 1）$P(x_1<X\le x_2)=F(x_2)-F(x_1)$ 2）$0\le F(x)\le 1$且$F（-\infty ）=0,F(+\infty )=1$ 3）F（x）函数是单调不递减函数 4）F（x）是右连续的，即$F（x+0）=F(x)$ 2、离散型随机变量的分布律 设X是离散型随机变量，其可能的取值为$x_1,x_2,\cdots ，x_i\cdots$，称$P(X=X_i)=p_i，i=1，2，\cdots$为X的分布律。【可能值+可能值出现概率】 或表示为

X$x_1$$x_2$$\cdots$$x_i$$\cdots$P$p_1$$p_2$$\cdots$$p_i$$\cdots$

求离散型随机变量X的分布律，其方法是：X可能的取值便是分布函数F（x）的间断点（分界点）$x_i(i=1,2,\cdots )$，从而X的分布律为$p_i=P(X=x_i)=F(x_i+0)-F(x_i-0)=F(x_i)-F(x_i-0)$ 3、几种重要的离散型随机变量 1）0-1分布 离散型随机变量X只能取0和1两个值，他的分布律为 $$P(X=k)=p^k(1-p{)}^{1-k}，0<p<1，k=0,1$$ 2）二项分布(记为X~$B（n，p）$) 离散型随机变量X的分布律为 $$P(X=k)=C_n^k{p}^k{q}^{n-k}，q=1-p，k=0，1，2，\cdots ，n$$ 3）Poisson分布(记为X~$P(\lambda )$) 离散型随机变量X的分布律为 $$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }，\lambda >0，k=0,1,2,\cdots$$ [Poisson定理]：设$\lambda >0$是一个常数，n是任意的正整数，$np=\lambda$，则对任意固定的非负整数k，有${\lim }_{n\to \infty C_n^k{p}^k(1-p{)}^{n-k}}=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$ 4）几何分布 离散型随机变量X的分布律为 $$P(X=k)=q^{k-1}p，k=1，2，\cdots ，0<p<1,q=1-p$$ 5）超几何分布(记为X~$h(N,n,k)$) 若从N件产品，其中有M件次品中，任取n件，则随机变量X的分布律为$$P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_M^k}，k=0，1，2，\cdots ，min\{M，n\}$$ 当$N\to \infty$时，$\frac{M}{N}\to p$，则${\lim }_{N\to \infty }\frac{C_M^k{C}_{N-M}^{n-k}}{C_N^n}={\lim }_{N\to \infty }P(X=k)=C_n^k{p}^k{q}^{n-k}$ 4、连续性随机变量的概率密度 设X是随机变量，其分布函数为F（x），如果存在非负可积函数f(x)，使得$F（x）={\int }_{-\infty }^{x}f(t)dt，-\infty <x<+\infty$则称X为连续型随机变量，称f(x)为X的概率密度函数，简称概率密度。 $f(x)>=0$ ${\int }_{-\infty }^{+\infty }f(x)dx=1$ $P(a<X\le b)={\int }_a^{b}f(x)dx=1$ 在f(x)的连续点x处，有$F^{\prime }(x)=f(x)$ [不可能事件的概率是零，但概率是零的事件未必是不可能事件] 5、几种重要的连续型随机变量 1）均匀分布 若连续型随机变量X的概率密度为 $$f(x)=\frac{1}{b-a},a<x<b;0,其他$$ 则称X在区间（a,b）上服从均匀分布，记为X~U（a,b） 2）正态分布 若连续型随机变量X的概率密度为 $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$ 其中，$\mu 、\sigma$为常数，则称X服从参数为$\mu 、{\sigma }^2$的正态分布或高斯分布Gauss，记为X~$N(\mu ,{\sigma }^2)$ 把X~N（0，1）称作标准正态分布，即$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$ 若X~N（$\mu ,{\sigma }^2$）把$Z=\frac{X-\mu }{\sigma }$~N(0,1)，称作Z为X的标准化 对于X~N（$\mu ,{\sigma }^2$）,则 $$F(x)=\Phi (\frac{x-\mu }{\sigma })$$ $$\forall x_1<x_2,P(x_1<X\le x_2)=\Phi (\frac{x_2-\mu }{\sigma })-\Phi (\frac{x_1-\mu }{\sigma })$$ 3）指数分布 若连续型随机变量X的概率密度为 $$f(x)=\lambda e^{-\lambda x},x>0;0,x\le 0$$ 其中，$\lambda >0$为常数，则称X服从参数为$\lambda$的指数分布，记为X~E（$\lambda$） 指数分布具有无记忆性，即$P(X>s+t|X>s)=P(X>t)$ 6、随机变量函数及其分布 离散型随即变量的函数的分布按照$x_i$依次列写 连续性随机变量的函数其概率密度求法： 1、分布函数法 即$y=2x+1$ → $x=\frac{y-1}{2}$，然后积分 2、公式法 $f_y(y)=f_x(h(y))|h^{{}^{\prime }}(y)|，y\subseteq I;0，其他$ 其中：x=h(y)是y=g(x)的反函数；I是使得$f_x(h(y))>0$，$h(y)和h^{{}^{\prime }}(y)$有意义的y的集合

第三章 多维随机变量及其分布

1、联合分布函数及其性质 设（X，Y）是二维随机变量，称二元函数 $$F(x,y)=P(X\le x,Y\le y)，x、y\subseteq R$$ 为二维随机变量（X，Y）的联合分布函数 性质： 对于二维随机变量（X，Y）的联合分布函数，则$P(x_1<X\le x_2,y_1<Y\le y_2)=F(x2,y2)-F(x1,y2)-F(x2,y1)+F(x1,y1)$ 类比一维（线）到二维（面）的长度（面积）计算推广形式 $F(-\infty ，y)=F(x，-\infty )=F(-\infty ，\infty )=0$ $F(+\infty ，+\infty )=1$ $固定y，F(x+0,y)=F(x,y)；固定x，F(x,y+0)=F(x,y)$ 2、二维离散型随机变量的联合分布律 表示为 $$P(X=x_i,Y=y_j)=p_{ij},i,j=1,2\cdots$$ 或

$x/y$$y_1$$y_2$$\cdots$$y_j$$\cdots$$x_1$$p_{11}$$p_{12}$$\cdots$$p_{1j}$$\cdots$$x_2$$p_{21}$$p_{22}$$\cdots$$p_{2j}$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$$x_i$$p_{i1}$$p_{i2}$$\cdots$$p_{ij}$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$$\cdots$

3、二维连续型随机变量及其联合概率密度 设（X，Y）是二维随机变量，其联合分布函数为F（x，y），如果存在非负可积函数f(x,y)，使得 $$F(x,y)={\int }_{-\infty }^x{\int }_{{}_{\infty }}^{y}f(u,v)dudv，x,y\subseteq R$$ 则称（X，Y）为二维连续型随机变量，称f(x,y)为（X，Y）的联合概率密度函数，简称联合概率密度 性质： $$F(x,y\subseteq G)={\iint }_{G}f(x,y)dxdy$$ 在f(x,y)的连续点上，$\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}=\frac{{\partial }^{2}F(x,y)}{\partial y\partial x}=f(x,y)$ 4、几种重要的二维连续型随机变量 二维均匀分布 若二维连续型随机变量（X，Y）的联合概率密度为 $$f(x,y)=\frac{1}{A}，(x,y)\subseteq G;0,其他$$ 其中，A为区域G的面积，则称（X，Y）在G区域上均匀分布，记为（X，Y）~U（G） 这种分布等价于平面区域上的几何概率 二维正态分布 若连续型随机变量(X，Y)的联合概率密度为 $$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{}1-{\rho }^2}{e}^{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]}$$ 记为（X，Y）~N（${\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho$） 5、边缘分布 设（X，Y）是二维随机变量，称 $$F_X(x)=P(X\le x)$$ $$F_Y(y)=P(Y\le y)$$ 分别为（X，Y）关于X，Y的边缘分布函数 性质： $F_X(x)=F(x,+\infty ),x\subseteq R$ $F_Y(y)=F(+\infty ,y),y\subseteq R$ $F_X(x)={\int }_{R}f(x,y)dy,x\subseteq R$ $F_Y(y)={\int }_{R}f(x,y)dx,y\subseteq R$ 对于不同的二维联合分布，可能对应相同的边缘分布，故不能由边缘分布推出二位联合分布（如果变量独立那么允许唯一推出），反之可以。且对于二维正态分布，边缘分布均为正态分布的情况下，也不一定是二维正态分布。 6、条件概率 离散型随机变量的条件概率 对于固定的j：$P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}},i=1,2,3\cdots$ 对于固定的i：$P(Y=y_j|X=x_i)=\frac{p_{ij}}{p_{i\cdot }},i=1,2,3\cdots$ 连续型随机变量的条件概率 对于固定的y：$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ 对于固定的x：$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$ 7、二维随机变量函数及其分布

总结1：常见的随机变量分布

1）0-1分布 $$P(X=k)=p^k(1-p{)}^{1-k}，0<p<1，k=0,1$$ 2）二项分布(记为X~$B（n，p）$) $$P(X=k)=C_n^k{p}^k{q}^{n-k}，q=1-p，k=0，1，2，\cdots ，n$$ 3）Poisson分布(记为X~$P(\lambda )$) $$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }，\lambda >0，k=0,1,2,\cdots$$ 4）几何分布 $$P(X=k)=q^{k-1}p，k=1，2，\cdots ，0<p<1,q=1-p$$ 5）超几何分布(记为X~$h(N,M,n)$) $$P(X=k)=\frac{C_M^k{C}_{N-M}^{n-k}}{C_M^k}，k=0，1，2，\cdots ，min\{M，n\}$$ 6）均匀分布(X~U（a,b）) $$f(x)=\frac{1}{b-a},a<x<b;0,其他$$ 7）正态分布（X~N（$\mu ,{\sigma }^2$）） $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$ 8）指数分布（X~E（$\lambda$）） $$f(x)=\lambda e^{-\lambda x},x>0;0,x\le 0$$ 9）二维均匀分布（X~U(G)） $$f(x,y)=\frac{1}{A}，(x,y)\subseteq G;0,其他$$ 10）二维正态分布（（X，Y）~N（${\mu }_1,{\mu }_2;{\sigma }_1^2,{\sigma }_2^2;\rho$）） $$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{}1-{\rho }^2}{e}^{-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(y-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(y-{\mu }_2{)}^2}{{\sigma }_2^2}]}$$

第四章：随机变量的数字特征

1、期望 $$EX=\Sigma x_i{p}_i(离散型)$$

$$EX={\int }_{-\infty }^{\infty }xf(x)dx(连续型)$$

$$EY=Eg(x)=\Sigma g(x_i)p_i(离散型随机变量函数)$$

$$EY=Eg(x)={\int }_{-\infty }^{\infty }g(x)f(x)dx(连续型随机变量函数)$$

$$EZ=Eg(X,Y)=\Sigma \Sigma g(x_i,y_i)p_{ij}(离散型二维随机变量)$$

$$EZ={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }g(x,y)f(x,y)dxdy(连续型二维随机变量)$$ 2、期望的性质 $$EC=C$$

$$ECX=CEX$$

$$EX+Y=EX+EY$$

$$EXY=EX\cdot EY$$ 3、方差 $$DX=E(X-EX{)}^2$$

$$DX=E{X}^2-(EX{)}^2$$ 4、方差的性质 $$DC=0$$

$$D(X+C)=DX$$

$$DX+Y=DX+DY(X,Y要求相互独立)$$

$$DX=0的充要条件是P（X=EX）=1$$ 5、协方差和相关系数 $$cov(X,Y)=E(X-EX)(Y-EY)$$

$$cov(X,Y)=E(XY)-EX\cdot EY$$

$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}$$ 6、协方差和相关系数的性质 $$cov(X,X)=DX$$

$$cov(X,Y)=cov(Y,X)$$

$$cov(aX+b,cY+d)=ac\cdot cov(X,Y)$$

$$cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)$$

$$D(X\pm Y)=DX+DY\pm 2cov(X,Y)$$

$$若EX和EY<\infty ，则[E(XY){]}^2\le E{X}^{2}E{Y}^2$$

$$|{\rho }_{XY}|\le 1$$

$$若X,Y相互独立且方差均大于零，则{\rho }_{XY}=0$$

$$|{\rho }_{XY}=1|的充要条件为存在常数a与b,使得P（Y=aX+b）=1$$

$$X,Y不相关的充要条件为cov(X,Y)=0,E(XY)=EX\cdot EY,D(X\pm Y)=DX+DY,D(X+Y)=D(X-Y)$$

7、矩 $$E{X}^k叫做X的k阶原点距$$

$$E(X-EX{)}^k叫做X的k阶中心矩$$

$$E{X}^k{Y}^l叫做XY的k+l阶混合原点距$$

$$E(X-EX{)}^k(Y-EY{)}^l叫做XY的k+l阶混合中心矩$$

第五章：大数定理及中心极限定理

1、切比雪夫不等式Chebyshev $$P(|X-EX|\ge \epsilon )\le \frac{X}{{\epsilon }^2}$$

$$P(|X-EX|<\epsilon )\ge 1-\frac{X}{{\epsilon }^2}$$ 2、Chebyshev大数定理 $$设X_1,X_2,\cdots X_n是相互独立的，具有相同的数学期望和方差，即E{X}_i=\mu ,D{X}_i={\sigma }^2，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$ 更一般都形式： $$设X_1,X_2,\cdots X_n是相互独立的，具有相同的数学期望，即E{X}_i=\mu ，若存在C>0,使D{X}_i\le C，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$ 3、Markov大数定理 $$设X_1,X_2,\cdots X_n是随机变量序列，且li{m}_{n->\infty }\frac{1}{n^2}D\Sigma X_i=0，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\frac{1}{n}\Sigma E{X}_i|\ge \epsilon )=0$$ 4、Khintchine大数定理 $$设X_1,X_2,\cdots X_n是相互独立且同分布的随机变量，具有有限的数学期望，即E{X}_i=\mu ，则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{1}{n}\Sigma X_i-\mu |\ge \epsilon )=0$$ 5、Bernoulli大数定理 $$设n_A表示n重伯努利试验中事件A的发生次数，p是事件A在一次试验中发生地概率，即P(A)=p,则任取\epsilon >0，有li{m}_{n->\infty }P(|\frac{n_A}{n}-p|\ge \epsilon )=0$$ 6、独立同分布中心极限定理Lindeberg-Levy $$设X_1,X_2,\cdots X_n是相互独立且同分布的随机变量，E{X}_i=\mu ，D{X}_i={\sigma }^2，当n充分大时，\Sigma X_i近似服从以它的均值为均值，它的方差为方差的正态分布，即N(n\mu ,n{\sigma }^2)，故可以有P(a<\Sigma X_i<b)=\varphi (\frac{b-n\mu }{\sqrt{n}\sigma })-\varphi (\frac{a-n\mu }{\sqrt{n}\sigma })$$ 7、Lyapunov中心极限定理 $$设X_1,X_2,\cdots X_n是相互独立的随机变量，E{X}_i={\mu }_i，D{X}_i={\sigma }_i^2，当n充分大时，\Sigma X_i近似服从以它的均值为均值，它的方差为方差的正态分布，即N(\Sigma {\mu }_i,\Sigma {\sigma }_i^2)，故可以有P(a<\Sigma X_i<b)=\varphi (\frac{b-\Sigma {\mu }_i}{\sqrt{\Sigma {\sigma }_i^2}})-\varphi (\frac{a-\Sigma {\mu }_i}{\sqrt{\Sigma {\sigma }_i^2}}))$$ 8、De Moivre-Laplace(狄莫弗-拉普拉斯)中心极限定理 $$若X服从B（n，p），当n充分大时，X近似服从以它的均值为均值，它的方差为方差的正态分布，即N(np,np(1-p))，故可以有P(a<X<b)=\varphi (\frac{b-np}{\sqrt{np(1-p)}})-\varphi (\frac{a-np}{\sqrt{np(1-p)}}))$$