《第四章特征函数与极限定理.doc》由会员分享，可在线阅读，更多相关《第四章特征函数与极限定理.doc（28页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第 十二 次课 2学时 本次课教学重点： 特征函数的定义与性质本次课教学难点： 常见分布的特征函数的计算本次课教学内容：第四章 特征函数通过前面的讨论,我们已经知道如何去计算随机变量的数字特征，数字特征一般由各阶矩决定，随着阶数的增高，矩的计算总是较麻烦的，另一方面，由于随机现象错综复杂，一个随机现象往往需要多个随机变量来描述，甚至需要讨论一列随机变量依某种意义的收敛，从前面的讨论我们就看到，只利用分布函数和密度函数，求独立随机变量的和的分布都是较麻烦的（要计算密度函数的卷积），要解决复杂的多的问题，没有更优越的数学工具是不行的，在学习数学分析时我们就知道富里埃变换能把卷积运算变成乘法运算，它
2、在数学中是非常重要而有效的工具，把富里埃变换引入到概率之中来，就产生了“特征函数”，可以毫不夸张地说，概率统计自从引进了特征函数以后，就把理论的研究推进到一个新的台阶。第一节特征函数定义与性质一、定义本章中定义4.1.1设是定义在概率空间一个随机变量，分布函数为，称， （4.1）为的特征函数。有时也称为分布函数的特征函数。由定义当a1a2Pp1p2当f（x） （4.2）由，故（4.2）的级数或积分是绝对收敛，即的特征函数总存在。由（4.2）看出，的是其概率函数或密度函数的富里埃变换，计算特征函数则需要进行复数求和或作实变量复值函数的积分。作积分时有时会用到复变函数中的残数理论，但有时也可由欧拉
3、公式得即把求变成求两个实随机变量函数的期望。注：因为对任意的，总是有界连续函数，故皆为有限数。因此任意随机变量的特征函数总是存在的。例1 求下列随机变量的特征函数（1）；（2），（3），k=0，1，解：（1）（2）（3）例2 求下列随机变量的特征函数。（1）；（2）；（3）解：（1）（2）为了易求出上面的积分，我们用如下结论：对复数，只要，就有，（）故（3）积分是复变函数，在复平面上，沿平行于实轴的直线（或）的积分，由闭路积分理论知，此积分等于同一函数沿实轴的积分故 同样可得，服从时，则其特征函数为二、特征函数的性质性质1 在上一致连续，且，表示 的共轭。性质2特征函数具有非负定性。到此我们已
4、看到特征函数较分布函数具有更加优良的分析性质：一致连续，非负定性及有界性。可以证明：若实变元复值函数非负定，且，则是某随机变量的特征函数。性质3 设是的特征函数，则的特征函数为证明略。例3. ，求。记，故性质4设的分别为，又相互独立，则的为证：用归纳法可证，若分别为相互独立的的为，则的为该性质之逆不真。三、特征函数与矩的关系性质5设的阶矩存在，则的特征函数的k阶导数存在，且对任意，有即证：，而，对 = 性质5说明，可利用的的各阶微分来计算，的各阶矩，这显然比用分布密度的积分来求矩阵方便得多。例4 ，求解：已知得，作业布置： P290 T1，2，3第 十三 次课 2学时 本次课教学重点： 反演公
5、式及唯一定理内容的理解本次课教学难点： 反演公式及唯一定理的证明本次课教学内容：第一节 一维特征函数的定义及其性质四、反演公式及唯一定理由特征函数的定义看出，随机变量的特征函数由其分布函数完全确定，反之也能证明分布函数可由其特征函数完全确定。即与是一一对应的，由求的式子叫“逆转公式”。定理4.2.1(反演公式)设随机变量的分布函数和特征函数分别为和，对于得任意连续点和（），有 （4.2.1）令，则（4.2.1）可改为推论1（唯一性定理）任意一个随机变量的分布函数由其特征函数唯一确定。由上可知 ，因而也可用来描述随机变量的统计规律。推理2 若随机变量的特征函数于R上绝对可积，则为具有密度函数的连
6、续型随机变量，且 对取值整数的随机变量，有类似结论定理4.2.2 设为取整数值及0的随机变量，其概率函数为，其特征函数为，则证明略第 十四 次课 3学时 本次课教学重点： 相互独立的随机变量和的特征函数本次课教学难点： 多维随机变量特征函数及其性质本次课教学内容：第二节 多维随机变量的特征函数一、定义及例定义4.4.1设是二维随机变量，其分布函数为，为任意实数，记称为的特征函数。当为离散型变量时：，其中当为连续型变量时例1 设二维随机变量的分布列为计算的特征函数解：例2二维随机变量服从二维正态分布，它的密度函数为则它的特征函数为。特别当时二、二维随机变量特征函数的性质性质1随机变量的特征函数为
7、，则例3：如例2中，得由唯一性定理得，分别为正态分布及的特征函数，又一次证明了二维正态分布的边缘分布也是正态分布的结论性质2：设皆为常数，二维随机变量的特征函数为，则随机变量的特征函数为性质3 两个二元分布函数恒等的充分必要条件是他们对应的特征函数和恒等性质4 随机变量与相互独立的充分必要条件为的特征函数性质5 设随机变量的特征函数为，为任意常数，则的特征函数为特别（1）与相互独立时，有（2）对于，则的特征函数定理4.2.2 设为二维随机变量，存在，则其特征函数的偏导数存在且=第三节 相互独立的随机变量和的特征函数定理4.3.1设为n个独立随机变量，令，则例1 设为n个独立且同为服从两点分布的
8、随机变量，求的特征函数。解：例2 设为相互独立且为二项分布的随机变量，其概率函数为求的特征函数及分布律解：由可表示为n个独立的两点分布之和, 可表示为m个独立的两点分布之和得 这正是的特征函数，由唯一性定理例3设是个相互独立，分别服从分布的随机变量，求的分布。解：由题设由性质4而这正是的,由唯一性定理。如此证明了正态分布的可加性,类似方法可以证明些重要分布的可加性。注:定理4.3.1的逆命题并不成立例4设随机变量服从柯西分布，密度函数为，令，求特征函数解 先求的特征函数（书上例4.1.9）则，但与不独立作业布置： P290 T4，6，7，8，9，10第 十五 次课 3学时 本次课教学重点： 大
9、数定律的条件、结论本次课教学难点： 依概率收敛的定义，大数定理的应用本次课教学内容：第四节 大数定律一、大数定律的意义在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性频率的稳定性。频率是概率的反映，随着观测次数的增加，频率将会逐渐稳定到概率。这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。详细地说：设在一次观测中事件A发生的概率，如果观测了次（也就是一个重贝努里试验），A发生了次，则A在次观测中发生的频率为，当充分大时，频率逐渐稳定到概率。若用随机变量的语
10、言表述，就是：设表示第次观测中事件A发生次数，即 则是个相互独立的随机变量，显然。从而有因此“稳定于”，又可表述为次观测结果的平均值稳定于。 现在的问题是：“稳定”的确切含义是什么？稳定于是否能写成 （1）亦即，是否对， （2）对重贝努里试验的所有样本点都成立？实际上，我们发现事实并非如此，比如在次观测中事件A发生次还是有可能的，此时，从而对，不论多么大，也不可能得到成立。也就是说，在个别场合下，事件（）还是有可能发生的，不过当很大时，事件（）发生的可能性很小。例如，对上面的，有 。显然，当时， ，所以“稳定于”是意味着对，有 （3） （概率上“稳定于”还有其他提法，如博雷尔建立了，从而开创了
11、另一形式的极限定理-强大数定律的研究）沿用前面的记号，（3）式可写成二、依概率收敛从频率的稳定性出发，得出下面的极限关系式：)=0，其中或等价于这与数学分析中通常的数列收敛的意义不同。在上式中以随机变量 代替常数便得到新的收敛概念。1、定义4.4.1（依概率收敛）设有一列随机变量，如果对，有 或则称随机变量序列 依概率收敛于，记作或 （）从定义可见，依概率收敛就是实变函数中的依测度收敛。由定义可知， 一般地，设是随机变量序列，为常数，如果对，有 （4）即 ，则称依概率收敛于。概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。若将（4）式中的换成常数列，即得大数定律的一般定义
12、。定理4.4.1：若是随机变量序列，如果存在常数列，使对，有成立，则称随机变量序列服从大数定律。 若随机变量具有数学期望，则大数定律的经典形式是：对，有即 这里常数列例1、 设 是独立同分布的随机变量序列，且，证明： （证：，由契贝晓夫不等式 =故 即 2、性质1）、若则。证明：，由 则中至少有一个成立，即于是即对从而有 这表明，若将两个以概率为1相等的随机变量看作相等时，依概率收敛的极限是唯一的。2）、设 是两个随机变量序列，,为常数，若且在点连续，则。3）、若； ；是常数，且，则。2）、3）的证明方法类似于1）。三、四个大数定律 本段介绍一组大数定律，设是一随机变量序列，我们总假定存在。如
13、果随机变量序列，当时，有（*）证明：服从大数定律。证明 : 对，由契贝晓夫不等式，有因此即 故服从大数定律。 此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。定理4.4.2（契贝晓夫大数定律）设是一列两两不相关的随机变量，又设它们的方差有界，即存在常数，使有则随机变量序列服从大数定律，即对，有证明： 因为两两不相关，且由它们的方差有界即可得到从而有满足马尔可夫条件，因此由马尔可夫大数定律，有 注：契贝晓夫大数定律是马尔可夫大数定律的特例。例2 设为独立同分布随机变量序列，均服从参数为的普哇松分布，则由独立一定不相关，且，因而满足定理5.1.2的条件，因此有注：此例题也可直接验证满足马
14、尔可夫条件。定理5.1.1（贝努里定理或贝努里大数定律）:设是重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为，则对，有证明：令 显然由定理条件，独立同分布（均服从二点分布）。且都是常数，从而方差有界。由契贝晓夫大数定律，有 贝努里大数定律的数学意义：贝努里大数定律阐述了频率稳定性的含义，当充分大时可以以接近的概率断言，将落在以为中心的内。贝努里大数定律为用频率估计概率（）提供了理论依据。注1：此定理的证明也可直接验证满足马尔可夫条件。注2：贝努里大数定律是契贝晓夫大数定律的特例。它是1713年由贝努里提出的概率极限定理中的第一个大数定律。以上大数定律的证明是以契贝晓夫不等式为基础
15、的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。定理4.4.3（辛钦大数定律）设是一列独立同分布的随机变量，且数学期望存在,则对，有成立。此定理的证明将在5.4随机变量序列的两种收敛性中给出。注：贝努里大数定律是辛钦大数定律的特例。辛钦大数定律的数学意义：辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。它断言：如果诸是具有数学期望、相互独立、同分布的随机变量，则当充分大时，算术平均值一定以接近1的概率落在真值的任意小的邻域内。据此，如果要测量一个物体的某指标值，可以独立重复地测量次，得到一组数据：，当充分大时，可以确信，且把作为的近似值比一
16、次测量作为的近似值要精确的多，因，；但，即关于的偏差程度是一次测量的偏差程度的，越大，偏差越小。再比如要估计某地区小麦的平均亩产量，只要收割一部分有代表性的地块，计算它们的平均亩产量，这个平均亩产量就是，在比较大的情形下它可以作为全地区平均亩产量，即亩产量的期望的一个近似。这种近似或“靠近”并不是我们数学分析中的极限关系，而是本节中的依概率收敛。辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。作业布置： P292 T15，16，21，22第 十六次课 3学时 本次课教学重点： 依分布收敛的含义及中心极限定理本次课教学难点： 中心极限定理的应用本次课教
17、学内容：第五节 中心极限定理在实际问题中, 许多随机现象是由大量相互独立的随机因素综合影响所形成, 其中每一个因素在总的影响中所起的作用是微小的. 这类随机变量一般都服从或近似服从正态分布. 以一门大炮的射程为例, 影响大炮的射程的随机因素包括: 大炮炮身结构的制造导致的误差, 炮弹及炮弹内炸药在质量上的误差, 瞄准时的误差, 受风速、风向的干扰而造成的误差等. 其中每一种误差造成的影响在总的影响中所起的作用是微小的, 并且可以看成是相互独立的, 人们关心的是这众多误差因素对大炮射程所造成的总影响. 因此需要讨论大量独立随机变量和的问题.中心极限定理回答了大量独立随机变量和的近似分布问题, 其
18、结论表明: 当一个量受许多随机因素(主导因素除外) 的共同影响而随机取值, 则它的分布就近似服从正态分布.为此先引入依分布收敛的概念一、按分布收敛我们知道，分布函数全面地描述了随机变量的统计规律，那么当时，其相应的分布函数与之间会有什么样的关系呢？是不是对所有的，有（n）成立呢？答案是否定的。例1 设都是服从退化分布的随机变量，且于是对，当时，有所以 又的分布函数为的分布函数为显然，当时，有但当时， 上例表明，一个随机变量序列依概论收敛到某随机变量，相应的分布函数列不是在每一点都收敛于这个随机变量的分布函数的。但如果仔细观察一下这个例子，发现不收敛的点正是的不连续点。要求在每一点都收敛到是太苛
19、刻了，可以去掉的不连续点来考虑。1、 定义4.5.1 设,是一列分布函数，如果对的每个连续点， 都有成立， 则称分布函数列弱收敛于分布函数，并记作若随机变量序列的分布函数弱收敛于随机变量的分布函数,也称按分布收敛于，并记作2、 依概率收敛与按分布收敛（弱收敛）之间的关系定理4.5.1 若随机变量序列依概率收敛于随机变量，即则相对应的分布函数列弱收敛于分布函数，即定理4.5.2也可表示成如下形式：证明 ：对任意的有从而有即 如果，由 就有所以有 同理可证，当时，有于是对有令，即得显然，如果是的连续点，就有 注意：这个定理的逆命题不一定成立，即不能从分布函数列的弱收敛肯定相应的随机变量序列依概率收
20、敛。例2 抛掷一枚均匀的硬币，有两个可能的结果：=“出现正面”，=“出现反面”，则令 因是一个随机变量，其分布函数为这时，若，则显然与有相同的分布函数。再令，的分布函数记作，故=，于是对任意的，有所以成立，而对任意的，恒有即不可能有成立。但在特殊情况下，它却是成立的。定理4.5.3 随机变量序列为常数）的充要条件是这里的分布函数，也就是退化分布:定理4.5.4也可表示成如下形式：证明：必要性已由定理5.4.3给出，下面只要验证充分性。对任意的，有定理4.5.4得证。 然而，要直接判断一个分布函数列是否弱收敛是很困难的,上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良
21、很多，故判断特征函数的收敛一般较容易，那么是否有相应的答案是肯定的。即下述的特征函数的连续性定理。三、特征函数的连续性定理定理4.5.6 分布函数列弱收敛于分布函数的充要条件是相应的特殊函数列收敛于的特征函数。证明 ：整个证明比较冗长（略）。例3 若是服从参数为的普哇松分布的随机变量，证明：证明：已知的特征函数为，故的特征函数为对任意的，有于是从而对任意的点列，有又是分布的特征函数，由定理5.4.6即知有因是可以任意选取的，所以 注：此例说明普哇松分布（当参数时）收敛于正态分布。下面我们利用定理4.5.6来证明上一节的（辛钦大数定律）。证明：因同分布，故有相同的特征函数，又，将在处展开，有由相
22、互独立，得的特征函数为对于任意取定的，有上章已知是退化分布的特征函数，相应的分布函数为由定理4.5.6知的分布函数弱收敛于，再由定理4.5.5得故辛钦大数定律成立。 我们曾经指出特征函数在求独立和的分布时所具有的特殊威力，而本节所叙述的特征函数连续性定理（定理5.4.6）“如虎添翼”，更增加了特征函数在解决独立和的分布的极限问题时的效能，使之成为无与伦比的锐利工具。在下一节中将利用这一工具专门讨论独立和的分布的极限问题。最后了解如下的斯鲁茨基定理：定理4.5.7 设是个随机变量序列，并且又是元变量的有理函数，并且，则有成立。掌握斯鲁茨基定理的如下几个特例：如果是两个随机变量序列，并且当时有其中
23、是两个常数，这时有（1）；（2）成立。二、中心极限定理的概念设为一独立随机变量序列，且，均存在，称 为的规范和。概率论中，一切关于随机变量序列规范和的极限分布是标准正态分布的定理统称为中心极限定理，即设的规范和，有则称服从中心极限定理。中心极限定理实质上为 近似服从标准正态分布。独立同分布中心极限定理大数定律仅仅从定性的角度解决了频率稳定于概率p，即，为了定量地估计用频率估计概率的误差，历史上De MoivreLaplace给出了概率论上第一个中心极限定理，这个定理证明了的标准化随机变量渐近于分布。定理4.5.8（德莫佛拉普拉斯）极限定理 在重贝努里试验中，事件A在每次试验中出现的概率为，为次
24、试验中事件A发生的次数，则注：定理5.4.8说明近似服从，从而近似服从，又服从二项分布，所以定理5.4.8也称为二项分布的正态近似或二项分布收敛于正态分布。在第二章，普哇松定理也被说成是“二项分布收敛于普哇松分布”。同样一列二项分布，一个定理说是收敛于普哇松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。这里应该指出的是在定理4.5.8中，而普哇松定理中则要求。所以在实际问题中作近似计算时，如果很大，不大或不大（即很小或很小），则应该利用普哇松定理；反之，若都较大，则应该利用定理5.4.8。定理4.5.9（林德贝尔格-勒维）
25、极限定理设，,是一列独立同分布的随机变量，且， 则有 注：德莫佛拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。证明：设的特征函数为，则的特征函数为又因为所以于是特征函数为有展开式从而对任意固定的，有又是分布的特征函数，由定理4.5.6有注：定理4.5.9表明：当充分大时，的分布近似于，从而具有近似分布。这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。三、应用 德莫佛拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有许多重要的应用。下面介绍它在数值计算方面的一些
26、具体应用。1、 二项概率的近似计算设是重贝努里试验中事件发生的次数，则，对任意有 当很大时，直接计算很困难。这时如果不大（即较小接近于0）或不大（即接近于1）则用普阿松定理来近似计算（大小适中）；当不太接近于0或1时，可用正态分布来近似计算（较大）：例1、 （的）在一家保险公司里有10000个人参加保险，每人每年付12元保险费。在一年内一个人死亡的概率为0.006，死亡时其家属可向保险公司领得1000元，问：（1） 保险公司亏本的概率多大？（2） 保险公司一年的利润不少于40000元的概率为多大？解：保险公司一年的总收入为元，这时（1）若一年中死亡人数，则保险公司亏本；（2）若一年中死亡人数，
27、则利润元。令则，记,已足够大，于是由德莫佛拉普拉斯中心极限定理可得欲求事件的概率为（1）（其中）同理可求得 （2）。例2、 某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？解：由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率=0.04，260个分机中同时使用外线的分机数设总机确定的最少外线条数为,则有 由于较大，故由德莫佛拉普拉斯定理，有查正态分布表可知解得所以总机至少备有16条外线，才能以95%的把握保证各个分机使用外线时不必等候。2、 用频率估计概率的误差估计由贝努里大数定律 那么对给定的和较大的，究竟有多大？贝努里大数定律没有给出回答，但利用德莫佛拉普拉斯极限定理可以给出近似的解答。对充分大的 故 由此可知，德莫佛拉普拉斯极限定理比贝努里大数定律更强，也更有用。例3、 重复掷一枚质地不均匀的硬币，设在每次试验中出现正面的概率未知。试问要掷多少次才能使出现正面的频率与相差不超过的概率达95%以上？解：依题意，欲求，使所以要掷硬币9604次以上就能保证出现正面的频率与概率之差不超过。作业布置： P293 T27，33，36