《贝叶斯非参数模型框架构建简介.docx》由会员分享，可在线阅读，更多相关《贝叶斯非参数模型框架构建简介.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、贝叶斯非参数模型框架构建简介 摘要：11013年，Ferguson提出用带有无限维度参数空间的参数模型来表示先验的方法，随后涌现了大量的构建贝叶斯非参数模型的方法。基于这些不同的模型构建方法，贝叶斯非参数过程在回来、聚类、变量选择等问题中得到特别广泛的应用。本文概略的介绍了贝叶斯非参数模型的构建方法。 关键词：贝叶斯非参数 参数模型 局部观测 中图分类号：TN918.1 文献标识码：A 文章编号：1017-941609-0000-00 Abstract：In 11013， Ferguson proposed a parametric model with infinite dimensiona
2、l parameter space to represent the prior method， and then emerged a large number of methods to construct a Bayesian nonparametric model. Based on these different model construction methods， Bayesian nonparametric process is widely used in regression， clustering， variable selection and so on. This pa
3、per introduces the method of Constructing Bayesian Key words：Bayesian nonparametri；Nonparametric models；Local observation 贝叶斯模型的基本思想是用数学中的概率论来表示和处理全部形式的模型中的不确定量。这是一个非常简洁却异样有效的方法。 只须要驾驭两个概率论的定理：求和规则和乘法规则。考虑随机变量 x 和 y ，他们分别取值于不同的空间X 和 Y。求和规则意思是：假如知道两个随机变量x 和 y 的联合概率密度，可以通过累加y的全部可能的值得到x的边界概率1。 假如y连续则可简
4、洁地用积分替换求和。例如假如有伦敦和剑桥的高温的联合概率分布模型则可通过求和伦敦的高温得到在剑桥高温的边际分布。 乘法规则意思是： x 和 y的联合概率可以分解为 x 的边界概率和给定x得到的y条件概率。 运用D来表示可视察到的数据。通常我们称为数据点或测量量，但这是不行少的假设。例如，数据可以是单个图像，视察到的图形或有序的测量，而不仅仅是一个集合。我们的模型将索为m，我们可能要考虑多个替代模型。每个模型通常有大量的自由参数，假如须要我们将表示为一个向量2。 首先，我们须要确保模型 m 定义好，其表示意义为预料或预料数据。正如前面探讨我们用概率论来代表预料模型。对于任何给定的设置的模型参数，
5、模型必需能够产生预料形式。 数据的可能性对应函数参数的可能性。可能性，即对于任何给定的参数设置作出当前状态下的预料。但是，模型 m 并不完全定义，直到我们指定参数值的“范围”3。 线性回来模型中斜率可表示为-1到+ 1 之间的值，也可以指定斜率为-101 到 + 101 之间的值。事实上，若要完全指定的模型，我们须要多一点指定参数的选择范围，我们须要在此范围内定义一个分布。只有那样模型 m 才能够作出预料。我们运用求和规则和乘法规则来预料模型的概率。 参数的先验性，如上文所述 在超过了允许的值的参数分布的形式。没有先验学问我们的模型是不明确的： 我们不能生成或预料数据，除非我们知道如何选择其值
6、。一旦先验和可能性的预料做出了定义，然后模型 m 在指定的数据集上，就可以生成可能的数据集。 人们常常反对贝叶斯方法，因为它迫使人们定义先验分布的参数。由此看来，是完全误导性的。对全部模型都做出假设，假如没有假设它几乎不行能作出任何预料或从观测数据的预料。贝叶斯模型框架的第一阶段是利用概率论学问显式声明全部的假设。这样的模型是比较好的，先验学问和可能性是必定要求。事实上，先验和可能性之间的区分是随机的，两者都是模型的重要组成部分。 人们反对运用先验分布参数，理由是他们不想用随机变量作为参数。例如，假如要估算天文数据，该行星的质量的不是随机的。这是对贝叶斯模型语义概率的误会。概率用来代表我们未知
7、数量的不确定性。认为“概率”只是作为模型的不确定性等，如：掷骰子，可重复试验，然而不能用于对一颗行星的质量不确定性的表示。这两种形式的不确定性从根本上是主观的；掷骰子的确定性取决于合适的初始条件，同样关于该行星的质量不确定性有取决于观测数据对行星轨道的学问。 最终，经过科学训练的人在数据分析和建模概念方面感到特别不适应。这又是极大地误导： 全部模型都涉及到假设，数据分析得出的全部结论都是基于条件假设的。概率框架是完全透亮的假设，全部的假设都作为分布未知数量。这些假设很简单产生争议。相同的数据可以依据不同模型的假设条件 重新分析。结论依据的假设可能变更的事实对好的科学实践至关重要。幸运的是，给定
8、足够多的数据量，先验性的影响可以得到克服，似然方法和后结论将收敛。这些假设促进了科学的进步，只有合适数据才能生存。贝叶斯模型是主观而不是随意： 给定数据完整规范的模型，有且只有一种方式往感爱好的方向进行。 其建模因而成为一个特别简洁的过程： 提出假设 ，代表一切形式的不确定性，运用概率论的语言。 给定数据，运用概率理论，要对模型中任何未知的数量做出推断，或者要从模型做出预料。 这一过程本身很自然地对数据依次处理。预料一些数据利用事先视察数据。 和与积规则也告知我们如何做预料模型。考虑一些未知的预料量 x 给定观测的数据 D 和模型 m。 预料是从不同的参数值，依据给出的数据，视察每个参数值的后
9、验概率加权预料的平均。对于参数化模型，可以简化自给定参数的预料都是独立的观测数据。正如探讨的参数与非参数模型。假如我们考虑大量的模型，然后依据和与积的规则，我们的预料是模型的加权平均。 概率模型框架也供应了直观供应了模型的比较问题。假设竞争概率模型集M，给出了一些观测数据，我们可以评价一个特定的模型 m 的后验概率。 高阶模型如三次多项式明显比低阶模型的线性多项式更加困难。基于优化 的模型拟合程序须要非常当心，对一个相对较小的数据集切勿用数据拟合拟合参数过于困难的模型。过拟合不是一个全贝叶斯问题，还有没有拟合的数据模型。我们仅用求和和乘法规则来处理，在概率论中并没有优化的规则。更困难的模型是指
10、一个具有多个参数，只是传播它的预料概率可能比一个简洁的模型的数据集更困难。假如全部模型数据集，被都指定为概率分布，那么全部模型都有相同数量的概率用来传递可能的数据。给出一个特定的数据集，因此就有可能拒绝这两个模型太简洁或者太困难而不能运用概率论的规则。 贝叶斯模型比较方法可以用于解决众多的问题中学习困难模型的结构。例如，它用来学习困难模型的结构，找到相关的变量或功能来预料问题，发觉隐马尔科夫模型状态数量，在概率图模型中学习依靠性结构 。 上述方法对模型的比较依靠于枚举的用于比较的一组模型的实力。Bayesian Occams Razor确保过于困难的模型充分受到惩处时做模型的比较。然而，现实世
11、界现象的困难性经常须要考虑具有足够的敏捷性来捕获真实的数据结构的困难模型。敏捷的模式不仅更现实，而且一般也会比简洁的模式得到更合理预料的结果。贝叶斯非参数为敏捷的模式供应了一个自然的框架。 参考文献 1 Shao J. Methmatical StatisticsM. 2nd ed. Berlin： Springer， 2003. 2 Berstein S. Elements of Statistics II： Inferential StatisticsM. McGraw-Hill， 11019. 3 Wasserman L. All of Nonparametric StatisticsM. Berlin： Springer， 2022. 收稿日期：2022-08-19 作者简介：董平，男，汉族，四川宜宾人，工程硕士，主研方向：图像处理，通信理论。 第7页 共7页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页第 7 页 共 7 页