《化工数据分析与处理复习.pptx》由会员分享,可在线阅读,更多相关《化工数据分析与处理复习.pptx(48页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、化工数据分析与处理复习前言 两部分内容 1 数据的分析 2 数据的处理(1)经验模型(2)半经验模型(3)理论模型 结合化工生产及科研中的数据分析和处理实际,从实用的角度,介绍数理统计方面的一些常用的方法和理论知识,把它应用到化工试验数据处理中去,掌握数据处理方法,解决实际问题,最直接的应用就是解决论文中的数据处理问题。第一章 误差原理及概率分布 观察值(测量值)总体(母体):用xi来表示,i=1,2,3n,n 样本:用xi,i=1,2,3n,n为有限数来表示,通常也称为子样 真值 误差:用i表示,i=xi-误差的表示方法 误差的表示方法 绝对误差=xi-相对误差=绝对误差/真值绝对误差/测量
2、值。引用误差=绝对误差/仪表的满刻度值(Xn)。仪表一般分为7个等级,S=0.1,0.2,0.5,1.0,1.5,2.0,2.5,引用误差S%,而绝对误差Xn*S%误差的来源 测量装置的误差 环境误差 人员误差 方法误差:误差的分类 系统误差 随机误差:偶然误差。粗差:有效数字的舍取 有效数字的舍入原则 有效数字的运算研究误差的意义 正确认识误差的性质,分析误差的原因以消除或减小误差;正确处理测量和实验数据,合理计算所得结果,以便在一定条件下得到更接近于真值的数据;正确组织实验过程,合理设计仪器或选用仪器和测量方法,得到理想结果。随机变量的概率分布 正态分布 ZN(0,1)Z=(Xi-)/t分
3、布 c2分布 F分布统计推断 参数估计 和 假设检测 点估计和区间估计 点估计:无偏估计 有效估计 一致估计 区间估计:总体均值的区间估计 两个正态总体均值差的区间估计(成组对比)任意两个样本的均值差的估计(成对比较)总体方差s2的估计 两个正态总体方差比估计(F分布)假设检验假假设设检检验验的的基基本本依依据据是是:概率论中的小概率事件不可能发生的原理 基本思路是:要检验假设H0,先假定H0为正确的,由H0及一些已知条件,推断一些常用的统计量是否落在大概率范围内,是 则接受H0,否则拒绝H0,接受H1。数据的预处理 粗差与异常数据的剔除u 每次剔除1个残差最大的数据;u 针对同一参数进行重复
4、测量得到的一系列测量数据的处理。与回归分析中回归参数的剔除不同,不要混淆测量数据序列中干扰成分的滤除 对于大多数化工数据,一般频率较低,应采用低通滤法,去掉高频信号的方法称为平滑。线性平滑法 非线性滑动平滑法一元线性回归分析 自变量与因变量的关系:函数关系(确定的关系)x y 相关关系(不确定的关系)x y的置信区间 回归分析的任务:给出回归经验公式;判明回归公式的有效性;预报与控制。数学模型为:回归方程 用最小二乘法:相关系数及其显著性检验 相关系数 临界相关系数 fn2 显著性水平 a 取0.10,0.05,0.01等线性回归方程的误差及F检验 总变量平方和Qu由 以 上 三 种 平 方
5、和 以 及 相 应 的 各 自 的 自 由 度。可以计算三种相应的标准差。总变异标准差 总变差平方和的自由度 回归标准差 剩余标准差:方差比的F检验 显著性水平a,由F分布表查得 如果FAf,则回归方程有效一元线性回归方程的应用 一 预报问题 控制问题剔除异常数据一元非线性回归问题的线性化处理 多元线性回归分析 二元线性回归方程 数学模型 二元线性回归方程多元线性回归分析 数学模型 多元线性回归方程 回归方程的另一种形式:多元线性回归方程的显著性检验 方差分析 总变差平方和 自由度:f n-1 回归平方和 自由度:fRk 剩余平方和 自由度:方差:回归方差 剩余方差 所以,方差比F检验:选定显
6、著性水平,可查得:Af(fR,f,a)如果,F Af,则回归方程有效。回归平方和的计算 可以利用回归系数计算过程中间结果求得回归平方和,以及剩余平方和复相关系数(回归平方和占总平方和的比例)如果:方程有效偏回归平方和及自变量显著性检验 方差分析(对回归系数有效性检验)如果:则第i个变量是显著的 如果:则剔除第i个变量 只剔除1个 最小的自变量利用回归方程进行预报和控制 已知:预报y0的置信区间逐步回归分析 最优回归方程 逐步回归分析 多元非线性问题的线性化处理多项式回归分析 我们把多项式回归转化为多元线性回归问题来解决。对于任意函数,在适当的范围内均可用多项式很好的逼近,因此,在比较复杂的实际
7、问题处理时,可以不必去深究因变量与诸自变量间的函数关系形式,而直接采用多项式关系进行回归分析。正交多项式回归 由正交多项式回归来求解回归系数,可以使系数矩阵成为对角矩阵,有几点好处:(1)线性系统的求解及回代非常方便(2)方程组求解不会出现病态问题(3)各个回归系数间的相关性将消失 正交多项式具有以下性质:回归系数的计算公式:常用的一组正交多项式,当x为前几个自然数时:正交多项式表:1-3-5-1 3-12-2 0 1-7 43-1-3 1 1-54 0-4 0 6 05 1-3-1 1 56 2 0-1-7-47 3 5 1 3 128 84 6 154 841 1 1/6 7/12 7/2
8、0 回归方程:回归系数的显著性检验,确定正交的多项式的次数回归方差对剩余方差的比 服从 的F分布 偏回归方差对剩余方差的比 服从 的F分布 如果,逐次检验到k=m次多项式时,Bm不显著,则表示多项式只要取m-1次。注意:x为标准化后的变量,x=1,2,3n,对于一般x取值时要先做变换,变换成标准化形式。非线性回归分析 有些化工问题,因变量与各个自变量之间的关系比较复杂,不便于线性化的方法。而用多项式表达时仍不能很好的拟合,因此,就有非线性回归的问题。非线性回归的数学模型:非线性回归的方程为:残差平方和为:求极值方法 单纯形法的目的:在m维参数空间内找出某一点,能使 的值最小。在m维空间上的单纯
9、形就是由m1个点构成的在m维空间中的一个凸形。两个参数时,就是在二维参数空间中的一个三角形,作为基本的单纯形是一个等边三角形。三个参数时,是在三维空间中的正四面体搜索结束判据 其中:表示单纯形三个顶点的函数值 表示三个 的平均值 eps是给定的精度要求指标 线性校正迭代法 要用到一阶导数(Taylor级数展开)取一次项作为近似,它的前提是 离 不是很远,则 离 也不是很远。把差商作为一阶导数的近似:由线性方程组可以解得、利用 求出 的第一次校正值 重复以上的步骤,一直进行到第k次时 j=1,2,m 如果:则 就是所要求的。其中eps为给定的精度要求。一元方差分析 方差分析的作用:通过对实验数据的统计分析,从而推断出,试验数据间的差异是由于实验条件的改变,还是由于实验中的随机误差的影响,推断出哪些因素的影响是显著的,哪些因素的影响是不显著的,哪些因素是有交互作用的,并分析出最佳实验条件,从而达到目的。定义 因素:对实验结果有影响的条件 因素的水平:因素所处的状态 指标:所考察的实验结果 实验误差可分为:一是随机误差,二是条件变差(实验条件的改变所引起的差别),