《科技评价中效用函数合成方法的比较研究.pdf》由会员分享，可在线阅读，更多相关《科技评价中效用函数合成方法的比较研究.pdf（5页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、图1评价方法分类体系0引言科技评价包括科技项目评价、科研机构评价、科技期刊评价、科技人员评价等诸多方面。科技评价是科技管理工作的重要组成部分，国家对科技评价工作十分重视，国家科技部联合五部委，以国科发基字2003142号文的名义发布了关于改进科学技术评价工作的决定，认为“要优化评价程序，改进评价方法，注重评价实效”。目前国内外多指标综合评价方法有数十种之多（当然这些方法并不仅仅应用于科技评价），这些评价方法各有特点，根据权重确定方式结合评价原理，本文将其分为两大类（如图1所示）：第一类是效用函数合成类评价，一般采取主观或客观评价法确定权重，然后对无量纲的数据进行加权汇总，如专家会议法、德尔菲法
2、、熵权法等；第二类是系统评价方法，其特点是综合运用运筹学、模糊数学、多元统计、系统工程等领域的方法进行评价，评价结果不是根据标准化指标值进行加权汇总，而是采取各种不同的算法，评价中可能用到权重，也可能不用权重，如ELECTRE法、模糊综合评价法、突变理论、数据包络分析等。总体上，效用函数综合评价方法仍然是现实生活中用得较多的评价方法。关于效用函数的合成方法，统计学上有加法合成、乘法合成、代换合成等。美国密特公司在美国环境质量委员会委托下研究密特大气质量指数（MAQI），它以5项污染物为参数，采用简单平方平均合成公式。邱东1从方法论上分析无量纲法与合成方法的特点，并比较了效用函数综合评价与其它系
3、统评价方法的关系，认为乘法合成的区分度要大于加法合成。苏为华2系统研究了幂函数合成中不同幂次情况下评价结果的平均值的变化以及补偿关系，认为幂次在-13之间比较合适，幂次越低，越是惩罚落后指标，幂次越高，越是奖励先进指标。张田玉3在学校教育评价中结合加法合成与乘法合成的特点，进行综合评价。田赤勇、陈进殿4在对埋地输油管道的评价中用乘法合成对可靠性指标与估价指标进行组合。商红岩、宁宣熙5对第三方物流企业绩效评价时采用了乘法合成。总体上，对各种合成方法的基本特点除了少数理论研究外，缺乏深入分析；从应用看，国内基本上以简单加权合成为主，对于其它形式合成方法的应用极少。本文利用中国科学技术信息研究所的科
4、技期刊原始数据，采用专家打分法确定权重，然后分别用不同合成方法进行合成，对结果进行比较，试图寻找不同合成方法的规律及适用范围，在此基础上进行进一步讨论。科技评价中效用函数合成方法的比较研究俞立平，潘云涛，武夷山（中国科学技术信息研究所，北京100038）摘要：以科技期刊评价为例，采用专家打分法确定权重，重点分析加法合成、乘法合成、对数合成、代换合成方法的特点及适用范围。首先比较不同合成方法结果的相关性及排序情况，然后利用离散系数、极差比率、高端区分度、低端区分度、高低端汇总比率指标比较各种合成方法的区分度、对较优期刊及较差期刊打分的强化情况，最后分析不同乘法合成方法与科技期刊协调发展程度的关系
5、。认为不同合成方法排序结果不尽相同，应根据需要选择不同的合成方法，各种合成方法综合运用是较好的解决问题的方法。关键词：评价；科技期刊；效用函数；合成方法中图分类号：G311文献标识码：A文章编号：10017348（2010）01-0106-05收稿日期：20090224基金项目：国家“十一五”科技支撑计划项目（2006BAH03B05）；国家自然科学基金项目（70673019）作者简介：俞立平（1967-），男，江苏泰州人，博士，中国科学技术信息研究所博士后，扬州职业大学副教授，研究方向为信息经济、科学计量；潘云涛（1967-），女，北京人，中国科学技术信息研究所研究员，研究方向为期刊评价；武
6、夷山（1958-），男，江苏南京人，中国科学技术信息研究所研究员，研究方向为科学计量学、科技管理。第27卷%第1期2010年1月科技进步与对策Science&Technology Progress and PolicyVol.27 No.1%Jan.2010第1期2研究方法2.1常见的几种效用函数合成方法（1）加法类合成的几种函数形式。加法类合成的函数形式可以写成如下形式：I=ni=1ixiki1k（1）式（1）中，1，2，n表示权重，为了研究方便，假设权重已经进行了标准化处理（下同），1+2+n=1。x1，x2，xn表示标准化处理后的指标值，k表示幂次，取值一般为正整数或负整数。I为指标总得
7、分。当k=1时，式（1）变为加权算术平均合成模型（简称加法合成）：I=1x1+2x2+nxn（2）当k=-1时，式（1）变为加权调和平均合成模型（简称调和平均）：I=111x1+21x2+n1xn（3）当k=2时，式（1）变为加权平方平均合成模型（简称平方平均）。I=1x21+2x22+nxn2姨（4）理论上，k可以取值为任意正整数和负整数，甚至小数，但考虑到人们的思维习惯和实际评价中的需要，一般以上3种函数形式就足以满足评价需要了。（2）乘法合成模型。所谓乘法合成，其一般形式为：I=x11x22xnn（5）乘法合成比较注重指标全面发展，如果一个指标偏低，即使其它指标再高，总体评分值也不会太高
8、。（3）对数合成。将式（5）取对数，变为：log（I）=1log（x1）+2log（x2）+nlog（xn）（6）对数合成是在乘法合成的基础上进行的转换，权重系数i是弹性系数，表示当指标xi提高1%将会导致总指标值提高i%，非常易于理解和运用。对数缩小了指标数据的大小，在一定程度上可以缩小异常值的影响。对数合成兼有乘法合成与加法合成的一些特点，但是在评价中极少遇到，在经济计量学中有很广泛的用途。很显然，对数合成和乘法合成的排序是完全一致的。（4）代换合成。代换合成和乘法合成非常像，常见的代换合成一般形式（简称高端代换）为：I=U（Ux1）1（Ux2）2（Uxn）n（7）式（7）中，U为单项指标
9、的理论最高值（通常为100）。代换合成实际上是将指标进行简单处理后再进行乘法合成，很显然，只要任何一项指标达到最高值，评价总指标就为满分，因此，代换合成是一种“一美遮百丑”的合成方法，少数指标优异会大大弥补其它指标的不足。在现实科技评价中，这种情况极为罕见。另外一种代换合成方法称为低端代换，其函数形式为：I=（x1L1）1（x2L2）2（xnLn）n（8）公式（8）中，L1，L2，Ln是各指标允许的取值下限。很显然，一旦某项指标达到最低下限，总指标值为0，因此，低端代换合成是一种“一丑遮百美”的合成方法，类似于一票否决制，在实践中有一定的意义，比如环境评价中，一旦某个指标超标，则总体环境质量很
10、差。由于每个指标的最低容许值不确定，本文设定L1，L2，Ln为每个指标的极小值进行处理。（5）几种合成方法的总结。本质上，调和平均、加法合成、平方平均都属于加法类合成，代换合成也是乘法合成，对数合成兼顾了乘法合成与加法合成的特点。加法合成通常被认为是指标间可以互相取长补短的一种合成方法，如果一个指标偏低，只要其它指标值较高，可以弥补单个指标偏低的差距。乘法合成通常被认为是要求各指标全面发展的一种合成方法，因为一个指标偏低，它和其它指标相乘后必然导致总指标值变小，当然，一个指标偏高，也会带动总指标值提高。对它们的具体特性需要作进一步的研究。2.2几种合成方法的比较指标（1）评价结果的相关系数。采
11、用不同的合成方法，有可能导致排序结果不一致，为此，我们采用各种合成方法评价结果的两两相关系数进行比较。（2）离散系数与极差比率。离散系数是标准差与平均值的比值，借以反映不同合成方法的离散程度，离散程度越大，某种程度上说明评价结果数据的区分度较大，也就是说，由于评价对象比较接近而导致误判的可能性越小。在评价实践中，当评价指标和评价对象较多时，数据间距往往较小，导致评价结果之间的间距也很小，尤其是相邻的评价对象，其优势和弱势都不明显，而不同合成方法处理时这种间距是不同的，间距越大，说明区分度越好。极差比率是最大值与最小值的差除以极大值，反映了评价结果的相对取值范围，因此也是区分度的一个指标。（3）
12、高低端区分度。分为高端区分度与低端区分度两个指标，用来进一步评价较好期刊和较差期刊的区分度。所谓高端区分度，指某种合成方法得分降序排列后最高20%评价对象的极差与总极差的比值，低端区分度是后20%评价对象的极差与总极差的比值，借以反映合成方法对较好评价对象的区分度以及较差评价对象的区分度。之所以用20%的评价对象，因为一般评价对象的分布呈正态分布，较好期刊与较差期刊都是少数，具体在计算时可根据评价对象的多少和数据分布情况进行适当调整。俞立平，潘云涛，武夷山：科技评价中效用函数合成方法的比较研究107科技进步与对策2010年（4）高低端汇总比率。由于不同合成方法的函数特点不一样，有些合成方法可能
13、对较好的期刊打分较高，属于鼓励先进型；而有些合成方法可能对较差的期刊打分较高，属于鼓励落后型。例如在评价对象总体水平偏高时可能不需要鼓励先进，要鼓励落后。为了对这种情况进行综合衡量，本文采用高低端汇总比率指标。本文采用前20%期刊的评分之和与所有期刊评分总和的比值来衡量对较好期刊的强化（弱化）程度，采用后20%期刊的评分之和与所有期刊评分总和的比值来衡量对较差期刊的强化（弱化）程度。二者之比称为高低端汇总比率，用来衡量总体强化（弱化）效果。2.3指标的协调性与合成方法的关系一种科技期刊，如果其各项指标都能全面协调发展，固然较好。如果少数指标比较突出，可能也不见得是一件坏事。如果少数指标偏低，在
14、某些情况下可能是不可以的。加法合成类方法认为指标间可以无限替代，较好指标的优势可以弥补较差指标的不足。乘法合成类方法强调指标协调发展，因为某项指标偏低会导致总体指标值降低。为了对乘法合成的这种特性进行检验，并比较不同乘法合成方式对指标协调性的强化程度，本文用某种期刊各指标的离散系数来衡量该期刊的协调性，离散系数越大，说明期刊各指标越不均衡。然后利用离散系数与乘法类的合成方法进行回归，分析各种不同类型的乘法合成方法对科技期刊协调发展的反映程度。3数据本文数据来自于中国科学技术信息研究所CSTPC数据库，本文以医学类期刊为例进行分析。中国科学技术信息研究所从1987年开始对中国科技人员在国内外发表
15、论文数量和被引情况进行统计分析，并利用统计数据建立了中国科技论文与引文数据库，同时出版中国科技期刊引证报告，本文数据是2006年的医学类数据，共136个医学期刊和大学医院学报，选取的指标有总被引频次、被引半衰期、影响因子、即年指标、基金论文比5个指标。由于在科技期刊评价中指标选取和权重赋值存在一些争议，而本文重点研究科技期刊评价中的效用函数合成方法问题，因此指标选取暂且采用以上5个指标，采用专家打分法确定权重。原始数据必须进行标准化处理，本文设定每项指标最大值为100，其它数据分别与最大值相除后得到各自标准化后的结果。4实证结果4.1指标权重的确定本文重点是研究效用函数的合成方式，因此必须通过
16、某种方法确定各指标的初始权重以便于深入研究，本文采取专家打分法，得到各指标的权重，依次为：总被引频次（0.18）、被 引 半 衰 期（0.17）、影 响 因 子（0.23）、即 年 指 标（0.18）、基金论文比（0.24）。4.2不同合成方法的相关性及排序将7种合成方法的结果计算出来后，计算它们之间的两两相关系数，结果如表1所示。总体上，各种合成方法之间的相关度较高，说明都能反映评价对象质量的差异，高端代换与调和平均的相关度最低，仅为0.679，高端代换与乘法合成相关系数为0.784，也不算高，这和理论分析是一致的。平方平均与调和平均虽然同属加法合成，但相关系数也不高，仅为0.709。表1不
17、同合成方法结果的相关系数调和加法平方乘法对数高端代换低端代换调和1.000 0.862 0.709 0.972 0.9180.6790.966加法0.862 1.000 0.953 0.949 0.9310.9030.947平方0.709 0.953 1.000 0.823 0.8110.9450.836乘法0.972 0.949 0.823 1.000 0.9640.7840.992对数0.918 0.931 0.811 0.964 1.0000.7590.961高端代换0.679 0.903 0.945 0.784 0.7591.0000.791低端代换0.966 0.947 0.836
18、0.992 0.9610.7911.000除了理论上乘法合成与对数合成排序一致外，不同合成方法结果的排序是不尽一致的，由于数据较多，本文仅公布加法合成前20个期刊结果，如表2所示。需要注意的是，高端代换由于其自身的特点，只要一个指标达到100，总评价值就是满分，所以表2中有4个期刊排名第一。4.3区分度与打分强化程度的比较（1）区分度的分析。各种合成方法的基本统计指标、区分度类指标、打分强化指标的计算结果如表3所示。调和平均、加法合成、平方平均本质上都是加法合成，只不过幂次从-1、1、2不断升高而已，随着幂次升高，离散系数和极差比率逐渐降低，评价对象之间的距离越来越近，区分度逐渐降低。乘法合成
19、、高端代换与低端代换本质上都是乘法合成，无论是离散系数还是极差比率，低端代换较高，其次是乘法合成，高端代换最低，但超过加法合成与平方合成，离散系数与极差比率最低的是对数合成。它们的离散系数和极差比率关系大致如下：调和平均低端代换乘法合成高端代换加法合成平方平均对数合成（9）注意式（9）中低端代换、乘法合成和高端代换排列在一起，因为本质上他们是乘法类合成。加法类合成方法调和平均、加法合成、平方平均的高端区分度在逐渐降低，但低端区分度在逐渐提高。乘法类合成方法乘法合成、高端代换、低端代换的高端区分度比较接近，都比较高，仅次于调和平均；低端区分度也比较接近，总体较低，但高于调和平均，低于加法合成与平
20、方合成。对数合成的高端区分度最低，低端区分度最高。高端区分度的排序结果如下：调和平均高端代换乘法合成低端代换加法合成平方平均对数合成（10）低端区分度的排序结果如下：108第1期指标调和加法平方乘法对数高端代换低端代换基本统计平均值17.0330.8738.8722.651.3038.2917.66极大值62.5267.1271.6264.851.81100.0057.71极小值1.519.4013.975.560.7410.060.00标准差10.8411.1310.9811.280.2216.5910.76区分度离散系数0.640.360.280.500.170.430.61极差比率0.9
21、80.860.800.910.590.901.00高端区分度0.540.420.350.500.250.510.48低端区分度0.090.170.230.100.300.140.12打分强化汇总比率前20%总分0.310.240.220.270.180.230.30汇总比率后20%总分0.050.080.090.060.110.090.04高低端汇总比率6.203.002.444.501.642.567.50表3不同合成方法几个相对指标的比较刊名加法调和平方乘法/对数高端代换低端代换中国危重病急救医学112151中华医院管理杂志241313中华医学杂志323212生理学报4105686中国寄生
22、虫学与寄生虫病杂志568564航天医学与医学工程623611910生理科学进展739426122中华血液学杂志8710877细胞与分子免疫学杂志9914101911浙江大学学报医学版102813132116中国病理生理杂志118199239中华医学遗传学杂志125227258解剖学报13339221119吉林大学学报医学版1426723123CHINESE MEDICAL JOURNAL153324355免疫学杂志161820142414北京大学学报医学版172115161412中山大学学报医学科学版182712211821中国疫苗和免疫191624122813现代免疫学20371729202
23、8表2不同合成方法排序结果的比较（部分）调和平均乘法合成低端代换高端代换加法合成平方平均对数合成（11）式（10）和式（11）中乘法合成、低端代换、高端代换3种乘法类合成方法也排在一起。总体区分度、高端区分度和低端区分度的排序结果非常相似，可以从式（9）、式（10）、式（11）中非常明显地看出，基本顺序是调和平均、乘法类合成、加法合成、平方平均、对数合成。乘法合成的总体区分度和高端区分度都大于加法合成，但是乘法合成的低端区分度小于加法合成，因此，文献1是不全面的。（2）对较好期刊与较差期刊打分强化分析。从汇总比率看，低端代换对前20%的科技期刊打分（0.30，列第2位）较高，对后20%的科技期
24、刊打分最低（0.04），从而低端代换的汇总比率最高，达到7.50，说明低端代换是一种强化较优期刊、弱化较低期刊的合成方法。调和平均对前20%的科技期刊打分（0.31）最高，对后20%科技期刊打分较低（0.05，列倒数第2位），导致汇总比率为6.20，所以调和平均也是一种强化较优期刊，弱化较低期刊的一种合成方法。乘法合成总体上仍然属于强化较优期刊、弱化较低期刊的合成方法，对前20%科技期刊打分（0.27）列第3位，对后20%科技期刊打分（0.06）列倒数第3位。对数合成对前20%科技期刊打分（0.18）最低，对后20%科技期刊打分（0.11）最高，汇总比率为1.64，最低。说明对数合成是一种弱化
25、优秀期刊、强化较低期刊的一种合成方法。与以上3种合成方法相反。调和平均、加法平均、平方平均对前20%的科技期刊打分越来越低，对后20%科技期刊打分越来越高，说明3种合成方法总体趋势是弱化较优期刊，强化较低期刊，相应汇总比率也越来越低，分别为6.20、3.00、2.44。因此，文献2的观点是有问题的，幂次越低越是惩罚落后指标（这是正确的），幂次越高，越是奖励先进指标（错误，而是惩罚先进）。可以预计，随着式（1）中k值取值越来越大（比如k=3或k=4），这种趋势会继续下去，达到甚至低于对数合成的汇俞立平，潘云涛，武夷山：科技评价中效用函数合成方法的比较研究109科技进步与对策2010年合成方法总体
26、区分度高端区分度低端区分度高端强化程度低端强化程度高低端汇总比率指标协调性强化程度应用价值调和高高低高低高/高加法一般一般一般一般一般一般/高平方一般一般一般一般较强一般/高乘法高较高低较高一般较高高高对数低低高低强低高高高端代换较高较高一般一般较强一般低低低端代换高较高一般高低高高高表5各种合成方法特点的比较总比率。高端代换、加法合成、平方合成的汇总比率总体相近。4.4科技期刊指标协调性与乘法类合成方法的关系首先计算出每种期刊各指标的平均值，然后计算其标准差，接着用标准差除以平均值得到每种科技期刊指标的离散系数，最后分别用离散系数和乘法合成、对数合成、高端代换合成、低端代换合成进行回归，结果
27、如表4所示。表4指标离散系数与乘法类合成的关系乘法合成对数合成高端代换低端代换系数值-0.019*(-16.296)-1.037*(-17.908)-0.007*(-5.317)-0.019*(-14.267)R20.6650.7050.1740.603n136136136136所有回归系数的统计检验都是显著的，系数值均为负。离散系数越低，说明科技期刊越是均衡发展，指标评价值越高，又以乘法合成最为显著，最不显著的高端代换合成，回归系数较低，R2值仅为0.174，相关程度较低。4.5各种合成方法特点的比较将以上各指标结果加以归纳，结果如表5所示。高端代换特点并不明显，因此，除了在极端情况下采用该
28、合成方法外，一般不宜采用。调和平均、低端代换和乘法合成特点相似，区分度都比较高，都强化高端评价结果，弱化低端评价结果，但低端代换和乘法合成的区分度、强化程度、汇总比率等指标都相差不大，因此是鼓励各评价指标协调发展的合成方法，应根据需要选用。加法合成与平方合成强调指标间可以互相替代，在同类指标的综合评价中具有意义，但平方合成强化低端评价结果，可以在需要鼓励“后进”的评价中选用。对数合成弱化高端，强化低端，鼓励指标协调发展。5结论与讨论5.1不同合成方法评价结果排序不同不同合成方法评价结果的顺序不尽相同，因此一定要慎重选择合成方法。只有对数合成和乘法合成完全一致，当然，这和数据量的多少有关，在数据
29、较少，数据间距较大的情况下，不同合成方法评价结果有可能一致，但这种情况毕竟是有限的。5.2应根据需要选择不同的合成方法如果评价对象较多，比如医学学科科技期刊较多，应该考虑采用区分度较高的合成方法，进一步地，如果较差期刊较多，应考虑低端区分度高的合成方法。在评优时，要考虑采用高端区分度较高的合成方法，如调和平均。在某些二级指标内容相近时，可以考虑采用指标间能互相替代的加法合成，比如总被引频次、影响因子、即年指标三者都是反映被引情况的，可以采用加法合成得到被引指标的总体得分。在需要考虑评价对象全面发展时，可以考虑采用乘法合成或低端代换合成。在评价一些发展水平相对较低的领域，对数合成由于低端区分度高
30、，容易发现问题，鼓励落后和协调发展，排除了随机波动造成的干扰，因此具有重要意义。在某些二级指标内容相近，数据量较多，需要鼓励先进，强化高端评价对象，弱化低端评价对象，调和平均是比较合适的方法。5.3应注重各种合成方法的综合使用由于各种合成方法特点迥异，而科技评价本身也比较复杂，因此应根据实际情况选取不同的合成方法。比如一级指标一般是不同属性，最好选取乘法类的合成方法，二级指标一般是同一属性，可以采用加法类合成方法。5.4注意评价结果之间的差距对于普通加法合成而言，评价结果之间的相对差距很好计算，但是对于采用乘法合成、调和平均、对数合成等方法得出的评价结果，由于不是简单的线性函数关系，其相对差距
31、计算比较复杂，不能简单化处理。总之，由于不同合成方法的特点难以从数学上进行严格证明，因此在实际应用中必须结合评价目的、评价对象、指标选择、数据特点等属性进行综合分析，确定最合适的合成方法。参考文献：1邱东.多指标综合评价方法的系统分析M.北京：中国统计出版社，1992.2苏为华.多指标综合评价理论与方法研究M.北京：中国物价出版社，2002.3张田玉.学校教育评价M.北京：中央民族学院出版社，1987.4田赤勇，陈进殿.基于灰色模糊理论的埋地输油管道腐蚀与防护势态综合评判J.全面腐蚀控制，2006（12）：20-24.5商红岩，宁宣熙.基于乘法合成的层次分析模型的第三方物流企业绩效评价J.科技进步与对策，2005（11）：94-96.（责任编辑：王尚勇）110