第7章-系统评价要点课件.ppt

上传人:飞****2 文档编号:71804165 上传时间:2023-02-06 格式:PPT 页数:44 大小:733KB
返回 下载 相关 举报
第7章-系统评价要点课件.ppt_第1页
第1页 / 共44页
第7章-系统评价要点课件.ppt_第2页
第2页 / 共44页
点击查看更多>>
资源描述

《第7章-系统评价要点课件.ppt》由会员分享,可在线阅读,更多相关《第7章-系统评价要点课件.ppt(44页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第7章 系统评价张秀英第一节第一节 概概 述述 系统评价是由英国已故著名流行病学家系统评价是由英国已故著名流行病学家Archie Cochrane教授于教授于1979年首先提出年首先提出来的,他建议将各专业领域的所有随机来的,他建议将各专业领域的所有随机对照试验收集起来进行系统评价,并随对照试验收集起来进行系统评价,并随新的试验结果的出现而随时更新,为临新的试验结果的出现而随时更新,为临床实践提供可靠依据。床实践提供可靠依据。系统评价的基本概念系统评价的基本概念 (一)系统评价(一)系统评价 系统评价也叫系统综述,是一种全新的文献综合方法,是系统评价也叫系统综述,是一种全新的文献综合方法,是指

2、针对某一具体临床问题(如疾病的病因、诊断、治疗、指针对某一具体临床问题(如疾病的病因、诊断、治疗、预后、护理等),系统、全面地收集所有已发表或未发表预后、护理等),系统、全面地收集所有已发表或未发表的临床研究,采用临床流行病学严格评价文献的原则和方的临床研究,采用临床流行病学严格评价文献的原则和方法,筛选出符合质量标准的文献,进行定性或定量合成,法,筛选出符合质量标准的文献,进行定性或定量合成,得出综合可靠的结论。同时,随着新的临床研究结果的出得出综合可靠的结论。同时,随着新的临床研究结果的出现,系统评价还要及时更新,随时提供最新的知识和信息现,系统评价还要及时更新,随时提供最新的知识和信息作

3、为临床实践和研究的决策依据。作为临床实践和研究的决策依据。系统评价的基本概念系统评价的基本概念 (一)(一)Cochrane系统评价系统评价 Cochrane系统评价是指系统评价是指Cochrane协作网内的系协作网内的系统评价员按照统一工作手册统评价员按照统一工作手册(Cochrane reviewers handbook),在相应,在相应Cochrane评价组编辑部的指导和帮评价组编辑部的指导和帮助下完成并发表在助下完成并发表在Cochrane图书馆的系统评价图书馆的系统评价。重要性重要性由专业人员定期对相关临床研究进行严格总结。由专业人员定期对相关临床研究进行严格总结。临床医师能更快、更

4、准确、更方便地了解最新医临床医师能更快、更准确、更方便地了解最新医疗措施,指导临床实践,提高医疗质量。疗措施,指导临床实践,提高医疗质量。结论更真实、可靠,被推荐为疗效评价金标准。结论更真实、可靠,被推荐为疗效评价金标准。为临床治疗实践提供可靠依据。为临床治疗实践提供可靠依据。为临床科研提供立题依据,避免重复研究。为临床科研提供立题依据,避免重复研究。Meta-Meta-分析与系统评价的关系分析与系统评价的关系 Meta分析分析(Meta-analysis),),也叫荟萃分析、也叫荟萃分析、汇总分析等,汇总分析等,l976年由心理学家年由心理学家G1ass首次命名,首次命名,其定义目前仍有争议

5、,多数专家认为:其定义目前仍有争议,多数专家认为:Meta分分析是一种统计分析方法,它将多个独立的、目析是一种统计分析方法,它将多个独立的、目地相同的、可以合成的临床研究综合起来进行地相同的、可以合成的临床研究综合起来进行定量分析定量分析 MetaMeta分析与系统评价的关系分析与系统评价的关系 系统评价与传统文献综述的异同点系统评价与传统文献综述的异同点 叙述性的文献综述叙述性的文献综述系统综述系统综述叙述性的文献综述叙述性的文献综述由作者根据特定的目的和需要或兴趣,围绕某由作者根据特定的目的和需要或兴趣,围绕某一题目收集相关的医学文献,采用定性分析的一题目收集相关的医学文献,采用定性分析的

6、方法,对论文的研究目的、方法、结果、结论方法,对论文的研究目的、方法、结果、结论和观点等进行分析和评价,结合自己的观点和和观点等进行分析和评价,结合自己的观点和临床经验进行阐述和评论,总结成文,可为某临床经验进行阐述和评论,总结成文,可为某一领域或专业提供大量的新知识和新信息,以一领域或专业提供大量的新知识和新信息,以便读者在较短时间内了解某一专题的研究概况便读者在较短时间内了解某一专题的研究概况和发展方向,解决临床实践中遇到的问题。和发展方向,解决临床实践中遇到的问题。叙述性的文献综述叙述性的文献综述综合性描述,反映过去、现况、发展方向综合性描述,反映过去、现况、发展方向选题:选题:l近年有

7、较大进展的某一专题近年有较大进展的某一专题l存在较多争议的某一专题,需要加以归纳整理,存在较多争议的某一专题,需要加以归纳整理,并提出一些作者自己的观点。并提出一些作者自己的观点。叙述性的文献综述:格式叙述性的文献综述:格式前言:前言:l撰写综述的理由、目的、意义、背景撰写综述的理由、目的、意义、背景正文正文l对论述的问题分析归纳,按时间顺序纵向描述对论述的问题分析归纳,按时间顺序纵向描述或按国际、国内横向论述或纵横结合或按国际、国内横向论述或纵横结合总结总结l得出结论,指出有待解决的问题得出结论,指出有待解决的问题系统评价与传统综述的共同点系统评价与传统综述的共同点 目的目的l提供新知识和信

8、息,让读者在短时间内了解提供新知识和信息,让读者在短时间内了解某专题的研究概况和发展方向某专题的研究概况和发展方向l获得解决某一临床问题的方法获得解决某一临床问题的方法回顾性、观察性回顾性、观察性l均可能存在系统偏倚和随机错误均可能存在系统偏倚和随机错误传统的综述传统的综述作者的观点有一定倾向性作者的观点有一定倾向性缺乏统一的检索方法缺乏统一的检索方法筛选文献没有严格的统一的标准筛选文献没有严格的统一的标准对原始文献的质量考虑较少对原始文献的质量考虑较少定性总结定性总结结论可能不完整结论可能不完整重复性一般较差重复性一般较差系统评价系统评价针对具体临床问题针对具体临床问题收集所有的文献收集所有

9、的文献根据科学标准评估,删除无科学性文献,根据科学标准评估,删除无科学性文献,并在讨论中说明并在讨论中说明将符合条件文章的结果加以定量综合将符合条件文章的结果加以定量综合格式与论著相同格式与论著相同,作为论著发表的作为论著发表的系统评价的格式系统评价的格式题目题目摘要:结构式摘要:结构式前言前言方法方法l文献检索、研究的选择、质量评估文献检索、研究的选择、质量评估l数据摘录、研究特征、数据定量综合方法数据摘录、研究特征、数据定量综合方法结果结果l描述研究特征、数据定量综合描述研究特征、数据定量综合讨论讨论传统文献综述与系统评价的区别传统文献综述与系统评价的区别 第二节第二节 系统评价的步骤和方

10、法系统评价的步骤和方法(1 1)确立题目并注册)确立题目并注册(2 2)制定系统评价计划书)制定系统评价计划书(3 3)检索文献)检索文献(4 4)选择文献)选择文献(5 5)评价文献质量)评价文献质量(6 6)资料提取)资料提取(7 7)数据分析和结果描述)数据分析和结果描述(8 8)解释系统评价的结果)解释系统评价的结果(9 9)系统评价的改进与更新)系统评价的改进与更新确立题目并注册确立题目并注册 系统评价的题目主要来源于临床医疗和护理实系统评价的题目主要来源于临床医疗和护理实践,为医疗和护理决策提供依据,特别适用于评价践,为医疗和护理决策提供依据,特别适用于评价某些干预措施的利弊难以靠

11、单个临床研究结果确定,某些干预措施的利弊难以靠单个临床研究结果确定,或在临床应用过程中存在较大争议等问题的探讨。或在临床应用过程中存在较大争议等问题的探讨。系统评价的选题应遵循实用性、必要性、科学性、系统评价的选题应遵循实用性、必要性、科学性、创新性和可行性这创新性和可行性这5 5个基本原则。个基本原则。确立题目并注册确立题目并注册系统评价在确立题目时,应围绕研究问题明确四个系统评价在确立题目时,应围绕研究问题明确四个要素:要素:研究对象的类型(研究对象的类型(P P):如所患疾病的类型及诊断):如所患疾病的类型及诊断标准、研究人群的特征和场所等;标准、研究人群的特征和场所等;研究的干预措施和

12、对照的措施(研究的干预措施和对照的措施(I I、C C););研究的结局指标(研究的结局指标(O O):包括所有重要的结局(主):包括所有重要的结局(主要结局和次要结局)及严重的不良反应等;要结局和次要结局)及严重的不良反应等;研究的设计方案(研究的设计方案(D D)。)。确立题目并注册确立题目并注册 确确立立题题目目之之后后,应应将将题题目目和和研研究究背背景景告告之之Cochrane协协作作网网系系统统评评价价小小组组的的协协调调员员,以以确确定定该该题题目目是是否否已已被被注注册册。如如果果没没有有注注册册则则等等待待专专家家评评审审,确确定定是是否否有有必必要要进进行行该该题题目目的的

13、系系统统评评价价。如如果果专专家家认认可可该该题题目目有有研研究究价价值值,则则在在评评价价小小组组的指导下填写有关表格,完成题目的注册。的指导下填写有关表格,完成题目的注册。制定系统评价计划书制定系统评价计划书 系系统统评评价价的的题题目目确确立立后后,需需要要制制订订计计划划书书,内内容容包包括括系系统统评评价价的的题题目目、背背景景资资料料、目目的的和和方方法法,其其中中方方法法学学部部分分是是计计划划书书中中的的重重点点,包包括括检检索索文文献献的的方方法法及及策策略略、文文献献纳纳入入和和排排除除的的标标准准、评评价价文文献献质量的方法、收集和分析数据的方法等。质量的方法、收集和分析

14、数据的方法等。制定系统评价计划书制定系统评价计划书 Cochrane协协作作网网要要求求所所有有的的评评审审合合格格的的系系统统评评价价计计划划书书都都要要公公开开发发表表在在Cochrane图图书书馆馆,接接受受来来自自同同行行或或有有兴兴趣趣者者等等各各方方人人员员的的评评价价,提提出出意意见见或或建建议议,确确保保系系统统评评价价实实施施方方法法完完善善可可靠靠。同同时时,公公开开发发表表的的计计划划书书还还有有助助于于提提醒醒他他人人该该题题目目已经在研,避免重复研究。已经在研,避免重复研究。检索文献检索文献 系系统统评评价价与与传传统统文文献献综综述述的的关关键键区区别别在在于于是是

15、否否制制定检索策略,进行系统、全面地检索。定检索策略,进行系统、全面地检索。除除利利用用文文献献检检索索的的期期刊刊工工具具及及电电子子光光盘盘检检索索工工具具(MEDLINE、Embase、Sci search、Registers of clinical trials)外外,系系统统评评价价还还强强调调通通过过与与同同事事、专专家家和和药药厂厂联联系系以以获获得得未未发发表表的的文文献献资资料料如如学学术术报告、会议论文集或毕业论文等报告、会议论文集或毕业论文等 选择文献选择文献 选选择择文文献献是是指指根根据据计计划划书书中中拟拟定定的的文文献献纳纳入入和和排排除除标标准准,从从收收集集到

16、到的的文文献献中中检检出出能能够够回回答答研研究究问问题的文献资料。题的文献资料。文文献献的的选选择择标标准准一一般般应应根根据据确确立立的的题题目目和和构构成成研研究问题的四个基本要素而制定。究问题的四个基本要素而制定。选择文献选择文献 在在系系统统评评价价制制作作过过程程中中,文文献献的的选选择择和和纳纳入入包包括括三个基本步骤三个基本步骤 初筛初筛全文筛选全文筛选获取更多信息获取更多信息选择文献评价文献质量评价文献质量 对文献质量的评价应包括三个方面,即:对文献质量的评价应包括三个方面,即:内部真实性内部真实性 外部真实性外部真实性 临床适用性临床适用性评价文献质量评价文献质量 Coch

17、raneCochrane手手册册5.1.05.1.0中中并并未未推推荐荐使使用用任任何何一一种种清清单单或或量量表表,仅仅要要求求采采用用由由CochraneCochrane协协作作网网的的方方法法学学家家、编编辑辑和和系系统统评评价价员员共共同同制制定定的的“偏偏倚倚风风险险评评估估”工具。工具。为为避避免免选选择择文文献献和和评评价价文文献献质质量量人人员员的的偏偏倚倚,对对文文献献的的选选择择和和质质量量评评价价通通常常至至少少由由二二名名评评价价人人员员独独立立、盲盲法法进进行行,也也可可采采用用专专业业与与非非专专业业人人员员相相结结合合的的共共同同选选择择和和评评价价办办法法,出出

18、现现不不一一致致的的情情况况时可由第三者或双方讨论协商解决。时可由第三者或双方讨论协商解决。资料提取资料提取 数数据据提提取取表表的的设设计计尚尚无无统统一一标标准准,设设计计时时通通常常包包括以下信息:括以下信息:纳入研究的基本信息纳入研究的基本信息研究方法和可能存在的偏倚研究方法和可能存在的偏倚 研究对象的特征研究对象的特征 干预措施的特征干预措施的特征 结局指标结局指标 研究结果研究结果 其他信息其他信息 数据分析和结果描述数据分析和结果描述定性分析定性分析 数据的分析数据的分析结果的描述:纳入研究及其基本特征、纳入研究的偏倚风结果的描述:纳入研究及其基本特征、纳入研究的偏倚风险评价(质

19、量评价)、各原始研究的结果及险评价(质量评价)、各原始研究的结果及Meta-Meta-分析的结分析的结果、其他(如亚组分析和敏感性分析结果)等。果、其他(如亚组分析和敏感性分析结果)等。定量分析定量分析 解释系统评价的结果解释系统评价的结果 1 1主要研究结果的总结主要研究结果的总结2 2证据的可应用性证据的可应用性 3 3证据的质量证据的质量 4 4可能存在的偏倚或局限性可能存在的偏倚或局限性5 5与其他研究或系统评价的异同点与其他研究或系统评价的异同点 系统评价的改进与更新系统评价的改进与更新 系统评价的更新是指在系统评价发表以后,定期系统评价的更新是指在系统评价发表以后,定期收集新的原始

20、研究,按前述步骤重新进行分析、收集新的原始研究,按前述步骤重新进行分析、评价,以及时更新和补充新的信息,使系统评价评价,以及时更新和补充新的信息,使系统评价更完善。更完善。CochraneCochrane系统评价在发表后要接受来自各方面的系统评价在发表后要接受来自各方面的评论与批评,评价者需对这些评论作出答复并发评论与批评,评价者需对这些评论作出答复并发表在该系统评价上。当有新的临床研究证据出现表在该系统评价上。当有新的临床研究证据出现后,后,CochraneCochrane系统评价每隔系统评价每隔2 2-3 3年更新一次。年更新一次。系统评价的实例分析系统评价的实例分析 关节炎自我管理项目关

21、节炎自我管理项目对患者自我效能感和抑郁干预效果对患者自我效能感和抑郁干预效果的系统评价的系统评价 问题的提出问题的提出 关节炎是常见慢性疾病之一,给患者个人、家庭关节炎是常见慢性疾病之一,给患者个人、家庭和社会带来沉重负担。和社会带来沉重负担。在自我管理模式中,自我效能感是主要的中介变在自我管理模式中,自我效能感是主要的中介变量,抑郁在关节炎患者中发病率远高于正常人群,量,抑郁在关节炎患者中发病率远高于正常人群,因此,关节炎自我管理项目应注重对自我效能感因此,关节炎自我管理项目应注重对自我效能感和抑郁的干预。和抑郁的干预。在已有的报道中,关节炎自我管理项目对该两种在已有的报道中,关节炎自我管理

22、项目对该两种心理指标的干预效果不尽一致。心理指标的干预效果不尽一致。文献检索策略文献检索策略(1 1)检索数据库:)检索数据库:Medline 和和Embase,CBMdisc。文献检。文献检索年代追溯至索年代追溯至1970 年。年。(2 2)检索词和检索公式:检索词采用主题词与自由词相结)检索词和检索公式:检索词采用主题词与自由词相结合的方式。合的方式。(3 3)检索步骤:首先在)检索步骤:首先在Medline、Embase 和和CBMdisc数据数据库进行检索,然后由库进行检索,然后由2名研究者独立阅读文献题目和摘要,如名研究者独立阅读文献题目和摘要,如果初步符合纳入标准,则进一步查找并阅

23、读全文,根据纳入果初步符合纳入标准,则进一步查找并阅读全文,根据纳入标准决定取舍;通过标准决定取舍;通过“滚雪球滚雪球”方式,追查纳入文献的后附方式,追查纳入文献的后附参考文献。参考文献。文献纳入文献纳入/排除标准排除标准(1 1)关节炎自我管理项目的随机对照试验。)关节炎自我管理项目的随机对照试验。(2 2)P(Population),研究对象为,研究对象为18 周岁以上、诊断周岁以上、诊断明确的各类关节炎患者,主要包括骨关节炎、类风湿性关明确的各类关节炎患者,主要包括骨关节炎、类风湿性关节炎和纤维肌痛患者等;节炎和纤维肌痛患者等;(3 3)I(Intervention),),干预措施指有组

24、织的、系统的自干预措施指有组织的、系统的自我管理项目,排除仅采用某种特定的躯体或心理性治疗策我管理项目,排除仅采用某种特定的躯体或心理性治疗策略的项目;略的项目;(4 4)C(Comparison),),对照组包括常规照护对照和空白对照组包括常规照护对照和空白对照(一般为等待对照);对照(一般为等待对照);(5 5)O(Outcome),),结局测量指标包括自我效能感和结局测量指标包括自我效能感和(或)抑郁。(或)抑郁。文献质量评价方法文献质量评价方法 文献质量评价由文献质量评价由2 2 位研究者分别独立完成,首先每人按照位研究者分别独立完成,首先每人按照Cochrane Cochrane 手

25、册评价标准对纳入文献进行质量评鉴,评鉴项手册评价标准对纳入文献进行质量评鉴,评鉴项目包括随机方法、分配隐藏、盲法(主要是评价者单盲)、目包括随机方法、分配隐藏、盲法(主要是评价者单盲)、退出和失访、意向性分析以及基线可比性退出和失访、意向性分析以及基线可比性6 6 个项目个项目 文献质量分为文献质量分为A A、B B、C C 三级:三级:A A 级低度偏倚级低度偏倚,完全满足以完全满足以上上6 6 条质量标准;条质量标准;B B 级:中度偏倚,其中一条或一条以上级:中度偏倚,其中一条或一条以上的标准为部分满足;的标准为部分满足;C C 级:高度偏倚,其中一条或一条以级:高度偏倚,其中一条或一条

26、以上的标准完全不满足,此类文献将被排除。上的标准完全不满足,此类文献将被排除。在独立评价完成后,在独立评价完成后,2 2 位研究者就评价结果进行讨论并达位研究者就评价结果进行讨论并达成共识,若有分歧,将咨询第成共识,若有分歧,将咨询第3 3 位研究者。位研究者。数据分析数据分析 本文采用本文采用Cochrane协作网提供的协作网提供的RevMan5.0软软件进行件进行Meta 分析分析。若文献相同测量工具,采用。若文献相同测量工具,采用加权均数差加权均数差(weighted mean difference,WMD)分析;对采用不同测量工具,则采用分析;对采用不同测量工具,则采用标准化均数差标准

27、化均数差(standardized mean difference,SMD)进行分析。进行分析。结结 果果 1 1定性分析定性分析(1 1)文献检索结果:初次检索得到)文献检索结果:初次检索得到353项题目和摘要,经项题目和摘要,经EndNoteX3软件去除软件去除重复文献重复文献55 篇。再经过阅读题目和摘要,排除明显不符合纳入标准的文献篇。再经过阅读题目和摘要,排除明显不符合纳入标准的文献193 篇。进一步检索全文,有篇。进一步检索全文,有3 篇无法获得全文;阅读所获得的篇无法获得全文;阅读所获得的102 篇全文,排除篇全文,排除研究对象研究对象(31篇)、篇)、研究设计研究设计(32篇)

28、、篇)、自我管理项目概念自我管理项目概念(9篇)篇)和结局变和结局变量量(3篇)篇)不符合纳入标准的文献以及无研究结果的文献不符合纳入标准的文献以及无研究结果的文献(12篇)篇)后,纳入后,纳入15 篇文献。通过篇文献。通过“滚雪球滚雪球”方式,新增方式,新增1 1篇合格文献,此时有篇合格文献,此时有16 篇文献被纳入。篇文献被纳入。(2 2)纳入研究的基本特征和质量评估:根据)纳入研究的基本特征和质量评估:根据Cochrane 手册标准对文献进行质手册标准对文献进行质量评价,量评价,3 篇为篇为A级,级,13 篇为篇为B 级。级。结果结果 2 2定量分析定量分析 4 4个月时关节炎自我管理项

29、目对其他症状控制自我效能感的干预效果个月时关节炎自我管理项目对其他症状控制自我效能感的干预效果 讨讨 论论 关节炎自我管理项目能够使患者感知到更高水平的自我效关节炎自我管理项目能够使患者感知到更高水平的自我效能感,从而提高其履行自我管理策略的依从性,并最终更能感,从而提高其履行自我管理策略的依从性,并最终更有效地完成关节炎症状管理。有效地完成关节炎症状管理。本研究中无符合纳入标准的中文文献,提示我国卫生领域本研究中无符合纳入标准的中文文献,提示我国卫生领域应加大对该类项目的研究力度,建议严格按照应加大对该类项目的研究力度,建议严格按照CONSORTCONSORT标准标准进行随机对照试验的设计、

30、实施和报道。进行随机对照试验的设计、实施和报道。由于文献数据的限制,本研究仅能对抑郁的短期干预效果由于文献数据的限制,本研究仅能对抑郁的短期干预效果进行探讨,建议今后关注其长期干预效果的研究。进行探讨,建议今后关注其长期干预效果的研究。ATMATM方法存在两方面缺陷方法存在两方面缺陷由于检索范围仅限于公开发表的中、英文文献,亦存在发由于检索范围仅限于公开发表的中、英文文献,亦存在发表性偏倚的可能。表性偏倚的可能。系统评价中应注意的问题系统评价中应注意的问题(一)制作系统评价过程中应注意的问题(一)制作系统评价过程中应注意的问题 1 1选题时应注意的问题选题时应注意的问题 (1 1)选题的范围)

31、选题的范围 (2 2)题目的修改)题目的修改 2 2撰写计划书应注意的问题撰写计划书应注意的问题 3 3文献检索应注意的问题文献检索应注意的问题系统评价中应注意的问题系统评价中应注意的问题(二)应用系统评价应注意的问题(二)应用系统评价应注意的问题 1 1虽然系统评价,尤其是虽然系统评价,尤其是CochraneCochrane系统评价被认为是临床系统评价被认为是临床疗效评价的金标准,证据级别最高,但不是所有的系统评疗效评价的金标准,证据级别最高,但不是所有的系统评价的分析结论都是可靠的。在应用系统评价之前也应评价价的分析结论都是可靠的。在应用系统评价之前也应评价其方法学的正确性、结果的重要性、

32、结论的准确性等。其方法学的正确性、结果的重要性、结论的准确性等。2 2应用系统评价还应充分考虑是否有同类评价,是否有更应用系统评价还应充分考虑是否有同类评价,是否有更新,是否整合了之前的所有相关系统评价等。新,是否整合了之前的所有相关系统评价等。3 3应用系统评价还应重视其临床适用性。应用系统评价还应重视其临床适用性。思考题:思考题:1 1 1 1什么是系统评价?什么是系统评价?什么是系统评价?什么是系统评价?2 2 2 2什么是什么是什么是什么是CochraneCochrane系统评价?系统评价?系统评价?系统评价?3 3 3 3系统评价与系统评价与系统评价与系统评价与MetaMetaMetaMeta分析有什么区别和联系?分析有什么区别和联系?分析有什么区别和联系?分析有什么区别和联系?4 4 4 4系统评价与传统的文献综述有哪些异同点?系统评价与传统的文献综述有哪些异同点?系统评价与传统的文献综述有哪些异同点?系统评价与传统的文献综述有哪些异同点?5 5 5 5请阐述系统评价的基本制作步骤。请阐述系统评价的基本制作步骤。请阐述系统评价的基本制作步骤。请阐述系统评价的基本制作步骤。

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 教育专区 > 教案示例

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号© 2020-2023 www.taowenge.com 淘文阁