《大数据背景下商务英语写作人工与机器评分的实证研究.docx》由会员分享，可在线阅读，更多相关《大数据背景下商务英语写作人工与机器评分的实证研究.docx（11页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据背景下商务英语写作人工与机器评分的实证研究刘宁Summary随着大数据开展的瞬息万变，基于语料库的写作软件已经开始颠覆了 传统写作的教学模式。本研究的重点是一种通用的作文自动评分系统，叫作“作文自动评分”(Automated Essay Scoring,简写AES),它是基于语料库 进行写作的机器评分，已经被国内众多高校采用。本研究将侧重于商务英语写 作教学中教师评分与机器反应的比拟，同时，详细分析了国内外关于AES的一 些研究，目的是调查高职院校商务英语写作课使用AES评分错误与教师评分错 误是否存在差异，是否会呈现具体差异；学生对教师评分使用AES的态度和意 见。Key大数据商务英语
2、写作机器评分：G642. 47： AD0I： 10. 16400/j. cnki. kjdk. 2021. 17. 013AES不能代替教师，它是教师的“智能助手”。根据前人的研究综述，可以预计AES的错误可能与教师评分的错误有显著差异。在商务英语写作课程中，当 使用AES进行论文修改时，教师需要结合自己的反应来调整机器反应。AES的 优点是毋庸置疑的，但是由于商务英语课程的特殊性，教师需要对机器评测进 行一些纠错和指导。AES评分是一个“冰冷的”人机互动的过程，当AES结束 评分时，错误只会以字母的形式显示在计算机屏幕上，并要求学生修改，不需 要沟通。教师评分是老师和学生在课堂上面对面、融入
3、感情的交流，教师反应 的鼓励词可以帮助学生提高商务英语写作的有效性。在进一步的研究中，本研 究将继续对写作课的观察，融合了学生写作态度的写作也是商务英语写作教学 的重要组成局部。ReferencelStevenson, M. A critical interpretative synthesis： Theintegration ofautomatedwritingevaluationintoclassroomwritinginstructionJ.Computers and Composition, 2016 (42) ： 116.2Elliot, N. , & Williamson, D.
4、M. Assessing writing specialissue： Assessing writing with automated scoring systemsJ. AssessingWriting, 2013 (18) ： 1-6.3Graham, S. , & Sandmel, K. The process writing approach： Ametaanalysis J. The Journal of Educational Research, 2011(104) ： 396-407.4Palermo, C. , & Thomson, M. M. Teacher implemen
5、tation of selfregulated strategy development with an automated writing evaluation system： Effects on the argumentative writing performance of middle school studentsJ. Contemporary Educational Psychology, 2018 (54)： 255-270.5Shermis, M. D. , Mzumara, H. R. , Olson, J. , &Harrington, S. On-linegrading
6、 of student essays： PEG goes on the world widewebJ. Assessment & Evaluation in Higher Education, 2001 (26)： 247-259.6Liu, S. , & Kunnan, A. J. Investigating the application of automated writing evaluation to Chinese undergraduate Englishmajors： A case study of Write To LearnJ. Calico Journal, 2016 (
7、33) ： 71.7Weigle, S.C. Englishlanguagelearnersandautomatedscoringofes- says：Critical considerationsJ. Assessing Writing, 2013 (18) ： 85-99.8Stevenson, M. A critical interpretative synthesis： The integration of automated writing evaluation into classroom writing instructionJ. Computers and Compositio
8、n, 2016 (42) ： 1-16.9Choi, J. The impactofautomated essay scoring (AES) forimproving english language learner, s essay writingJ. ProQuest Dissertations Publishing, 2010.10江颖，金跃强，王茜.大数据方法对非英语专业学生英语写作动机及水平的 影响研究以“句酷批改网”为例J.当代教育理论与实践，2019, 011 (002) ： 142-146.11钟歆.基于作文自动评分系统的高职学生英语写作自我效能感研究J.长沙 通信职业技术学
9、院学报，2017, 016 (004) ： 64-6712陈艳.句酷批改网对不同水平高职英语学习者写作能力的影响研究J.长沙 航空职业技术学院学报，2017, 017 (004) ： 34-39.13李霞，钟兰凤.作文自动评价系统在大学英语写作教学中的实证研究一一以 句酷批改网为例J.教学研究,2017, 040 (001) ： 57-61.一全文完一An Empirical Study on Manual and Machine Scoring of Business EnglishWriting in the Context of Big DataLIU Ning(Guangzhou Ci
10、ty Construction College, Guangzhou, Guangdong 510925)AbstractWith the rapid development of big data, corpus based writing software has begun to subvert the traditional teaching mode of writing. The focus of this study is a general composition automatic scoring system, called ,rautomated essay scorin
11、g (abbreviated AES) , which is a corpus based machine scoring system and has been adopted by many domestic universities. This study will focus on the comparison of teacher scoring and machine feedback in Business English writing teaching. Meanwhile, it analyzes some domestic and foreign studies on A
12、ES in detail. The purpose is toinvestigate whetherthereis anydifferencebetween the errorsofAESscoring andteacherscoringinBusiness English writing class in higher vocational colleges, and whether there will be specific differences； Students attitudes and opinions on the use of AES in teacher scoring.
13、Keywordsbig data； business English writing； machine scoring 嘉作是将交际能力和语言知识与某些文化维度、认知和知识社会学相结合的过 程。1商务英语专业作为高职院校的一门常见专业，是专业英语的一种，它要 求学生能够掌握接近于以英语为母语的人的英语书面和口头技能进行商务和外 贸工作。商务英语写作作为专业基础课之一，其写作形式和表达方式具有独特 的特点，其教学方法提出了有别于普通写作课更高的要求。学生需要能够独立 处理各种外贸突发事件相关的函电，处理外贸订单和发货等工作。在真实的商 务和外贸场景中，商务英语写作将是与同事和客户沟通的一种极其重
14、要的手 段。如何引导学生掌握商务英语写作的专业格式和表达方式，以及学会防止写 作中因文化差异引起的一些误解，是商务英语写作课程教学的重点。高职院校 商务英语专业的大局部学生对自己的专业充满热情，但是由于学生英语基础薄 弱，他们尤其害怕做英语写作任务，往往选择被动地对待写作。同时，教师有 批改作文的压力，评价反应时差大。1理论基础1. 1自动作文评分(AES)自动作文评分(AES)是一个大规模的基于语料库的计算机化系统，可以立即纠 正所写的文章，提供即时反应，并对反应进行分类。AES是指通过计算机评分 产生的书写反应，是一种根据人工智能、正常语言模块、语言处理和计算机技 术相关语义分析产生评分的
15、评分工具。1 一个完善的AES系统可以为大规模评 分提供许多好处，如特异性、写作质量的提高、可管理性、一致性、评分报告 和评分速度；节省本钱，操作方便。2作为我国语言智力评估关键技术和应用 的代表，Pigai被广泛应用于大学、高职院校、中小学等教育机构。Pigai的处 理原理是比拟学生作文与标准语料库之间的距离，通过一定的算法以数字和注 释的形式计算错误。该技术已获得国内创造专利(专利号：ZL201210049982. 4)。根据Pigai ( com)主页上的数据，AES已对超过5亿篇 文章进行了评分，采用AES机器评分法、教师修正评分法和同伴评分法三种方 式进行评价。1. 2商务英语写作教
16、学的理论框架过程教学法是一种以学生为中心，教师辅助的教学方法。在商务英语写作中， 由于商务英语的词汇和句型比普通英语知识更难，学生的学习要求需要教师的 帮助来提高。过程写作法可以让学生在不断深入挖掘写作问题的同时，提高英 语思维能力和写作能力。写作过程和写作内容一样重要，写作的有效性取决于 写作的过程。注意写作过程可以帮助学生养成自我纠错的写作习惯，遵循语言 习得的规律。一篇好的作文是在写作的过程中产生的，这意味着错误是不断被 修改的。教师对写作过程进行指导，学生合作完成任务；过程教学法将在今后 的写作教学中发挥重要作用。31.3 AES评分的研究背景AES的实施可以是一种有效的辅助教学方式，
17、根据比照初步数据与教师单独的 评价指导相比，AES可以提高写作能力。4AES评阅的处理速度取决于AES服 务器与语料库的接触频率，在网上提交论文时，分数反应的时间大约是2分 钟，这是一个令人印象深刻的原始处理速度。AES评分服务器每秒可以处理三 篇论文；教师评分的校正水平高于AES评分。5另外，从整个作文的反应及其 性质来看，AES的评分与教师的评分相同或更高。即时反应和评分一致性是AES 评分相对于人工评分的两个优点；AES评分反应的准确性和有效性并不总是能 令人满意的。6从表1国内关于AES评分的研究例如可以看出，AES评分应用 在大学英语课程应用较多。在寻找前人研究的过程中，以商务英语课
18、程为基础 的AES研究较少。尽管AES评分有其优点，但AES评分存在的缺点是AES技术 的一个真正的困境。AES的准确性和流畅性似乎是该系统的代表性特征；相 反，AES评分不能评价文章的结构和内容是否与主题相关，因为它不能具有与 人类相同的思维方式。AES系统可以与文章的长度密切相关，而不是提供有效 的修辞控制的内容；AES的算法需要比现有的更关注重要的语言标记，以确保 AES评分适合于分析评分，从而使语法特征和用法的评分更加可靠。7教师在 课堂AES整合中起着核心作用，评价AES的属性或考虑AES体系对学生写作的 影响应考虑教学环境；为保证AES的有效性，教师应考虑教学方法，AES评分 的使
19、用应与教师的写作指导相结合。AES得分出现低于老师评分，由AES和教 师评分呈现出显著差异的详细得分，这些发现说明，教师老师评分的得分高于 AES得分。8崔总结了在英语写作中实施AES评分的三点。首先，教师需要对 AES评分持开放的态度，技街的更新会为教学带来方便；其次，教师积极引导 学生也是很重要的，教师应鼓励学生在写作中使用AES评分；再次，教师需要 熟练掌握AES评分的具体功能，教师可以参与其他教师的培训或学习。：9AES 评分数据库可以连续积累简单的表达方式和句型，但商务英语写作的表达是基 于真实的商务情境，这是AES评分的难点。另一方面，中国与其他国家的文化 差异和表达方式的不同是A
20、SE在处理商务交际写作时遇到的两个障碍，错误的 信息或不一致的表达会引起沟通者之间的误解和矛盾，会影响商务活动的正常 进行。2研究设计1研究问题（1） AES系统评分中的作文错误与商务英语写作老师评分中的作文错误是否有区别？如果有，这些错误之间的具体区别是什么?(2)使用AES评分法的商务英语学生和使用传统的教师评分法的商务英语学生对AES评分的态度和观点是怎样的？2. 2研究对象本研究选取了我国某高职院校商务英语专业的一年级学生160名，均有十年英 语学习经验。参与者的平均年龄约为19岁，英语水平为中级英语学习者。老师 会根据分班测试的结果将受试者分成两组，实验组80人，对照组80人。实验
21、组选择AES作为计算机写作辅助评分，对照组选择传统论文写作和教师评分。 两组商务英语写作的授课老师是一样的，教学内容和教学过程的设计也是一样 的。2. 3实验过程实验组和对照组的教学过程和教学内容会保持一致，之后进行语言分班测试、写作测试和问卷调查。参与者将参加英语统一分班考试，并根据分班考试安排 上课。为保证分班英语考试的效度和信度，教师将选择中国权威的国家英语考试作为考试内容，如2018年大学英语四级考试真题。在写作测试后，所有研究 对象将会填写一份问卷。 在商务英语写作课上，实验组将使用AES作为每一篇写作和评分工具，对照组 将使用传统的纸笔写作和老师评分的方式。在10周的商务英语写作教
22、学后，将 进行写作测试。在本研究的写作测试之初，教师将设计一个常见的商务情境， 用过程写作的方法学习如何在现实生活和商务世界的正式场合维护个人和集体 利益进行投诉。老师将用一篇新闻作为导入，一位消费者花了 66万元买了一辆 梅赛德斯-奔驰，不幸的是，汽车发动机出现了漏油现象。老师将介绍商务情境 下的投诉信的例子，并分析其格式和有用的表达。最后，老师将安排本研究商 务情境下投诉信的写作测试，写作背景如下。你是蓝天公司的市场部经理周晓娜，你的公司收到一批500箱黄色纯棉t恤的 货物，但货物上有各种不同的污渍。经你方详细检查，损坏是由于卖方的不当 包装造成，你方损失沉重。现写一封120到150字的投
23、诉信给快乐服装公司的 销售经理凯西格林，要求对方调查此事，并尽快解决这起事故。实验组将使用AES系统-pigai进行数字化写作。在写作过程中，参与者不能 使用AES的修改工具，写作完成后立即提交。教师登录AES导出作文错误分析 的原始数据。对照组采用传统的纸笔方式进行写作测试，由老师对作文进行评 分，并对错误和分数进行分类和分析。写作测试完成后，参与者将回答一份问 卷。自变量为AES系统评分中的作文错误和商务英语写作教师评分中的作文错 误，因变量为这两种评分方法的差异。研究测试后，教师将收集160篇商务英 语写作的论文修改错误并进行分析，80篇论文采用AES分析功能进行评分，80 篇作文将由教
24、师评分。同时，问卷调查采用问卷星( s： 进行，使用SPSS进行频率分析，总结实验组和对照组对AES和传统写作的看法 和意见。3结果与分析根据评分数据比拟结果（表2） , AES评分是高于教师评分，两种方法之间是具 备相关性的。根据问卷的结果，可以预期AES的优点是评分速度快，评分和更 正错误会在几秒钟内呈现出来。学生可以根据这样的优势及时对写作进行批 改，并在批改过程中加强写作。教师评分让学生在写作的真实环境中得到批 改，但批改的时间无疑是不可能在几秒钟内做到的，这被称为教师评分的最大 困难。通过对AES和教师评分的误差分析，得出教师评分和AES评分之间的相关性和 差异；具体评分细节分析结果如表3所示，表3中列出的错误类型是商务英语 写作纠正中常见的错误评分维度。从调查问卷的分析结果可得知，实验组对AES持积极态度，AES可以在几秒钟 内完成作文评分，89%的被试表示AES加强了商务英语写作的个人积极意愿， 78%的被试更喜欢AES的纠正功能，他们可以屡次纠正写作以获得高分。对照组 对老师的评分有积极的态度，教师评分可能可以激发81%的参与者对商务英语 写作的兴趣，80%的参与者可能已经很好地掌握了商务英语写作的格式。因此， 采取AES与教师评分相结合的教学方式是比拟妥当的（表4）。4条吉论