《大数据爬虫技术课程标准.docx》由会员分享，可在线阅读，更多相关《大数据爬虫技术课程标准.docx（10页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据爬虫技术课程标准一、课程基本信息课程名称:大数据爬虫技术课程编码：29040004课程类别:专业必修课学分：4学时：64适用专业:大数据专业开课单位:智能信息工程学院先修课程:Python语言基础（05041196）后续课程:智能数据分析（29040006）二、课程概述（一）课程定位大数据爬虫技术是大数据专业重要的核心课程。课程中数据的知识、 能力、素质是后续课程数据分析、Tableau等的基础，是公共课与专业课 之间的桥梁。本门课程64课时（32理论+32实践），在教学过程中，建议采用 理实一体化教学方式。本课程在专业人才培养过程中对大数据专业技术岗位的 能力培养和素质培养起支持作用。
2、具体要体现：课程符合高技能人才培养目标 和专业相关技术领域职业岗位（群）的任职要求;本课程对学生职业能力培养和职 业素养养成要起主要支撑或明显的促进作用。因此，本课程将思政教育内容融 入到课程教学中，使思想政治理论教育与专业教育协调同步、相得益彰，真正 实现在课堂教学主渠道中全方位、全过程、全员立体化育人。（二）课程基本理念本专业的学生毕业之后主要从事人工智能等相关的计算机类工作，因此 本门课程所讲授的内容是学生必须掌握的基本专业技能。在教学过程中，要求 理论与实践相结合，培养学生的编程能力，同时培养学生良好的编程习惯以及 自主学习能力。在精心打磨课程本身内容的同时，依托于Python语言在不
3、同领 域的应用案例，适当结合我国政府在解决民生问题和处理突发公共卫生事件等 方面的突出作用和重要成果，结合我国科学家在一些领域的重要贡献，在教学 过程中融入思想政治教育。在点滴之间影响学生，以行导人、以事服人、以情 感人、以文化人，培养当代大学生的责任感、自豪感、荣誉感。学经验和教学管理经验的老教师与其他教学管理人员组成院系两级科学管理小 组，实现“督教、督学、督管”。3、系部同行教师评价系统，由系部进行主讲 教师的聘任，教师试讲和教学效果评价工作。4、学生信息员系统，聘任学生担 任本专业的教学质量监督信息员，及时掌握专业的教学信息，对教学中存在的 问题及时向系部和学院进行反馈。5、教师和学生
4、双向课堂教学效果反馈系统， 每次课后由学生在微信小程序端填写课堂教学效果反馈，对所上课教师的教 学效果进行反馈。同时，教师每学期应至少填写一次课堂教学信息卡，将课 堂教学过程出现的问题（如学生的学习效果、学习风气、教学条件、教学设备 的使用情况）反馈给学院教学督导。6、通过各种网络手段达到教务反馈的效 果，获取教学相关的信息。为了达到全面控制教学过程、提高教学质量的目 的，进行课堂教学检查时，各类检查人员应填写相应的评估表和反馈表，及时 对评估表和反馈表进行统计处理，将结果反馈给教师所在的专业负责人处，并 以适当的方式反馈给任课教师。每学期以系部为单位，综合各种渠道的检查结 果和反馈结果，采取
5、先定量后定性的办法，对所有任课教师的教学效果和质量 进行评价。评价结果经系部审核后，将结果存入教师教学工作档案，作为教师 晋职、评优的重要依据。每学期，学院教务处对教学质量方面存在的共性问题 采取简报、总结等形式，对存在的个性问题采取座谈会、个别交流、文字材料 等形式，以随时总结经验，改进教学。七、课程考核与评价本课程是专业必修课程，考核方式由四部分构成。期末成绩为综合评定， 由考勤（10%）、含思政元素类教学资源的点击量和观看时长（10%）.课堂编程 操作（20%）和期末笔试（60%）四部分内容组成。八、课程负责人及教学团队课程负责人：李兵川吴文灵九、其它说明无制定部门：智能信息工程学院时间
6、：2022-08-26时间:审核人：李兵川（三）课程设计思路课程设计的总体思路：校企合作组织课程开发。学校专业团队与合作行 业企业的实践专家合作开发课程。1）共同组织专业课程体系构建和专业课程开 发的调研和研讨活动；2）利用学校和企业两种资源，共同创设本课程适宜的实 施条件；3）合作建设为学院师生、企业员工学习、培训提供服务的共享型数字 化专业教学资源；4）共同制订顶岗实习管理制度，在企业工作和学习过程中共 同管理和监控运行；5）共同制订学生工作和学习成果考核评价办法，探索人才 培养质量的社会评价机制；6）校企互相兼职，共建课程教学、岗位培训和技术 开发的双师结构专业教学团队。三、课程目标（一
7、）总目标通过本课程各个模块的学习，具体体现三个方法：一是具有实用性，使学生迅速 理解、使用和进行大数据、数据采集、爬虫工作实务环境，在实际工作中熟练地使用数据 采集处理活动。而是具有复合性，使学生拥有足够的数据采集和大数据及其其他方面的知 识，懂得数据采集，数据清洗等技术手段。将复合型知识性成为一个有机的整体，从而达 到对数据采集的应用能力。三是具有人才多元化，要求学生具有不同的知识和能力结构（二）具体目标序号知识目标K1知道什么是爬虫，了解爬虫的概念，理解爬虫的原理，掌握Python的环境配置方法K2知道什么网络编程，了解网络爬虫的手段，理解socket库使用，掌握socket库进 行TCP
8、、UDP编程K3知道什么HTTP请求，了解HTTP的请求方法，理解urllib3库的使用，掌握 requests实现HTTP请求K4知道什么是动态页面，了解动态页面和静态页面的区别，理解selenium库的使用， 掌握selenium库对动态页面爬取K5知道为什么要登陆，了解登陆的方法和手段，理解Cookie登陆流程，掌握 requests实现post请求K6知道什么是终端协议，了解终端协议的种类，理解Fidder工具原理，掌握Fidder 工具的使用K7知道什么框架，了解scrapy框架，理解scrapy框架的工作原理，掌握scrapy框架 的使用K8能运用所学知识进行综合项目开发序号技能目
9、标S1通过python爬虫环境与爬虫简介，学生能够运用爬虫概念、爬虫原理、反爬及其 应对策略、能够运行python爬虫环境配置方法，根据爬虫法律安全规范，可以完 成Python环境搭建，制定爬虫反爬取策略S2通过简单网页爬取，学生能用运用urllib3、requests库，根据python相关语法规范 进行HI IP请求编程S3通过常规动态网页爬取，学生能够运用selenium,根据selenium库相关接口、根据 python相关语法规范进行动态贞面抓取S4通过模拟登陆，学生能够运用requests,根据requests库的使用、及其python相 关语法规范，实现POST表单登陆S5通过s
10、crapy爬虫，学生能够运行scrapy,根据scrapy的框架手册，来爬取静公或动 态贞面序号态度目标A1能形成遵纪守法良好习惯，遵从网络行业从业的相关法规A2具备爱岗敬业、吃苦耐劳的良好职业道德A3具有团队合作意识和协作精神A4具有自主学习能力和自我提高能力A5具备统筹协调能力、综合运用能力、革新创新能力四、课程内容序号模块（或子模块）名称学时1第1章爬虫开发环境搭建与爬虫介绍42第2章理解网络socket库的使用43第3章简单静态网页爬取104第4章常规动态网页爬取105第5章模拟登录126第6章终端协议分析127第7章Scrapy爬虫框架12合计64五、学习任务（一）设计思路本课程的教
11、学以高等职业教育培养目标为依据，遵循“结合理论联系实际，应知、应 会”的原则，以拓展学生专业知识面为重点；同时注重培养学生的钻研精神及专业思维能 力。专业知识上，重点通过对Pylhon网络爬虫知识的讲解，使学生对当前主流的爬虫程序 设计语言Python有较为全面的认识，为学生进入社会从事专业技术工作奠定基础；把创新 素质的培养和思政元素贯穿于教学中，采用行之有效的教学方法，发展学生专业思维和专 业应用能力的同时，把社会主义核心价值观的相关内容从课程的导论开始贯穿到课程的结 语，使这种信息的强化逐渐转化为学生的情感认同和行为习惯。整体的设计思路是以点带 面，以讲解授课为主的教学方式。课程主要分为
12、爬虫认识、静态网页爬取、动态网页爬 取、APP数据抓取、Scrapy框架等几部分，内容充实。课堂教学上，我们使用重点突破的 方法，每个知识点讲解对应的一个或者两个典型的实例，让学生触类旁通，举一反三，从 而带动整个Python网络爬虫开发课程的学习。（二）学习任务注：本表格中的“覆盖目标”只需填写在第三部分所确定的学习目标的编号。任务序号任务子任务覆盖 目标T1Python爬虫环境与 爬虫简介T1-1T1-2T1-3认识爬虫的概念及原理了解爬虫运作时应遵守的规则 了解反爬虫的目的和常用手段K1,S1,S2,S3,S4,S5,A1 ,A2,A3,A4, A5T2网页前端基础T2-1T2-2T2-
13、3T2-4socket库使用熟悉HTTP请求方式与过程熟悉HTTP状态码熟悉CookieK2,S1,S2,S 3,S4,S5,A1 ,A2,A3,A4, A5T3简单静态网页爬取T3-1 | 变量掌握使用urllib3库生成HTTP请求、处理请求头、设置超时、设置请 求重试T3-2 | 掌握使用Requests库生成HTTP 请求、查看状态码与编码、处理请求头与响 应头、设置超时K3,S1,S2,S 3,S4,S5,A1 ,A2,A3,A4, A5T3-3 | 页面兀素、息掌握使用chrome开发者工具查看 查看页面源码、查看资源详细信T4常规动态网页爬取T4-1 | 了解动态网页和静态页面的
14、区别T4-2 |掌握动态页面的爬取方法T4-3 |处理错误能够使用selenium库进 行动态页面爬取K4,S1.S2.S 3,S4,S5,A1 ,A2,A3,A4, A5T5模拟登陆T5-1 |T5-2 |请求T5-3 |掌握requests库实现POST请求 函数学会使用requests发起POST能够使用常见的抓包工具K5,S1,S2,S 3,S4,S5,A1 ,A3,A2,A4, A5T6终端协议分析T6-1 |T6-2 |T6-3 |掌握相关抓包工具的使用Http analyzer 工具 Fidder工具的使用K6,S1,S2,S 3,S4,S5,A1 ,A2,A3,A4, A5T7
15、Scrapy爬虫框架T7-1 |T7-2 |T7-3 |Scrapy框架的命令Scrapy框架相关参数的使用 使用scrapy框架定制爬虫框架K7,K8,S1,S 2,S3,S5,S4, A1,A2,A3, A4,A5六、实施建议（一）组织实施建议以工作过程为导向采用项目教学法或翻转课堂教学法进行教学，让学生 能在项目中学习，激发学生的学习兴趣；并充分利用课堂教学这个主渠道，挖 掘教学中的思政元素，实现思政资源在专业知识教学中的基因式融入。具体方 法如下：1、将“教、学、做”融为一体（1）践行理论，实践真理“实践是检 验真理的唯一标准”，思想政治理论课让学生明白了真理，但还没有完全领悟 到真理
16、的内涵和价值，而以实践的方式，让学生践行社会主义核心价值观则是 理论联系实际。（2）案例引入，提出问题通过案例演示，提出问题，给出知识 点，讲解案例应用背景，给学生一个切入点，建立感性认识，让学生感到学有 所用，从而明确学习目标。同时，在案例教学中融入思政教育内容，进行专业 知识学习的同时自觉地进行人生观、价值观的塑造，润物细无声，对学生世界 观的形成起到重要的引领作用。（3）学生自主学习，尝试解决问题引导学生自 主学习，找到解决问题的方法和操作技能，培养学生的自主学习意识和学习方 法。学生在学习和尝试解决问题过程中，发现问题，提出问题，在问题的引导 下学习相关的知识和操作技能。（4）归纳总结
17、，引申提高在每次课结束前，引 导学生进行归纳总结。对本次课的实际意义、重点、难点、容易出错处等及时 进行总结。并针对案例的不足之处，进行引申和提高。注意在这个阶段，强调 的是“引导”学生，而不是老师讲解。（5）举一反三、学以致用为了使学生能 学以致用、举一反三、触类旁通，每次教学结束时及时布置相关的课后练习， 使学生在课后进一步复习巩固，并且将课后作业纳入课程成绩的考核。同时给 出下一次课的学习内容，提示学生预习。2、充分利用现代化教学手段，提高教 学效果教学中采用电子演示文稿、大屏幕多媒体联机演示、网络教学等各种先 进的教学手段，使课堂教学生动活泼、引人入胜，提高教学效果和效率。为了 让学生
18、感受到计算机技术发展的日新月异，增强学习的动力和紧迫感，可通过 视频等方式向学生展示前辈们的光辉成就。在前辈们的业绩感召下激发学生的 爱国主义情怀，形成为祖国科技发展努力学习的使命感。3、构建学习资源平台 教师可将该课程的教学大纲、教案、习题、实验指导、参考资料、教学录像等 内容全部放置在网上，并向学生免费开放，通过网络化的教学方式（网络课 件、网上答疑、网上提交作业、视频点播），学生可以在课外自主学习，以强 化、巩固和拓展教学内容。（二）教材编写建议教材编写应学习贯彻党的十九大精神，以“课程思政”改革为载体推进 教材建设。具体方法如下：1、依托“课程思政”教学体系改革，教材应体现课 程的“思
19、政内涵”。将习近平新时代中国特色社会主义思想有效融入教案讲 义、教学过程、学科和大数据专业建设，使思想政治教育有机融入全课程全过 程，让课程在进行专业传授的同时发挥育人功能。2、依托“课程思政”慕课教 学模式改革，教材应注重学生实践创新能力培养。摒弃传统的知识灌输和强化 训练，将枯燥的编程知识点化解为相应的问题进行启发式、研讨式等教学，注 重对学生创造精神和实践能力的培养。3、加强与企业之间的合作与联系。体现 职业教育特点和现代意识，推动优秀教师与企业专家联合教学与编写教材，及 时更新大数据专业的教材知识体系和结构，建设能体现习近平新时代中国特色 社会主义思想、能培养学生实践创新能力、能适应慕
20、课等教学模式的新型教 材。（三）实验实训设备配置建议L培养学生工匠精神。本课程要求在理论实践一体化教室（多媒体教室）完成， 以实现“教、学、做”结合，让学生在实践中对编程细节精雕细琢、不断完善。理论实践 一体化教室还要求安装多媒体教学软件，方便下发教学任务并跟进学生课堂实践任务情 况，以引导学生不断完善代码设计、提高编程思维，培养同学们用精益求精的工匠精神来 对待实训项目。2.提倡绿色环保意识。党的十九大明确提出，必须坚持生态文明建设。在 每日最后一次实训课结束后，提醒学生及时关机、关屏幕以及其他电源设备，并将其纳入 实训室行为规范中。提高学生的节约意识和环保意识，同时为学院节约耗材费用。（四
21、）课程资源开发与利用建议教师可以利用超星泛雅课程资源平台，开发Python网络爬虫技术课程的共享 资源，向学生提供优质学习资源。除了理论知识，也将思政元素穿插在专业学习中，从 “历史文化、科技发展、法治观念、政治经济、网络安全” 5个方面着手，进行案例的选 择和素材的筛选，传播爱党、爱国、积极向上的正能量，培养科学精神、工匠精神等。参 考教材：Python网络爬虫开发实战崔庆才人民邮电出版社出版。（五）教师要求1、必须具备双师素质，有一定的开发经验，对代码规范性有较好的理解；2、在 教学组织能力方面，本课程的主讲教师具备基本的设计能力，即根据本课程标准制订详细 的课程授课计划，对每一堂课的教学
22、过程精心设计，做出详细、具体的安排；3、具备较强 的施教能力，即掌握扎实的教学基本功并能够因材施教，在教学过程中还应具备一定的课 堂控制能力和应变能力；4、在思政素养上面，加强与思政教师的合作交流与研讨。根据教 育部发布普通高等学校本科专业类教学质量国家标准，修订和完善人才培养方案，优化 课程设置，加强专业教师与思政教师的合作交流，更新教学内容，时刻把握“课程思政” 教阜内容和课程体系的改革方向。（六）教学管理教学管理是在主管院长的领导下，实行学院、系部两级负责，学院是教 学管理的主体力量，主要通过以下形式进行：1、建立教学管理组织协调系统， 专业教研室配合教务处、系部对日常课堂教学及教学建设工作进行管理和监 控，及时解决教学中出现的问题。2、学院、系部两级督学系统，聘请有丰富教