《数据研发工程师岗位职责16篇.docx》由会员分享,可在线阅读,更多相关《数据研发工程师岗位职责16篇.docx(16页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数据研发工程师岗位职责16篇【第1篇】广告业务数据研发工程师职位描述与岗位职责任职要求 职位描述: 工作职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维 3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型 任职要求: 1、熟悉hadoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验 2、有web服务开发经验,具备独立完成模块开发能力,具备大规模分布式服务设计能力和经验
2、3、理解基本的设计模式,能将业务需求快速理解成技术需求 4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力 【第2篇】数据研发高级工程师岗位职责 大数据研发高级工程师 lenovo 联想(北京)有限公司,lenovo,thinkworld俱乐部,中国数字医疗网,乐安全,联想,联想服务,联想集团,联想 岗位职责: 1、基于海量数据进行数据挖掘、数据分析; 2、根据实际场景进行业务逻辑开发,优化离线/实时大数据计算任务的性能; 任
3、职要求: 1.计算机、通信、信息安全或相关专业本科及以上学历; 2.精通java语言开发,熟悉spring,spring mvc,mybatis等流行开源框架; 3.熟悉常用大数据开源组件,对hadoop/hive/spark/hbase中的一项或多项有深入研究,至少1个以上大型成熟项目的经验,2年以上的大数据产品开发经验; 4.熟练使用linux和mysql,具有数据库设计及优化能力; 5.清晰的逻辑分析和表达能力,热爱技术,乐于分享,对行业和技术的发展有自己的见解; 【第3篇】高级/资深大数据研发工程师职位描述与岗位职责任职要求 职位描述: 工作职责: 1、负责字节跳动用户行为的理解和建模
4、,帮助公司各项业务满足用户需求,提升用户覆盖; 2、负责在数据建设层面,对用户隐私进行脱敏处理,保证后续数据研发过程中保护用户隐私; 3、探索、挖掘公司各项指标、用户满意度、用户增长上的各项规律,并利用这些规律帮助产品提升和扩展,增加用户满意度,扩展用户群体。 任职要求: 1、本科及以上学历,计算机、统计学、数学等相关专业; 2、强的编程和数据工具运用能力,有hadoop,hive,spark,kafka,elasticsearch或者其他的大数据工具的使用经验; 3、对数据仓库、数据建模有一定认知;有过数据使用相关经验。 【第4篇】高级实时大数据研发工程师/数据技术专家职位描述与岗位职责任职
5、要求 职位描述: 职责描述: 基于flink开源大数据计算平台,在集团整体业务场景下, 1. 研发实时流计算数据研发平台,支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务; 2. 研发实时olap(elasticsearch,druid)赋能业务 3. 研发实时智能化(算法加工程)赋能业务 任职要求: 1.具备扎实的计算机理论基础, 对数据结构及算法有较强的功底 2.精通java语言编程,具备优秀的系统debug/profiling能力和经验 3. 熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力 4.熟悉hadoop/hbase/flink/spark stream
6、ing等开源大数据技术,在开源社区活跃者优先 5.熟悉elasticsearch/druid 等olap开源技术优先 6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力 7. 具备实时流计算数据开发经验、全栈开发经验优先 【第5篇】大数据研发工程师-平台服务方向职位描述与岗位职责任职要求 职位描述: 工作职责: 1、针对字节跳动全局性数据分析要求,打造行业领先的数据平台,对全球用户数据,打造高效稳定的batch和rt数据流; 2、利用大数据工具,打造计算,传输,分析,监控平台;满足字节跳动全球用户产品的指标计算,多维分析等需求; 3、构建高效稳定的数据服务,支撑字节跳动全球各重要业务
7、的用户增长。 任职要求: 1、计算机、数学相关专业本科及以上学历,一年以上大数据开发工作经验,数据挖掘和bi分析领域优先; 2、熟悉多项大数据领域的开源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid等; 3、强悍的编码和学习能力;善于发现问题,积极探索原因。 【第6篇】地图数据研发工程师岗位职责 csig16-地图数据web前端研发工程师 腾讯 腾讯科技(深圳)有限公司,tencent,腾讯,腾讯开放平台,腾讯深圳,腾讯 工作职责: 1. 负责腾讯lbs
8、数据web相关产品的技术架构设计与功能实现 2. 致力于为用户提供最专业的位置服务与出行服务 任职要求: 计算机或相关专业本科以上学历,3年以上web前端开发工作经验 熟练掌握(精通更好)html5/es6/css3等web开发技能,对vue,webpack等技术非常熟悉; 具有node开发经验(经验丰富的加分) 对web性能有较深的见解和相关处理方案; 对web标准有良好认识,能够高保真还原设计稿,兼容各种浏览器; 具有良好的编程思想和编码习惯; 具有很强的学习能力和技术敏感度,有强烈的责任心和进取心,乐于学习和技术分享,抗压能力强。 【第7篇】空间大数据研发工程师职位描述与岗位职责任职要求
9、 职位描述: 岗位职责: 1、研究空间大数据前沿技术,参与空间大数据分析平台的设计和开发; 2、与算法工程师对接,参与空间大数据分析算法的代码实现; 3、其它相关的gis开发工作; 任职资格: 1、计算机、地理信息等相关专业背景,本科及以上学历; 2、对空间数据结构有深刻理解,熟悉空间数据库引擎; 3、扎实的编程基础,能够熟练运用java/scala语言; 4、熟悉大数据管理系统和分布式计算框架,如:hbase、cassandra、mongodb、spark/flink等; 5、熟悉gis领域主流的分布式数据存储方案,有geomesa、geowave、geotrellis、geoserver、
10、geotools、arcgis soe使用经验者优先; 6、具备较强的学习创新能力,能够通过快速学习解决实际问题; 【第8篇】资深数据研发工程师-(python/java)职位描述与岗位职责任职要求 职位描述: 岗位职责: 1.参与建设投融资数据体系,持续集成相关工具产品,以及搭建大数据业务统一计算层等相关工作; 2.参与公司数据仓库的架构设计和研发,挖掘数据价值, 实现高质量数据的互通与共享; 3.助力数据化运营业务,构建丰富多样的bi应用; 4.对数据采集、数据融合、数据质量、数据应用链路有深入理解,并能协助业务数据集市建设,搭建业务领域模型。 任职要求: 1.数学、计算机、统计学等相关专
11、业本科以上学历,5年以上相关工作经历; 2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验; 3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hdfs、mapreduce、hive、hbase; 4.有实时etl研发经验,对分布式实时大数据处理系统有深入理解,包括但不限于spark streaming、flink、storm.; 5.熟悉数据仓库领域知识和技能者优先,对数据质量管理有独到的见解; 6.业务sense,能够通过梳理设计业务模型发现业务问题,并驱动业务目标实现; 7.有neo4j,word2vec经验优
12、先。 【第9篇】ai 数据研发工程师 - 语音 & 对话方向职位描述与岗位职责任职要求 职位描述: 工作职责: 1、设计构建智能语音对话数据体系,打造一体化多媒体数据存储、索引、处理能力 2、打造 pb 级数据处理引擎,应对日均 tb 级数据增长 3、你有机会为字节跳动全系产品(头条、抖音、火山、西瓜等)提供 ai 数据处理及索引技术,用数据技术影响数亿国内国际用户 任职要求: 1、拥有计算机及相关专业本科以上学历,两年以上 c+/java/go/python 项目开发经验 2、精通数据结构和算法设计,熟悉系统性能调优的方式,熟悉 linux 开发环境 3、玩转 spark/storm/hiv
13、e 等大数据工具,熟知 mysql/redis/mongodb 等常用数据库,不再满足于常规文本处理,渴望挑战大规模多媒体数据处理任务 4、在 acm/noi/ioi/topcoder 中打遍天下无敌手,在算法领域追求极致,渴望挑战更深更广更带感的技术算法问题 【第10篇】大数据研发工程师职位描述与岗位职责任职要求 职位描述: 工作职责: 1、打造业界领先的通用数据平台,包括实时数据流、数据仓库、调度系统、查询引擎,用户行为分析,abtest 实验系统等,降低数据的使用门槛,实现数据的最大价值 2、打造业界领先的存储、计算等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施 任职要求:
14、1、熟悉多项大数据领域的开源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid, etc. 2、强悍的编码和 troubleshooting 能力 3、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情 【第11篇】数据研发工程师-新业务职位描述与岗位职责任职要求 职位描述: 工作职责: 1. 负责业务相关的数据平台建设; 2. 包括数据pipeline建设、数据仓库建设、运营系统建设等; 3. 通过海量数据,分析用户行为,进行特征挖掘建设。 任职要求:
15、1. 工作经验1-3年,学历本科及以上; 2. 有扎实的编程能力,有优秀的代码品位,对解决具有挑战性问题充满激情; 3. 编程语言不限,有python经验更佳,熟悉常用算法和数据结构; 4. 熟悉常用的开源组件:hadoop/hive/kafka/flink/spark等,并了解其特性和使用场景优先; 5. 优秀的沟通理解能力,能快速理解业务,用数据解读业务。 【第12篇】数据研发工程师-广告数据平台职位描述与岗位职责任职要求 职位描述: 工作职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维 3、
16、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型 任职要求: 1、计算机相关专业本科以上学历,熟悉hadoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验 2、熟悉java,python等多种编程技术,编程能力强,有web服务开发经验,具备独立完成模块开发能力 3、理解基本的设计模式,能将业务需求快速理解成技术需求 4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能
17、力 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力 额外加分项:: github等开源社区贡献者 具备大规模分布式服务设计能力和经验 【第13篇】大数据研发工程师-广告系统数据平台职位描述与岗位职责任职要求 职位描述: 工作职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护; 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维; 3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求; 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型。 任职要求: 1、计算机相关专业本科及以上学历,熟悉h
18、adoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验; 2、熟悉java,python等多种编程技术,编程能力强,有web服务开发经验,具备独立完成模块开发能力; 3、理解基本的设计模式,能将业务需求快速理解成技术需求; 4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先; 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力; 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。 额外加分项:: github等开源社区贡献者; 具备大规模分布式服务设计能力和经验。 【第14篇】实时大数据研发工程师
19、/数据技术专家(p6-p8)职位描述与岗位职责任职要求 职位描述: 职责描述: 基于flink开源大数据计算平台,在阿里集团整体业务场景下, 1. 研发实时流计算数据研发平台,支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务; 2. 研发实时olap(elasticsearch,druid)赋能业务 3. 研发实时智能化(算法加工程)赋能业务 任职要求: 1.具备扎实的计算机理论基础, 对数据结构及算法有较强的功底 2.精通java语言编程,具备优秀的系统debug/profiling能力和经验 3. 熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力 4.熟悉hado
20、op/hbase/flink/spark streaming等开源大数据技术,在开源社区活跃者优先 5.熟悉elasticsearch/druid 等olap开源技术优先 6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力 7. 具备实时流计算数据开发经验、全栈开发经验优先 【第15篇】品牌广告大数据研发工程师-核心广告系统职位描述与岗位职责任职要求 职位描述: 工作职责: 1、负责品牌广告业务平台及其相关系统的研发 2、负责现有系统的问题分析和改进,提高系统性能,保证系统稳定性 3、持续改进系统架构、核心算法或者核心技术等,保证系统高性能、高可用性和高可扩展性 4、新技术预研,完成
21、项目的选型和设计,难点公关 任职要求: 1、本科及以上学历,一年以上大数据系统开发经验 2、熟悉python语言, 熟练使用linux 3、对常用的redis、kafka等工具系统有一定的了解 4、有大数据集、分布式计算工具(hadoop,spark,hive,storm, es)等应用开发经验优先 5、有良好的团队合作精神,较强的沟通能力 6、愿意深入了解业务知识,并能敏锐的发现业务痛点 7、有品牌广告系统、dmp、舆情、指数平台方向开发经验者优先 【第16篇】大数据研发工程师-抖音/火山职位描述与岗位职责任职要求 职位描述: 工作职责: 1、负责抖音/火山等多个业务线的策略算法建设与优化工
22、作; 2、通过海量数据,分析与挖掘各种潜在关联,不断优化策略效果,保障用户体验; 4、负责实时及离线特征抽取、融合,为数据挖掘及策略平台提供特征服务; 5、负责大数据能力在产品功能上的落地,推动产品数据化和智能化。 任职要求: 1、计算机等相关专业,硕士或以上学历,3年以上大数据、人工智能相关经验; 2、熟悉hive/hadoop/spark/flink/clickhouse/druid等大数据开发技术; 3、有良好的业务和产品sense,执行力、推动力强优先; 4、有丰富的行业经验,丰富的专业知识,独特的行业见解,有战略视野和规划能力优先; 5、优秀的理解沟通能力,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值优先。16