《大数据开发工程师岗位的主要职责概述八篇.docx》由会员分享，可在线阅读，更多相关《大数据开发工程师岗位的主要职责概述八篇.docx（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、大数据开发工程师岗位的主要职责概述推荐文章客服工作职责是什么 热度： 护士的职责和使命 热度： 销售工作职责有哪些 热度： 行政岗位职责和工作内容 热度： 客服岗位职责描述 热度：大数据开发工程师负责大数据平台的技术和产品的设计、开发、优化和维护。下面是小编为大家带来的大数据开发工程师岗位的主要职责概述八篇，希望大家能够喜欢!大数据开发工程师岗位的主要职责 1职责：1、 规划及建设大数据平台;2、 负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;4、 参与项目的系统设计和核心代码开发，指导和培训其他工程师;5、 整
2、理和提交技术文档，负责核心功能模块的代码编写和测试工作。岗位要求：1、 计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术， 3 年以上大数据开发相关经验;2、具有非常扎实的 Java 基础，熟悉 Shell、Python、R、Scala 等一种以上语言;3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;4、精通 MapReduce 设计方法或 Spark 计算框架、对 NoSQL， Hadoop、Hbase、Spark、Hive 等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂
3、问题;5、熟悉大数据处理相关技术，包括但不限于 Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis 等;6、研读过 Hadoop、Hbase、Hive 源代码者，能够在特定业务中进行定制改造者优先;7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。大数据开发工程师岗位的主要职责 2职责：1、参与大数据架构的规划设计，参与业务建模及数据化运营平台的搭建、运维，对业务流程与大数据的结合提出建议和解决方案;2、完成基于大数据平台的业务项目的开发、实施和维护工作;3、负责解决大数据平台建设过程中的技术难点和性能调优
4、工作;4、参与数据仓库设计，根据业务需求实现高效率高灵活性的查询， 数据分析，数据挖掘;5、负责高吞吐高可用数据实时和离线采集，高并发的大数据业务架构设计6、负责研发技术发展方向，新技术领域的探索，引入并验证数据平台领域新技术，提供系统效能7、对大数据技术及开源框架充满热情，具有钻研精神，能自我学习。任职资格：1、具有 5 年 Java 开发经验，熟悉 Spring 生态，掌握 Hibernate、Mybatis 任意一种 ORM 框架，掌握 Oracle、Mysql 数据库。2、具有 2 年以上的大数据开发经验，熟悉大数据、数据仓库，分布式架构技术理论，具有大数据整体系统架构设计和实战经验，
5、熟悉CDH、HDP、TDH 至少一款大数据产品，有从无到有建设大数据平台经验者优先;3、熟悉大数据组件的开发、搭建、维护以及性能优化;4 、 较 强 的 开 发 能 力 ， 必 须 熟 练 使 用 相 关 开 发 语 言(Java/Python/Scala/Shell 等) ， 熟悉大数据生态、关系数据库和NOSQL 数据库、Linux 等相关知识，能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;5 、 熟悉 Hadoop 、 Hbase 、 Hdfs 、 MapReduce 、 Yarn 、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flum
6、e、Kylin、Phoenix 等组件或技术，能阅读源码跟踪问题。6、熟练掌握 Spark、flink 任意一种计算框架，掌握 MapReduce 计算框架原理，并有实际项目开发经验。7、熟练掌握 HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell 等技术和组件，熟练应用开发，必须熟悉复杂数据查询性能调优， 包括实时查询和离线批处理查询，服务器和生态组件的参数优化。8、精通高级算法并有与业务结合落地优先;9、扎实的独立分析问题、解决问题的能力，具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力，善于从复杂的数据问题中找到关键路径，并且擅于跟
7、业务团队就业务问 题进行良好的沟通，能推动业务的指标化、量化;10、有较好的学习能力、团队协作精神，认真细心，有强烈的责任心，爱岗敬业，有较高抗压能力，有较好的工作稳定性。大数据开发工程师岗位的主要职责 3职责：1、参与大规模数据快速查询系统的架构设计和开发;2、大规模数据挖掘和机器学习算法的实现;3、在线和离线海量数据分析平台的开发;4、研究大数据前沿技术，提升系统的运维效率;5、实现大数据基础架构平台的自动化运维。【任职要求】：1 、计算机相关专业, 具有 3 年以上大数据开发经验， 熟悉Java,Linux;2、熟悉 Hadoop 大数据处理系统的开发,搭建及部署者优先3、熟练地处理数据
8、模型、数据 ETL 以及存储管理;4 、熟悉 HDFS/Hive/MapReduce/Kylin/HBase， 能独自进行Mapreduce 程序开发者优先;5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。大数据开发工程师岗位的主要职责 4职责：1、 负责大数据平台架构的整体设计，承担数据抽取、清洗、转化等数据处理程序开发;2、 为业务运营提供技术支持，完成应用系统的搭建、优化、升级工作，保证平台稳定运行;3、 编写系统的需求分析、设计、开发和部署文档等。岗位要求：1、硕士及以上学历，计算机、自动化、通信等相
9、关专业;2、熟练掌握 Java 语言，并熟悉Python 语言，熟悉分布式系统架构，有 hadoop，spark 系统架构经验;3、熟悉实时计算框架 storm，flink，spark streaming 其中之一; 4、熟练使用 SQL，熟悉数据库原理，熟练使用至少一种主流关系型数据库;5、熟悉软件开发流程，能够根据需求编写需求、设计、开发手册等项目过程文档;6、具有良好的沟通能力和主动性，抗压能力强。大数据开发工程师岗位的主要职责 5职责：1. 对数据进行结构化、标准化处理，对处理流程进行自动化搭建2. 通过 ETL/Cube 数据建模，构建基于数据仓库的分析工具;3. 参与数据与公司软件
10、产品及第三软件的 API 对接;4. 搭建与优化，数据采集、处理、可视化流程中所需的框架与模块开发;5. 协同内外部力量完成需求的表达与技术攻关。任职要求：1. 熟悉数据库的设计和开发如：Oracle/Mysql/MSSQL/Redis 等， 有处理大量数据经验的优先;3. 熟练使用 ETL 工具进行数据抽取，清洗，转换，关联等操作;4. 熟练使用 Linux 操作系统,具备编写 shell 的能力;5. 熟练使用主流的开发框架，掌握以下语言：Java、Python;了解过源码的优先;6. 具有 2 年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验;7. 了解可视化及
11、 BI 工具者优先;大数据开发工程师岗位的主要职责 6职责：1、负责该领域的业务需求讨论，完成技术方案及数据开发;2、负责数据仓库的体系建设及落地实现;3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;4、负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。招聘要求：1、计算机、电子通信、自动化等专业，本科及以上学历;2、五年以上研发经验，其中二年以上大数据开发的相关工作经验;3、熟练 JAVA 开发语言;熟悉微服务及 Spring 框架;4、熟练熟练 Hive、Impala、ES 性能调优，关注细节，学习能力强;5、能配合团队完成该领域的工作，自我管
12、理能力强，能承受工作中的各种压力，具备很好的团队意识6、熟练主流大数据平台产品部署及运维，如CDH、HDP 平台。7、对机器学习和深度学习等方面有一定的了解;8、有汽车制造业及相关行业的大数据开发经验优先。大数据开发工程师岗位的主要职责 7职责：1、负责数据中心和大数据处理平台的搭建2、在线和离线海量数据分析平台的开发;3、研究大数据前沿技术，提升系统的运维效率;4、参与大数据的采集、存储、处理，分析等开发5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现【任职要求】：1、计算机或相关专业本科学历及以上，2 年工作经验以上2、熟悉Java/Scala 等至少一门语
13、言，能对分布式常用技术进行合理应用，解决实际架构问题3、熟练使用 hadoop，hive，HBase，YARN，kafka，spark， Storm,Flume 等大数据开发组件4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发;5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。7. 有 BI 开发经验的优化考虑。大数据开发工程师岗位的主要职责 8职责：1. 结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;2. 思路清晰，可快速响应数据处理的需求，评估并给
14、出合理的解决方案，并采用合理的方式处理需求;3. 积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接;4. 完成上级交办的工作或任务。岗位要求1.计算机相关专业大专以上学历;2.2 年以上大数据产品或项目开发经验，精通 Hadoop 生态圈， 熟练使用 Spark，HBase、Hive、Kafka、Redis 等;3. 精通 SQL，熟练使用 HSQL 实现复杂数据处理逻辑，并具备数据处理调优的能力;4. 熟悉 Linux 开发环境，熟悉 Linux 的 shell 命令。5. 具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力;6. 良好的团队精神和合作意识，强烈的责任心，对工作有激情， 良好的沟通能力，能吃苦耐劳;7. 有大数据项目或产品背景者优先;8. 有使用 Spark SQL 进行数据处理，并具有 Spark SQL 优化经验者优先。9. 有 Python 或者 Shell 脚本开发经验优先