大数据开发工程师的主要职责（精选22篇）

大数据开发工程师的主要职责 篇1

职责:

1. 负责机票酒店大数据项目的评估、设计及关键模块研发;

2. 参与公司大数据平台及联机分析系统的建设;

3. 机器学习算法讨论、评估及算法的最终编码实现;

4. 数据平台开发规范制定，数据建模及核心框架研发;

任职要求:

1. 本科及以上学历，计算机或数学相关专业，三年以上相关工作经验;

2. 掌握Java、Python、Scala等 中的一到两种语言;

3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优;

4. 熟悉数据相关开源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;

5. 对数据结构和机器学习算法有一定的了解;

6. 具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;

7. 有机票酒店等旅游行业数据开发经验者优先。

大数据开发工程师的主要职责 篇2

职责：

1、 负责基于Hadoop/Spark平台架构的开发、设计和布局 ;

2、 完成系统框架的设计和核心代码的编写;

3、 针对海量的用户行为数据进行统计、分析与挖掘，不断提高系统运行效率;

4、 负责对数据进行分析，为项目组提供大数据技术指导及分析手段支撑;

5、 负责大数据平台的性能监控和持续优化;针对需求提供大数据分析技术解决方案 ;

6、 大数据平台的运维工作，持续完善大数据平台，保证稳定性、安全性;

7、 熟练使用大数据ETL数据抽取工具;

8、领导安排的其他工作。

任职资格：

1、 3年互联网行业开发经验，计算机或相关专业本科以上学历;

2、 精通Hadoop大数据平台架构，具有扎实的Java/Python等开发语言;并可以开发高效可靠的代码;

3、 具有较强的数据分析、数据挖掘的能力;

4、 熟悉spark、Hive、storm等计算框架者优先，对分布式存储和计算原理有较深的理解;

5、 严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能;

6、 个性开朗，对技术钻研好学、逻辑思维能力强，沟通能力优秀，有团队合作精神。

大数据开发工程师的主要职责 篇3

职责：

1、负责公司大数据平台建设;

2、根据业务需求，制定数据仓库和数据分析平台的实施和持续更新;

3、攻克技术难关，保证大数据系统的稳定运行;

4、完成大数据产品的开发。

职位要求：

1、计算机相关专业全日制专科及以上学历，大数据相关经验;

2、熟悉Java或Scala语言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大数据相关技术;

3、精通SQL语句并对Redis，Mongodb等NoSQL数据库有一定经验;

4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

5、责任心强，工作踏实，有团队协作精神，沟通能力强者优先。

大数据开发工程师的主要职责 篇4

职责：

1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

2、负责大数据体系架构设计和应用产品的研究;

3、负责大数据平台及应用场景的构建、部署、测试;

4、编写软件研发相关技术文档;

5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;

6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;

7、kudu，kylin等技术调研，编写软件研发相关技术文档;

8、SUNMI数仓设计架构以及ETL流程开发;

9、建立多维度，多体系的用户标签体系以及用户行为数据库。

岗位要求 ：

1、本科以上学历，4年以上?工作经验，2年以上Hadoop平台的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序编写、测试能力;

2、熟悉J2EE或Python平台开发，有良好的Java或Python语言功底;

3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中一种);

4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等系统研发经验者优先，具备分布式系统研发经验者优先;

5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技

术，懂hadoop源码者优先;

6、熟悉Kylin有OLAP平台设计和开发经验优先;

7、具有应用大数据技术处理TB级以上数据的项目开发经验者优先;

8、有较清晰的代码编写规范，逻辑性强，工作态度认真，良好沟通能力和团队合作精神。

大数据开发工程师的主要职责 篇5

职责：

1.负责公司环保大数据平台的架构与搭建;

2.负责需求分析，根据客户应用需求规划大数据平台架构;

3.负责将大数据平台部署至私有服务器群、私有云或公有云;

4.负责在企业内部进行数据平台原型开发与数据实时交互、存储性能测试;

5.负责与数据挖掘算法交互的架构设计与开发。

任职要求：

1.计算机相关专业，全日制本科以上学历;

2.具有3年以上大数据相关应用开发经验，有Java开发经验更佳;

3.至少熟悉一种流行的大数据编程框架，如Spark，Storm，Flink等;

4.熟悉大数据生态圈常用技术如RocketMQ，Kafka，Flume，Zookeeper等;

5.熟悉Hadoop安装、调试、发布配置应用，熟悉Linux操作系统更佳;

6.至少熟悉TIDB，MySQL，SQLServer其中一种数据库;

7.学习能力强，对技术有热情，关注技术发展方向;

8.具有工业物联网、智慧型环保项目背景者优先。

大数据开发工程师的主要职责 篇6

职责：

1、负责公司核心系统日常运维以及公共组件的设计、开发和维护;

2、负责开发、完善运维内部系统及辅助系统，提升运维质量及效率;

3、与开发团队合作，收集与理解需求，提供解决方案，改善DevOps流程;

4、负责公司业务系统的部署架构优化、业务监控、持续交付、应急响应、容量规划等。

【工作要求】

1、计算机相关专业，本科及以上学历;

2、熟悉Kubernetes, Docker, RabbitMQ, Zookeeper, Mysql, PostgreSql, Git, Elasticsearch等开源组件的架构及实现;

3、熟练掌握PHP、Python、Go、Shell语言中任意一种;

4、熟悉典型互联网架构、微服务维护实践，和常见的分布式系统架构;

5、熟悉 Linux 操作系统原理、TCP/IP、网络编程以及常用RPC协议;

大数据开发工程师的主要职责 篇7

职责：

1、具有项目质量管理意识，在项目中主动贯彻执行质量管理规定，熟练使用Git/Junit/Arquillian/Maven(或者其他)进行测试 代码的编写和版本控制，把控项目整体进度，管理JAVA小组日常工作协调。

2、参与系统详细设计与实现、完整主体功能及相关文档的编写;

3、负责核心业务的restful、web service等接口的开发，解决开发过程中遇到的技术问题，完成相应的业务功能文档、接口使用文档并及时更新;

4、维护和部署程序到运行环境;

5、参与项目的数据库设计实现，对数据库整体架构提出建议;

6、负责对应用程序进行审查，监控和优化系统的性能。

7、完成公司上级领导安排的其它工作内容。

职位要求：

1、3年以上JAVA互联网项目管理工作经验，抗压能力强。

2、了解分布式系统的设计和架构，了解负载均衡策略实现;

2、精通Java语言开发，JAVA基础扎实，精通io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制，熟练各种常用开源框架及搭建;(有分布式事务处理相关工作经验者优先)

3、精通sql语句熟悉mysql以及 mysql 集群;熟悉Linux下的常用命令;

4、有maven、cas、dubbo、restful相关工作经验者优先考虑;

大数据开发工程师的主要职责 篇8

职责：

1、利用HTML5相关技术实现移动WEB端功能研发，实现逻辑功能和体验优化;

2、根据需求，参与底层通信、数据加载、基础流程框架、UI组件的开发;

3、依据服务端制定的通信、数据和文件结构等技术开发对应模块;

4、完成程序性能的优化。

任职要求：

1、计算机、软件等相关专业，2年或以上HTML5开发经验，有百度、谷歌等引擎开发使用经验;

2、熟悉Javascript、HTML/HTML5/XML、CSS3、Ajax、JQuery、VUE 等;

3、有良好的逻辑思维，积极主动，有强烈的责任心;

4、有互联网金融开发经验优先;

5、具备较好的沟通表达能力和团队合作意识。

大数据开发工程师的主要职责 篇9

1、负责数据仓库和大数据处理模块的架构设计和开发;

2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;

3、负责Spark技术研究和通用数据平台的性能调优;

4、负责大数据项目中，基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。

5、熟悉Scala/Java语言，对Scala/Java原理、底层技术有深入研究者优先;

6、有过海量数据系统开发经验者优先;

7、熟悉Hadoop/Spark生态系统组件的使用，至少有2年以上的Spark开发经验;

8、写过推荐系统的优先考虑

大数据开发工程师的主要职责 篇10

职责：

1、项目中数据库系统的架构设计、开发、优化、安全;

2、根据项目需求设计数据库表与数据库结构。

3、数据库性能优化：表、字段、字节规范设计，分库分表，数据迁移;

4、数据库规范化文档编写及管理;

5、服务端的搭建，数据库存储和读取数据接口的编写。

任职要求：

1、本科以上学历，计算机或数学相关专业，有扎实的数据库基础知识;

2、两年以上数据库开发经验、熟练使用MySQL、SQLServer、Oracle等关系型数据库;

3、 熟悉LINUX、UNIX操作系统，熟悉java、C#或其他开发语言;

4、精通数据库基本理论及概念;

5、有大数据开发经验优先考虑;

6、能承受工作压力、有良好的团队合作精神。

大数据开发工程师的主要职责 篇11

职责：

1、协助产品线负责人搭建数据库，及数据分析、数据库管理;

2、协助负责后台系统需求分析和任务模块开发;

3、协助客户端接口开发测试;

4、接口文档，技术文档以及测试用例文档的编写。

任职资格：

1、23-28周岁，本科及以上学历，计算机相关专业;

2、3年或以上同岗位相关工作经验，有数据中心，数据仓库建设经验;

3、3年或以上J2EE开发经验,有扎实的java基础;

4、熟悉关系型数据库(DB2、ORACLE、MYSQL、SQl Server)，了解NoSQL、缓存技术;

5、熟练掌握Spring、SpringMVC、iBatis等开源框架，熟练运用设计模式;

6、对技术有热情，执行力责任心强且在医疗行业同岗位的优先。

大数据开发工程师的主要职责 篇12

职责：

1、负责PC网站、移动端网站后台开发;

2、参与相关页面的Web前后台架构设计、核心代码的编写;

3、协助测试和发布系统，准备相关的技术文档，协助解决各种技术问题;

4、进行详细设计、代码开发,配合测试,高质量完成项目;

5、按照项目计划，按时提交高质量代码，完成开发任务。

任职资格：

1.大专以上学历。参与公司PHP相关产品或项目需求的分析、架构设计与实现。

2.有3年以上PHP实际开发经验，扎实的php开发功底。

3.精通PHP，至少熟悉Yii，YAF、CI、Thinkphp，Laravel其中一个主流开发框架，深入理解MVC与OOP。

4.精通MySQL数据库，熟练掌握MySQL性能优化、语句优化 、主从复制、读写分离、防SQL注入等技术，具备PHP缓存技术、静态化设计方面的经验。

5.熟练使用Nosql、例如Redis、MongoDB、等非关系型数据库。

6.熟悉Linux环境下的项目开发和部署，熟悉Shell脚本编程。

7.熟练掌握Jquery、HTML、XML、Javascript、AJAX等技术。

8.熟练使用SVN、Git等常见版本控制工具。

9.有项目规划能力者、有办公系统(OA)、信息管理系统、CRM系统等大型软件应用系统方面开发经验者优先。

10.有已经上线的项目;熟悉微信开发者优先，有服务化架构开发经验者优先，在github有开源项目维护者优先。

大数据开发工程师的主要职责 篇13

职责：

1、负责数据中心和大数据处理平台的搭建

2、在线和离线海量数据分析平台的开发;

3、研究大数据前沿技术，提升系统的运维效率;

4、参与大数据的采集、存储、处理，分析等开发

5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现

【任职要求】：

1、计算机或相关专业本科学历及以上，2年工作经验以上

2、熟悉Java/Scala等至少一门语言，能对分布式常用技术进行合理应用，解决实际架构问题

3、熟练使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大数据开发组件

4、熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储、分析和可视化及报表开发;

5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

6. 具有优秀的学习能力、独立分析和解决问题能力，良好的团队合作精神。

7. 有BI开发经验的优化考虑。

大数据开发工程师的主要职责 篇14

职责：

1、负责开放平台应用系统/模块的程序编码及单元测试;

2、配合系统整合测试、用户验收测试等测试过程;

3、协助进行需求分析文档的整理、协助进行产品归档管理等。

任职要求：

1、大学本科及以上学历(统招、学信网可查)，计算机或相关专业，4年及以上java开发经验，有银行项目经验优先;

2、精通Java语法，熟悉J2EE架构，并能熟悉使用开发框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);

3、了解html、xml、css，了解Javascript, Ajax，webservice技术;

4、熟悉运用各种IDE开发工具(eclipse / Jbuilder，dream weaver);

5、了解应用服务器的发布与配置(Websphere，Tomcat)

6、对数据库基础知识及相关数据库产品有一定的了解(db2，oracle)，能熟练使用SQL语法;

7、熟悉UNIX/LIUNX常用命令;

8、具有良好的沟通能力与团队合作精神。

大数据开发工程师的主要职责 篇15

职责：

1、 负责参与系统框架的设计和不断优化，参与系统设计;

2、 根据用户的需求,分析并给出最优的技术解决方案;

3、 根据开发规范与流程独立完成模块的设计、编码以及相关文档;

4、具有独立分析和解决问题的能力。

任职要求：

1、全日制本科学历，计算机相关专业。

2、有1年及以上J2EE开发经验，充分掌握面向对象编程思想并有较好的设计模式基础，熟悉常用算法和数据结构;

2、熟悉Spring、Hiberate、jQuery等开发框架、了解其原理和实现机制;

3、熟悉MYSQL等关系型数据库，掌握PL/SQL、存储过程、触发器、视图的编写;

4、熟悉Apache，Tomcat等主流Web应用服务器;

5、精通HTML+CSS+JS编程，熟悉HTTP 协议以及浏览器原理;

6、熟悉主流前端框架，包括但不限于Bootstrap、Vue、Anglajs等;

7、有WebGIS开发经验者优先;

8、具有大型网站开发经验者优先。

大数据开发工程师的主要职责 篇16

1，协助开发RFID 应用系统;包含RFID标签和RFID设备的配合设计;

2，根据国外客户的要求，开发新的应用软件;整理和协调客户的需求，提出RFID针对不同客户需要的方案

3，对行业机构提出的应用技术需求做调研和开发，做产品技术储备

大数据开发工程师的主要职责 篇17

职责：

1、负责公司产品前端页面的开发;

2、负责相关HTML5游戏的开发工作;

3、维护现有HTML5程序，处理用户反馈的问题;

4、根据美工设计图开发前端代码，解决浏览器及终端平台的各种兼容性问题;

职位要求：

1、计算机相关专业，大专以上学历，有1年以上的相关工作经验;

2、熟练掌握html5、css3、JavaScript、Ajax、jQuery等Web开发技术;

3、熟练掌握常用JS框架的使用，如Bootstrap、Vue、CreateJS、白鹭Egret、LayUI等;

4、熟悉页面性能的优化，熟悉开发调试、版本控制等基本研发技能;

5、拥有良好的编码习惯，逻辑清晰、结构清晰、命名规范、代码冗余率低;

6、工作认真负责，具有较强的发现问题并解决问题的能力;

7、有Construct2开发经验者优先考虑;

8、具有良好的沟通能力及团队合作精神，责任心强。

大数据开发工程师的主要职责 篇18

职责：

1、较强的逻辑思维及自学能力，做事有条理，具备较强的项目分析和解决问题的能力。

2、熟练使用PHP语言和开发技巧，精通面向对象编程，具有良好的编程风格、习惯，熟悉各种主流的MVC开发框架的使用及其原理，并有在MVC模式下进行中大型web开发的经验.

3、熟练掌握mysql等数据库应用、熟悉基本的sql语句，能优化表、优化sql语句，能为慢查询建立相关索引。

5、有后端API开发经验、熟悉API加密方式，有linux 操作经验者且熟悉LNMP优先。

6、熟练redis，memcached等缓存机制。

7、大专以上学历，计算机相关专业毕业，3年以上工作经验。

职位描述：

1、负责APP后端PHP_API接口开发工作。

2、负责MySQL数据库维护，优化工作。

3、根据需求不断修改完善项目功能

大数据开发工程师的主要职责 篇19

职责

1、负责公司自有项目的服务器后端程序的技术研发工作，包括技术架构设计、重构、优化，根据产品规划及技术规划制定应用架构方案;

2、负责公司项目核心功能、数据总线解决方案及第三方接口的开发，主导技术难题攻关，持续提升核心系统在高并发、海量请求数下的高处理性能，编写程序，单元测试，bug修复工作等;;

3、负责设计、编码和调试研发平台后端技术框架，优化及提高后端代码的性能，审核和评估相关方案与设计，以确保其符合架构规划，满足业务需求;

4、分析系统瓶颈，解决各种疑难杂症，对系统进行性能调优，指导程序员编写程序，落实技术规范，与产品经理、测试工程师、其他成员沟通合作，保证产品研发工作的质量和进度;

岗位要求

1、软件工程或计算机相关专业大专以上学历，3年以上商业项目的实际开发经验，有电商或短视频项目的实际开发经验;

2、精通ThinkPHP、Laravel、Yii等流行框架，熟练掌握LAMP，熟悉TP/SMARTY;

3、精通MySQL、NOSQL、MongoDB等数据库，能够编写和优化复杂的SQL程序;

4、擅长消息队列、任务调度、负载均衡、并发控制，极具面向对象思维，懂得低耦合高复用封装，拥有一丝不苟的代码编写规范习惯;

5、熟悉Unix/Linux操作系统，熟练掌握shell、Python、Perl其中一种脚本语言;

大数据开发工程师的主要职责 篇20

职责：

1、负责公司业务平台功能模块的代码开发工作;

2、熟悉PHP开发，掌握主流框架，并拥有良好的面向对象编码思想和注释风格，;

3、参与需求分析、系统分析与架构设计方案，负责处理开发过程中的技术问题;

4、思维前瞻性，积极配合完成运维部门工作需求，完成上级要求各项任务;

任职要求：

1、能独立完成一个项目的开发;

2、精通PHP编程，熟练运用MVC框架，thinkphp框架、larver框架;

3、熟练Mysql数据库,具有MySQl索引优化、查询优化和存储优化经验。

5、熟悉 div+css+js(jquery)等前端技术;

6、熟悉UNIX/LINUX操作系统的基本配置和命令，了解操作系统的体系结构,熟悉TCP/IP网络协议;

7、具备良好学习心态及团队精神，抗压能力强，并富有工作激情、创造力和责任感;

大数据开发工程师的主要职责 篇21

职责：

1、根据产品需求完成高质量高性能后端开发;

2、参与各产品的需求分析、规划、系统设计;

3、负责各应用模块的编码工作和文档编写工作;

4、负责公司相关产品开发和维护工作。

职位要求

1、本科以上学历;

2、3年以上PHP网站开发经验;

3、精通Phalcon或其他PHP框架;

4、熟悉MYSQL数据库，并对SQL优化有一定的经验，能结合业务对复杂慢SQL进行优化;

5、熟练使用NoSQL、熟悉互联网系统的性能优化、cache技术;

6、有良好的代码习惯，要求结构清晰，命名规范，逻辑性强;

7、关注新技术，较强的学习能力，具备良好的沟通、团队合作能力

大数据开发工程师的主要职责 篇22

职责：

1、负责运维系统、平台的构建与开发工作

2、负责运维自动化、规范化解决方案的开发工作

3、深入理解系统，为其持续优化提供建设性意见

4、完成领导交代的其他临时性工作。

岗位要求

1、具有5年以上开发经验

2、本科及以上学历，计算机相关专业优先

3、主动、正直、有责任心和团队协作意识

4、精通Java语言、网络及多线程编程，掌握Spring、SpringCloud等常用框架技术

5、熟悉常见的开源技术，如HBase、Redis、KafKa、Dubbo、ZooKeeper等，并具备一定的经验

6、良好的服务器端编程能力和编程习惯，对设计模式深入理解

7、了解互联网产品运维、监控，具有大型运维系统、监控系统、工作流系统开发工作经验者优先