大数据开发工程师的职责文本(精选17篇)
大数据开发工程师的职责文本 篇1
职责:
1、负责数据中心和大数据处理平台的搭建
2、在线和离线海量数据分析平台的开发;
3、研究大数据前沿技术,提升系统的运维效率;
4、参与大数据的采集、存储、处理,分析等开发
5、参与数据挖掘算法的设计、对海量数据进行挖掘分析和发掘数据价值及算法学习及实现
【任职要求】:
1、计算机或相关专业本科学历及以上,2年工作经验以上
2、熟悉Java/Scala等至少一门语言,能对分布式常用技术进行合理应用,解决实际架构问题
3、熟练使用hadoop,hive,HBase,YARN,kafka,spark,Storm,Flume等大数据开发组件
4、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储、分析和可视化及报表开发;
5、熟悉分布式系统概念、架构,有大规模分布式系统设计、实现、部署等经验;
6. 具有优秀的学习能力、独立分析和解决问题能力,良好的团队合作精神。
7. 有BI开发经验的优化考虑。
大数据开发工程师的职责文本 篇2
职责:
1、负责完成业务和产品的对接,支持业务需求研发;
2、负责完成产品的迭代升级以及底层架构的升级研发;
3、完成团队安排的其他相关日常工作任职要求;
4、负责产品的实时业务和离线业务的研发;
5、支持开源大数据技术在数据系统中的使用,修复、优化增强大数据技术;
岗位要求:
1、具有分布式系统架构开发能力,熟练使用storm、spark hbase者优先。
2、能够使用实时计算平台,进行实时业务数据的研发。
3、能够基于已有平台进行离线业务的开发。
4、有大数据应用产品研发经验,具有数据决策产品研发经验者优先。
大数据开发工程师的职责文本 篇3
职责:
1、负责数据采集、数据存储、数据查询、数据计算等基础平台的设计和开发工作;
2、利用Hadoop、Spark、Flink等技术进行离线和实时数据开发 ;
3、负责大数据平台的规划升级、平台维护和优化 ;
4、和其他部门或团队沟通、资源协调并落实工作。
任职要求
1、本科及以上学历;
2、3年以上大型大数据平台建设实施经验 ;
3、掌握常用大数据组件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和调优 ;
4、具备较强技术功底,精通Java、Scala、Python等至少一种开发语言,能根据需求给出技术架构 ;
5、有数据仓库、元数据管理和治理的开发经验优先 ;
6、善于沟通,思维活跃、责任感强、工作积极主动,有良好的团队协作意识。
大数据开发工程师的职责文本 篇4
职责:
1、负责该领域的业务需求讨论,完成技术方案及数据开发;
2、负责数据仓库的体系建设及落地实现;
3、负责大数据平台各类环境的部署及运维、并参与架构优化、性能优化等工作;
4、负责该领域所属模块的代码开发、调试与维护工作,并进行技术沉淀和文档输出。
招聘要求:
1、计算机、电子通信、自动化等专业,本科及以上学历;
2、五年以上研发经验,其中二年以上大数据开发的相关工作经验;
3、熟练JAVA开发语言;熟悉微服务及Spring框架;
4、熟练熟练Hive、Impala、ES性能调优,关注细节,学习能力强;
5、能配合团队完成该领域的工作,自我管理能力强,能承受工作中的各种压力,具备很好的团队意识
6、熟练主流大数据平台产品部署及运维,如CDH、HDP平台。
7、对机器学习和深度学习等方面有一定的了解;
8、有汽车制造业及相关行业的大数据开发经验优先。
大数据开发工程师的职责文本 篇5
职责:
1.结合项目或产品涉及的具体业务场景,对数据进行清洗、计算与加工;
2.思路清晰,可快速响应数据处理的需求,评估并给出合理的解决方案,并采用合理的方式处理需求;
3.积极主动,能够与团队成员进行有效沟通,并完成数据处理结果的核对与对接;
4.完成上级交办的工作或任务。
岗位要求
1.计算机相关专业大专以上学历;
2.2年以上大数据产品或项目开发经验,精通Hadoop生态圈,熟练使用Spark,HBase、Hive、Kafka、Redis等;
3.精通SQL,熟练使用HSQL实现复杂数据处理逻辑,并具备数据处理调优的能力;
4.熟悉Linux开发环境,熟悉Linux的shell命令。
5.具有良好的逻辑思维能力和严谨的程序开发思想,具备独立问题排查与处理的能力;
6.良好的团队精神和合作意识,强烈的责任心,对工作有激情,良好的沟通能力,能吃苦耐劳;
7.有大数据项目或产品背景者优先;
8.有使用Spark SQL进行数据处理,并具有Spark SQL优化经验者优先。
9.有Python或者Shell脚本开发经验优先
大数据开发工程师的职责文本 篇6
职责:
1、负责根据需求调研结果,进行功能设计、详细设计;
2、负责需求和设计过程中相关文档的编制;
3、负责核心代码的编码和单元测试;
4、对技术难点进行攻关,并负责知识发布和知识传递。
任职要求:
1、全日制公立本科以上学历,计算机相关专业;
2、有3年以上基于J2EE B/S结构软件的开发经验;
3、熟悉HTML、JavaScript、AJAX等相关WEB技术,熟练掌握JQuery类库;
4、熟悉Servlet、JSP、JavaBean、XML等知识;
5、熟悉spring、springMVC、mybatis框架;
6、熟悉数据库开发,熟悉ORACLE等;
7、有良好的学习能力、团队协作能力,主动沟通能力;
8、爱岗敬业,服从指挥,认真负责;
大数据开发工程师的职责文本 篇7
职责:
1、负责参与数据库选型、给出数据库设计方案、优化方案;
2、负责数据库故障恢复、备份、调优;
3、负责监控数据库资源消耗情况、数据库运行日志、故障日志,给出解决方案;
4、负责数据库安装和配置管理;
5、负责解决数据库、数据方面的问题。
任职要求:
1、本科以上学历,计算机及相关专业;
2、两年以上的数据库开发经验;
3、熟悉oracle或者greenplum等常见关系型数据库,有开发存储过程(PL/SQL)的经验;
4、熟悉SQL调优;
5、熟悉数据库集群、分库、分表等操作的优先考虑;
6、有greenplum数据开发的经验优先考虑。
大数据开发工程师的职责文本 篇8
1. 进行UE4图像效果方面的技术研发,有很强的逻辑思维和独立解决问题的能力;
2. 使用UE4进行核心功能模块开发,框架搭建,算法编写等工作;
3. 精通UE4引擎中的功能模块,精通C++以及蓝图,有技术攻关能力;
4. 扎实的图形学和3D数学能力;
5. 开发实现unreal4引擎中的各种图形效果,包含海水系统、模型shader、毛发系统、布料系统、光照系统
6. 创建工具插件,以优化引擎视频效果和美术资源制作流程
7. 了解虚幻4渲染管线基本原理
8. 有虚幻4游戏底层架构经验者优先(网络层,数据层,逻辑层,UI架构)
大数据开发工程师的职责文本 篇9
职责:
1、开发网站新功能、新模块;
2、负责项目产品各个功能的完善与维护,新功能代码编写及测试;
3、对现有项目进行性能分析、效率优化;
4、参与需求分析、系统设计以及核心代码的编写和架构设计;
5、根据不同的业务需求,灵活快速地完成具有挑战性的项目;
任职资格:
1、从事PHP编程工作3年以上,有大型网站开发经验、大数据操作经验者优先;
2、深入理解oop思想,熟悉常见设计模式,熟悉常用框架thinkphp或CI或YII其中一种;
3、优秀的数据库设计和优化能力,精通Mysql数据库应用;
4、熟悉Javascript/Ajax/Jquery等相关技术,熟悉前后端技术动向;
5、熟练掌握redis,MongoDB等NoSql, 掌握Elasticsearch
大数据开发工程师的职责文本 篇10
跟客户沟通,整理分析需求;
制定设计文档进行开发,测试;
撰写必要的文档。
工作要求:
1年以上MES开发或实施经验;
2年以上项目开发经验,熟悉SpringMVC/Struts,Hibernate/MyBatis等开发框架;
熟练掌握面向对象的分析及设计方法,以及关系型数据库结构设计;
熟悉HTML,CSS,Javascript,jQuery等脚本语言,了解Ajax原理;
有良好的表达和沟通能力,能整理和撰写设计和开发文档;
乐于学习新技术,有团队合作精神与集体荣誉感。
大数据开发工程师的职责文本 篇11
职责:
1、根据开发进度和任务分配,完成相应模块的开发、编程任务;
2、参与维护并不断发现和改进存在的问题、不断提升系统性能;
3、积极参与产品、功能与技术架构的改进、参与技术规范的实施。
任职要求:
1.、1-3年以上PHP开发经验,热爱软件开发工作;
2、精通PHP语言,熟悉常用主流框架Laravel、thinkphp等;
3、熟悉MVC开发模式,深入了解php的性能和安全,能独立完成模块设计和开发;
4、精通MySQL数据库,熟悉数据库设计和性能优化;
5、熟练使用linux系统,熟悉nginx等web服务器的配置和优化。
6、熟悉并开发过微信公众平台的优先
大数据开发工程师的职责文本 篇12
职责:
1. 对数据进行结构化、标准化处理,对处理流程进行自动化搭建
2. 通过ETL/Cube数据建模,构建基于数据仓库的分析工具;
3. 参与数据与公司软件产品及第三软件的API对接;
4. 搭建与优化,数据采集、处理、可视化流程中所需的框架与模块开发;
5. 协同内外部力量完成需求的表达与技术攻关。
任职要求:
1. 熟悉数据库的设计和开发如:Oracle/Mysql/MSSQL/Redis等,有处理大量数据经验的优先;
3. 熟练使用ETL工具进行数据抽取,清洗,转换,关联等操作;
4. 熟练使用Linux操作系统,具备编写shell的能力;
5. 熟练使用主流的开发框架,掌握以下语言:Java、Python;了解过源码的优先;
6. 具有2年以上数据仓库(DW)、商务智能(BI)、大数据等方面的软件或项目开发经验;
7. 了解可视化及BI工具者优先;
大数据开发工程师的职责文本 篇13
职责:
1、负责项目相关模块功能的开发;
2、维护及优化线上系统性能,提升其稳定性;
3、及时响应并解决系统突发问题。
任职要求:
1、大专及以上学历,2年以上PHP为主的中大型互联网产品软件的开发及维护工作经验;
2、熟练掌握Laravel、 Thinkphp 框架使用开发;
3、熟悉Linux的基本使用;
4、熟悉Mysql数据库,熟悉redis、memcached使用及应用场景;
5、熟悉http协议、html/xhtml、javascript等前端技术栈;
6、有微信公众号、微信小程序相关开发经验优先。
大数据开发工程师的职责文本 篇14
职责:
1、负责公司CMS系统优化和新产品开发;
2、按照项目计划,与项目组其他成员协同工作实现开发目的;
3、协助工程师测试和发布系统,准备相关的技术文档,协助解决各种技术问题;
4、负责文档撰写,在前期期间设计交付URL接口文档、模板数据描述文档,在编码期间能撰写清晰明了的注释。
任职资格:
1、熟练基于windows/Linux系统的 PHP+MySQL 开发;
2、相关专业毕业,1年以上PHP编程经验,熟悉Ajax的前台技术;
3、拥有良好的代码习惯,要求结构清晰,命名规范,逻辑性强,代码冗余率低;
4、熟悉ThinkPHP框架开发或者二次开发的优先;
5、能独立用php开发一般的项目,对软件编程有较透彻的了解;
6、良好的沟通能力和团队合作精神。
大数据开发工程师的职责文本 篇15
职责:
1、 与UI设计师、交互设计师、产品经理协作,分析并给出较优的移动界面前端结构解决方案和效果实现;
2、 与后台开发工程师协作,完成各种数据交互、动态信息展现和用户的互动;
3、 维护及优化移动端前端页面执行性能和加载性能,优化前端代码规范;
4、 负责解决产品在不同移动设备端及不同版本下的兼容问题;
5、 根据产品开发需要,配合相关人员完成产品各部分设计的更新和修改;
任职要求
1、 熟悉微信小程序开发,有实际项目经验的优先;
2、 熟悉微信H5开发,了解微信jssdk;
2、 熟练运用HTML5、CSS3、Javascript/Jquery/zepto构建高性能的Web应用程序;
3、 熟练使用CSS3动画,并有一定的项目经验;
4、 熟悉前端相关标准,对前端语义化、浏览器兼容性问题有深入理解;
5、 良好的代码习惯,结构清晰。命名规范,逻辑性强;
6、 良好的人际沟通与团队创作能力,能够按时完成安排的任务。
大数据开发工程师的职责文本 篇16
职责:
1.进行产品需求分析和系统架构设计,负责公司核心业务模块开发,能独立攻关系统难点问题。
2.编写系统架构文档、接口说明文档及主要业务流程图等开发文档。
3.进行团队技术管理,为每个版本制定准确的开发计划并分配给下属人员进行开发。
4.代码审计,指导国中级开发人员编码,协助参与代码设计、审核和检查。
5.参与系统稳定性、性能和扩展性调试。
任职要求:
1.计算机、电子、通信、信息处理、电子商务、办公自动化等相关专业大专以上学历,有5年以上相关软件开发经验;
2.精通web mvc框架、Java、JavaScript,熟悉JSP/Servlet、JavaScript、Ajax、Jquery等WEB技术,至少精通Struts、Spring、Hibernate、iBatis等主流的开源框架之一;
3.有分布式、高可用、高并发系统开发经验,熟悉Dubbo等分布式框架并有应用经验;
4.熟练使用Oracle、MySQL、SQL Server数据库之一,有数据库性能问题诊断及SQL语句调优经验;
5.熟悉Linux操作系统,熟悉Shell脚本,熟练使用SVN或Git版本管理工具;
6.熟练使用WebLogic、Tomcat、WebSphere等web应用服务器之一,熟悉nginx、Apache等的安装、配置;
7.参与过大型项目软件的开发,有团队精神和敬业精神,具备良好的自我学习能力和独立的解决问题能力,能够带领小团队在指定时间内完成高质量程序;
大数据开发工程师的职责文本 篇17
职责:
1.、负责平台web前端和webapp端设计和开发;
2.、设计和实现面向开发者的平台套件和功能组件;
3、通过前端自动化构建工具和测试工具,对现有模块进行完整构建和测试;
4、完成前端核心模块的相关文档;
5、2年以上web应用程序开发经验,至少1年web站点的实际开发经历;
6、与设计师、产品工程师紧密工作在一起,负责产出高质量的产品前端层;
7、在理解前端开发流程的基础上,结合前端实际建立或优化提升工作效率的工具;
8、参与多种平台的应用开发,包括Web及Mobile等产品,负责前端交互的实现。
任职要求:
1、熟练掌握Web及H5前端开发技术,有复杂应用开发及性能调优经验;
2、能充分理解项目需求和设计需求,具有一定研发精神,能解决各种未知问题;
3、能熟练高效手工编写HTML及CSS、JS代码,熟悉DIV+CSS布局,确保代码对各种
浏览器的良好兼容性;
4、熟练掌握一种以上js框架Vue或是React 技术栈,了解 webpack的使用和原理,对
http协议有一定理解;
5、熟悉Git版本管理和了解Git-flow;
6、熟悉、redux、React Native;
7、有开源项目经验优先,熟悉服务器端语言者优先;
8、了解模块化、前端编译和构建工具;
-
英语学校岗位职责(精选3篇)
英语学校岗位职责篇1工作职责:1、负责3—12岁孩子的全英语课程授课工作。2、负责课程辅导和答疑,课后孩子学习反馈与学习跟进等工作。3、参与学校和部门组织的'培训、教研、会议等活动。4、配合课程主管完成教学目标和任务。职位要求:1、大专及以上学历,具备扎实...
-
汽车中工岗位职责共(通用3篇)
汽车中工岗位职责共篇11、开展喷漆维修或检查工作同时确保竣工质量与时间;2、每天对使用及保管的设备及工具进行检查,发现问题即刻报告,并协调在修车辆完工时间;3、每天定时参与本部门人员所辖区域环境卫生的清理;4、严格按照各种操作规范进行作业,保证生产安全;5、完...
-
电子工程师岗位职责(通用4篇)
电子工程师岗位职责篇11、负责所承担电磁炉、压力煲等小家电开发项目的原理图绘制、器件选型、元件清单编制、PCB设计和各项工艺文件、检验标准编制工作;2、负责所承担线路开发项目新开发类电子零部件(如PCB、变压器等等)设计和制作要求的制定工作;3、指导并跟...
-
物流经理岗位职责十篇
物流经理岗位职责篇1一、工作职责:1、根据公司总体计划和长远规划,逐步完成中餐营业部门的组建、规范、培训与营运;2、积极挖掘培养营业人才,分层级定期培训、考核楼面营业经理、楼面主任、楼面部长、咨客团队、点菜团队;逢双月对中餐楼面服务员进行一次针对性培训...