大数据运维工程师的岗位职责（通用20篇）

大数据运维工程师的岗位职责 篇1

职责：

负责公司大数据业务集群的运维工作、集群容量规划、扩容及性能优化;

设计实现大规模分布式集群的运维、监控和管理平台;

参与业务架构设计，在设计阶段给出可运维性改进建议;

深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

负责公司大数据平台的应用监控、容量管理，应急响应等;

领导安排的其他工作。

任职要求：

1、本科及以上学历，软件工程、计算机等相关专业;

2、熟悉计算机原理、网络原理等知识;至少2年以上运维或开发工作经验;

3、搭建，管理及调优Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

4、至少掌握java/python/go中的一种语言;

5、熟悉HBase/Flink/mysql/redis运维优先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很强的分析和解决问题的能力;

8、具有攻克难题的强烈兴趣，以及提升技术能力的意愿;

9、善于主动学习，责任心强，能够承受较大的工作压力。

大数据运维工程师的岗位职责 篇2

职责：

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的Hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求：

1.2年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验。

2.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有Cloudera的CM使用经验尤佳。

大数据运维工程师的岗位职责 篇3

职责：

1、负责公司服务器日常的维护，包括巡检、故障排除、数据备份等业务，保证服务器高质量、高效率运行状态;

2、负责公司大数据产品的现场实施，制定可靠的实施方案;

3、负责公司大数据环境(hadoop生态)集群环境安装、维护、部署、优化;

【任职资格】

1、至少2年服务器、大数据集群运维经验;

2、精通linux运维命令，熟悉Linux的维护和管理，熟悉Shell脚本开发，能看懂Python/Scala优先;

3、熟悉大数据项目实施：包括不限于hadoop、hive、kafka、hbase、spark、Kudu、Impala等大数据生态的平台搭建，监控，运维，调优、生产环境;

4、熟悉docker技术优先;

5、熟练使用git版本控制，jenkins持续集成工具优先;

6、具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。

大数据运维工程师的岗位职责 篇4

职责：

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)确保高可用;

2.负责大数据平台的日常部署、升级、扩容、迁移;

3.设计实现大规模分布式集群的运维、监控和管理平台;

4.参与业务架构设计，在设计阶段给出可运维性改进建议;

5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6.兼顾应用系统的运维工作。

任职要求：

1.要求掌握java、shell语言，有Spring Cloud微服务架构开发经验的优先;

2.了解Docker，可以做简单应用;

3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等开源项目优先;

4.熟悉Linux操作系统的配置、管理及优化，能够独立排查及解决操作系统层面的问题;

5.掌握puppet、kerberos应用的优先;

6.良好的客户服务意识，强烈的责任心和使命感，执行力强，富有团队合作精神;

7.对大数据方向运维有很高的热情和兴趣，能主动学习了解相关知识;

大数据运维工程师的岗位职责 篇5

职责：

1、负责公司大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;

2、深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

4、负责Hadoop/spark/Mysql等集群服务、业务监控、持续交付、应急响应、容量规划等。

任职要求：

1、3年以上互联网运维相关工作经验，2年以上大数据平台运维相关工作经验;

2、具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议;

3、熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;

5、熟悉 Kubernetes(K8s) 集群 Docker 在大数据环境场景的使用;

6、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务

7、有Java开发经验和阅读源码能力者优先。

大数据运维工程师的岗位职责 篇6

职责：

1、负责公司游戏及相关网络产品线上系统的部署、调试、升级、优化等工作;

2、负责线上系统的监控，故障处理;

3、负责各类数据备份、恢复、检查工作;

4、参与产品的系统、网络规划及后期日常运维，包括系统优化、安全检测和维护、紧急事响应等;

5、产品相关后台管理系统的技术需求收集、整理及文档撰写，并协助开发人员进行系统实现;

岗位要求

1、3年以上互联网产品的系统运维经验，大专及以上学历;

2、精通Linux操作系统的使用与维护,精通linux各种常用命令，并能用Shell脚本语言编程;

3、深入理解TCP/IP的通讯原理，掌握各种路由协议的技术原理及部署方式，熟悉VPN、防火墙、NAT等网络技术和应用;

4、了解开源网络监控管理软件(cacti、zenoss、Nagios等)的基本原理和部署方式;

5、熟练Apache/Nginx/Mysql/PHP/DNS等常见服务的安装部署、日常运维和优化;

6、熟悉Redis/Codis/MongoDB/MyCAT/Elasticsearch/Kafka/RabbitMQ 集群部署经验者优先;

7、拥有大型网游/网络云平台应用及运维工作经验者优先;

大数据运维工程师的岗位职责 篇7

职责：

1.负责公司服务器相关工作的业务沟通、容量规划、资产管理、备份、调优等工作

2.对接供应商，负责公司服务器的安装部署、日常管理维护及日志的监控与分析

3.对接供应商，负责公司服务器7x24的及时故障分析和排除

4.负责公司服务器运维手册，制定运维计划、操作规范、应急手册等资料编写

5.负责监控检查系统软件、服务运行状态和操作记录并进行详细的数据化记录定期汇总并上报给负责人

6.部门负责人交代的其他服务器相关事情

职位要求：

1.全日制专科及以上学历计算机相关专业1年以上相关工作经验

2.精通LINUX/WINDOWS操作系统的安装、配置以及运维命令和工作能够熟练排查运维过程中出现的服务故障、系统故障、网络故障

3.能够独立完成本地和云服务器(WINDOWS、LINUX)的日常管理如配置、调试、实施、维护、病毒防御等工作

4.有较强的沟通协调能力及高度责任心

5.有常见中间件、数据库运维经验者优先

大数据运维工程师的岗位职责 篇8

职责：

1，负责应用系统日常维护，资源的分配、规划、管理。

2，保障各主机硬件平台和运行环境的稳定;

3，负责各硬件平台及应用系统的应急响应和故障的及时处理;

4，解答用户咨询，解决用户使用系统中的日常问题;

5，运维日志收集，运维文档编写等日常工作;确保系统24x7稳定运行。

任职要求：

1，计算机相关专业，大专及以上学历;

2，具有良好的沟通表达能力，独立问题分析和解决能力;

3，熟悉Linux系统;熟悉 Apache、NginX、tomcat等常用服务的安装、配置和维护;熟悉数据库的简单操作;

4，具备项目文档、技术文档的编写能力;

5，有大型OA系统运维经验或开发转运维优先。

大数据运维工程师的岗位职责 篇9

职责：

1、 负责客户内网建设和管理，进行网络架构的规划、设计、调整、性能优化;

2、 网络环境的管理，配置，排错，维护;

3、 网络设备的安装、配置、管理，提供网络设备维护方案;

4、 网络安全，网络质量及网络设备的监控;

5、 建立完整的网络系统文档;

6、 协助办公网络环境的维护，终端设备的维护。

任职要求：

1、 具备良好语言表达能力和沟通能力，本科及以上学历， 3年以上相关经验，对网络建设有深入了解;

2、 熟悉网络技术，有网络配置、调试经验;

3、 有环保行业经验优先择录。

大数据运维工程师的岗位职责 篇10

职责：

1、负责服务器日常基本运维工作;

2、根据服务器标准OAT上线流程，执行服务器及数据库的安装，完成OAT报告;

3、负责服务器操作系统及其数据库的常规及紧急补丁更新，并提供报告;

4、负责相关主机操作系统、存储、备份、虚拟化平台、数据库的性能、可用性和容量监控的日常检查;

5、负责检查并确保服务器资产及其他系统登记数据的一致性及准确性;

6、配合DHL服务器管理团队，完成IT项目在中国区的实施;

7、其他上级经理交代的事宜。

任职资格：

1、 1-2年Windows、Linux服务器安装、管理及维护管理经验;

2、熟悉VMware虚拟化软件，熟悉HP服务器;

3、熟悉使用Linux操作系统及Linux操作命令;

4、熟悉SQL server，MySQL至少1种数据库系统的基本部署、监控;

5、重视流程规范，熟悉Windows及Linux服务器环境和安全配置;

6、性格开朗、诚实、积极、主动团队配合能力强;

7、良好的英文读写能力。

大数据运维工程师的岗位职责 篇11

职责：

1、与开发团队一起构建高可用，高度灵活和高可扩展性的系统平台，参与系统架构设计;

2、及时响应并处理线上故障，快速处理运维事故，保障业务稳定运行;

3、负责运维体系的建立与完善，服务器管理，应用监控、容灾、备份机制，系统调优、安全方案，系统应急处理预案的制定等;

4、负责系统安全和数据安全相关的技术，并协助处理政策相关事务。

任职要求：

1、专科及以上学历，计算机相关专业;

2、2年以上互联网行业运维经验;

3、熟悉Linux环境中nginx/jenkins/elk/mongodb/mysql/redis/kafka/hadoop/spark缓存及队列服务等工具的配置维护，并掌握工作原理;熟练并掌握至少一种脚本编程语言;熟悉Docker，K8S 等容器技术;熟悉负载均衡技术，集群技术等;

4、掌握 Zabbix/Promethus至少一种开源监控工具的使用;

5、了解网络原理，熟悉 TCP/IP 协议。

大数据运维工程师的岗位职责 篇12

职责：

1 省中心系统的运维保障工作;

2 响应用户数据处理需求;

3 系统版本发布，运行环境管理，确保系统稳定运行;

4 应用系统、数据库故障排除;

5 服务器、数据库，应用系统日常巡检;

6 数据备份与数据还原;

7 为系统优化提供建议。

任职要求：

具有较好的沟通能力和抗压能力，工作积极主动，服务意识强;

熟悉SQL SERVER、ORACLE数据库的维护与优化、数据备份与恢复;

熟练掌握常用SQL语句书写;

熟练使用Windows Server、CentOS等常用服务器操作系统;

熟练掌握tomcat、nginx的部署与配置;

至少熟悉vmware、华为、华三虚拟化平台中一种;

对于常用服务器、存储、网络设备有一定了解。

大数据运维工程师的岗位职责 篇13

职责：

负责信息化系统的版本升级和性能优化;

负责信息化系统客户端的安装和操作指导;

负责制定信息化系统的操作手册和故障处理手册;

负责信息化需求收集、分析、解决、培训;

负责项目实施推广和落地;

负责信息化系统的应用系统的故障处理和运维。

岗位要求：

具备财务基础知识，熟悉财务软件者优先。例如国内的用友、金蝶，国外的sap、oracle;

具备1-2年的财务系统运维经验;

良好的沟通表达能力，有良好的服务意识;

工作细致、严谨;良好的职业道德及沟通、协调能力。

大数据运维工程师的岗位职责 篇14

职责：

1、负责客户提供现场生产问题支持、运行环境部署和系统日常运行维护工作;

2、接听用户电话、解答回复用户反馈的问题;

3、做好客户跟踪、回访及支持、维护工作，及时解答处理客户使用系统过程中出现的问题;

4、记录问题跟踪日志，定期总结问题报告，配合开发部门完善系统功能。

任职资格：

1、大专及以上学历，计算机或网络相关专业毕业。

2、熟悉Oracle数据库和Unix/Linux 系统，具有一定的数据库操作能力;

3、具备较强的客户沟通能力，能够耐心、迅速的分析并理解客户提出的问题和需求;

4、具备良好的团队合作精神、高度的责任感，对工作积极严谨;

5、注重细节，工作细心，有良好的规范化文档书写能力。

6、能够出差到客户现场进行维护工作

大数据运维工程师的岗位职责 篇15

1. 按照要求完成台式机和笔记本的硬件拆卸组装、常用操作系统(MacOS、Win、Ubuntu)的安装工作;

2. 完成日常常用软件(如Office、PS、钉钉)安装卸载、故障排查分析工作;

3. 完成网络故障排查工作;

4. 需要协助资产同事完成资产相关工作，如资产入库出库登记、协助总部资产同事完成资产盘点等，

5. 完成会议室的日常巡检和维护工作(投影仪&电视设备的日常巡检和维护);

6. 完成打印机的日常巡检和维护工作;

7. 完成总部安排的不定期的出差工作;

8. 完成上级布置的临时性工作;

大数据运维工程师的岗位职责 篇16

职责：

1、负责银行数据中心内基础环境交付工作，包含服务器、操作系统批量安装配置管理。

2、负责运维自动装机系统及其他自动化运维系统，通过脚本批量配置管理服务器及系统。

3、对数据中心进行周期性巡检，及时发现故障隐患，协助故障处理。

4、其他的一些日常运维工作。

岗位要求：

1、全日制本科学历，计算机、网络、通信等相关专业毕业，2年以上工作经验。

2、熟悉Linux系统安装配置，熟悉 shell命令，会编写bash脚本，对linux系统有丰富运维管理经验，具备RHCE认证更佳。

3、了解cobbler自动装机或其他自动装机原理，熟悉Ansible，具备基础python编程能力，会flask api的优先考虑。

3、了解X86架构服务器，有大中型企业数据中心Linux运维工作经验者优先。

4、具有良好的抗压能力、沟通表达能力、人际交往能力、情绪控制能力以及团队协作能力。

5、有较强学习能力和学习意识，能够积极主动的学习掌握新产品新技术。

6、有较强安全生产意识，严格遵守公司及客户规章制度。

大数据运维工程师的岗位职责 篇17

职责：

1、负责根据业务需求，在ERP产品上设计并实现客户需求。

2、负责整个ERP项目运行，维护，包括电商的整体运行。

3、完成软件系统代码实现，编写代码注释及开发文档。

4、进行开发项目前期的需求定义和程序设计。

5、根据设计文档或需求文档完成代码编写、调试、测试和维护工作。

任职要求

1、3-5年以上大型网站电商开发经验。

2、熟练掌握MYSQL和SQLServer数据库编程。

3、熟练掌握C#开发C/S和B/S架构系统。

4、思维缜密，逻辑分析能力强。

5、良好的语言表达、沟通、书写文档能力。

6、软件相关专业、有财务或ERP相关经验者优先。

7、从事过用友或其他ERP软件的扩展开发工作者优先。

大数据运维工程师的岗位职责 篇18

职责:

1、负责在线系统的部署、维护和容量规划;

2、负责业务服务器的配置，维护，监控，调优，故障排除等，保障运行环境的稳定运行;

3、负责在线系统的上线、变更、优化等的方案制定及实施;

4、推动及开发高效的自动化运维、管理工具，提升运维工作效率;

5、负责服务器安全规划及实施;

6、日常运维文档的撰写整理工作。

岗位要求：

1、有大型网站运维经验，3-5年运维或系统管理经验;

2、有熟练的MYSQL操作及优化经验;

3、熟练掌握shell，python，等任一种语言;

4、熟悉常用服务软件(tomcat，nginx， redis，rabbitMQ等)的安装、配置、管理及优化;

5、熟悉Haproxy，LVS等负载均衡的配置与应用;

6、熟练zabbix，Nagios，catci等常用的监控软件;

7、对docker有实操经验者优先;

8、有较好的沟通能力和团队协作精神，具有高度责任心，能够严格遵守职业操守。

大数据运维工程师的岗位职责 篇19

职责：

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作，保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张，发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术，持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求：

1. 至少3年以上大数据运维经验， 深入理解Linux系统，运维体系结构;

2. 深度优化HADOOP平台MR作业/计算框架/存储技术，提升集群吞吐并降低成本;

3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大数据系统的运维经验，有开发经验;

4. 熟悉HADOOP生态，有数据安全相关工作经验， 并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力，良好的团队协作能力，具备良好的项目管理及执行能力;

大数据运维工程师的岗位职责 篇20

职责：

1、负责公司平台云服务器的日常运维工作;

2、负责公司运营业务平台的环境部署及维护，确保平台稳定的运行;

3、负责数据中心建设、运维和日常值班工作;

4、处理网络突发事件，解决网络故障,保障线上业务7*24稳定运行;

5、具备性能分析及运维经验，能够针对Linux服务器、MySQL数据库服务器，找到性能瓶颈及缺陷，提出优化方案;解决维护工作中的技术疑难，提出针对性的解决方案;

6、编写各类维护文档，譬如：实施方案、实施报告、巡检报告、故障处理报告等。

任职要求：

1、大专及以上学历，计算机相关专业，有至少2年以上网站运维经验;

2、熟悉Unix/Linux和Windows操作系统的基本命令、常规服务、文件结构;

3、熟悉桌面维护及网络安全知识，可熟练进行局域网的搭建和网络设备的基本维护和故障处理;

4、熟悉腾讯云/阿里云云服务器，有大数据、高并发数据库开发维护经验优先;

5、具备良好的沟通能力和团队合作精神，高度的责任心，有较强的沟通能力。