大数据运维工程师的工作职责（通用14篇）

大数据运维工程师的工作职责 篇1

职责：

1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;

3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;

4. 参与开源社区建设，提升公司开源影响力;

任职条件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;

3. 熟练掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;

5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;

6. 有大数据平台维护经验优先;

7. 掌握dockerfile，了解大数据与k8s结合者优先;

8. 参与开源社区，有代码贡献或者高质量博客文章者优先;

大数据运维工程师的工作职责 篇2

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求：

1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师的工作职责 篇3

职责：

1、负责大数据平台架构的规划、设计、搭建;

2、负责大数据平台的运维保障工作;

3、负责运维相关数据分析，以及报表产出;

4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

6、研究跟进大数据架构领域新技术并分享。

工作要求：

1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系统;

3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;

4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;

5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。

大数据运维工程师的工作职责 篇4

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

大数据运维工程师的工作职责 篇5

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责 篇6

职责：

1.日常监控报警处理、故障现场处理以及系统关联的业务服务需求处理;

2.系统变更处理，如系统优化、漏洞修复、业务增加功能、系统漏洞修复等;

3.相关系统的项目前期测试、调研、以及实施和后期维护;

4.系统各类程序参数优化设置，以及应用系统版本升级，系统架构调整等;

5.系统故障报告编写，以及系统维护相关文档整理。

任职要求：

1、本科及以上学历或同等学力，2年以上IT相关工作经验;

2、熟悉linux或UNIX系统集成和运维管理，具有系统集成或项目实施经验;

3、至少掌握一门脚本语言，不限于shell、python、perl;

4、性格开朗，吃苦耐劳，积极主动、乐观向上，富有团队精神，具有良好协调沟通能力，能承受较大工作压力和工作强度，具有良好的工作态度与职业精神。

大数据运维工程师的工作职责 篇7

职责：

1.负责项目系统部署实施的过程执行;

2.负责日常系统维护、产品上线实施和故障处理;

3.负责收集系统维护过程中的系统缺陷和软件缺陷，提出合理化改进建议和意见;

4.为目标客户提供系统技术培训和技术支持，完善系统维护知识库建设。

任职要求：

1.具备专科及以上学历，计算机、软件等相关专业毕业，5年以上相关工作经验;

2.具备千万级用户量/设备的大型互联网/物联网系统建设运维经验及项目管理经验，熟悉互联网/物联网系统主流架构;

3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中间件及Docker等容器技术;

4.熟悉windows server、Linux等主流操作系统的使用;

5.掌握Postgresql(主要)、Oracle、Mysql等主流数据库的使用，包括存储过程开发，能编写高效SQL。

6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等监控工具使用及Python脚本优化;

7.掌握SVN/Git/Puppet/jenkins等自动化运维工具，具备应用服务安装配置、管理维护、故障分析和系统性能分析优化经验。

大数据运维工程师的工作职责 篇8

职责：

1、负责业务系统基础设施维护，保障服务器与数据库安全，检查并消除安全漏洞;数据备份、数据监控、应急响应、故障排除、编写数据分析报告等。

2、负责Linux服务器的配置，维护，监控，调优，故障排除，网络优化等;大用户量下高性能服务器系统部署方案的制定及实施;

任职要求(任意三条):

1、拥有对业务流向的逻辑理解能力，对软件相关流量中的安全性有所考虑，对安全设备、网络设备有了解。

2、熟悉centos/redhat系列linux系统，有2年以上linux系统工作经验;

3、熟悉常见的分布并发及负载均衡实现方案并有实际实施经验，有负载压力及并发量控制经验;

4、熟练掌握Linux系统及常见服务的安装配置，能灵活运用shell等相关脚本语言，熟悉mysql、Oracle等数据库的部署、配置、数据备份机制等;

5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服务的安装配置，有实际运维经验者优先;

6、负责Linux服务器的配置，维护，监控，调优，故障排除，网络优化等;大用户量下高性能服务器系统部署方案的制定及实施;

大数据运维工程师的工作职责 篇9

1、系统运维、服务监控分析、故障排查，以及紧急情况下的应急处理;

2、遵循发布、变更流程，负责系统建设和运维工作，保证其高效、稳定工作;

3、研究服务架构，发现潜在问题，制定系统调整和优化方案，提高系统的健壮性和效率;

4、参与系统架构设计，建设和管理;

5、参与公司基础网络安全架构的建设，根据业务需求制定安全解决方案;

6、解决日常安全问题，在出现网络攻击或安全事件时进行紧急响应、恢复系统及调查取证。

大数据运维工程师的工作职责 篇10

职责：

1. 负责日常网络及各子系统管理维护;

2. 负责设计并部署相关应用平台，并提出平台的实施、运行报告;

3. 负责配合开发搭建测试平台，协助开发设计、推行、实施和持续改进;

4. 负责相关故障、疑难问题排查处理，编制汇总故障、问题，定期提交汇总报告;

5. 负责网络监控和应急反应，以确保网络系统有7*24小时的持续运作能力;

6. 负责日常系统维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定。

素质要求及任职资格：

1.学历： 专科以上。

2.专业： 计算机相关专业。

3.经验： 一年以上相关工作经历优先。

4.核心能力及业务技术要求：

A.熟悉Unix/linux和Windows系统，有IT系统维护经验; 对操作系统、网络、计算机安全有一定的深刻理解;

B.熟悉主流的交换机、路由器、防火墙等网络设备及其技术应用;

C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

D.熟悉负载均衡技术，lvs+keepalive+Heartbeat等集群技术;

E.精通或掌握SQLServer/Oracle/mysql等大型数据库管理系统(之一)的安装/配置和管理;

F.熟练掌握Linux监控软件，如nagios等，监控系统安全控制及技术防范;

G.具备良好的分析和解决问题的能力，对于攻关疑难问题具有强烈的兴趣;

H.性格开朗外向、善于学习,具备较强的服务意识、沟通协调能力、团队协作能力;

I.良好的文档编写能力，较强的客户服务意识，积极主动，吃苦耐劳, 高度的责任心及应急能力;

5.其它：身体状态良好。

大数据运维工程师的工作职责 篇11

职责：

1. 负责公司服务器的运维工作，主要包括升级部署、备份恢复、日常巡检、性能优化、配置操作等;

2. 搭建平台监控工具、自动化运维工具;

3. 编写运维手册，制定运维计划、操作规范、应急手册等;

4. 及时响应问题，快速定位排查故障，优化网络结构，提升用户体验;

5. 负责监控检查系统软件、服务运行状态和操作记录，并进行详细的数据化记录，定期汇总并上报给负责人;

任职要求：

1.本科及以上学历，计算机通信相关专业，3年以上相关工作经验;

2.熟练操作LINUX/WINDOWS操作系统的安装、配置 及命令。

3.熟练操作ORACLE，编写SQL语句，对用户、表空间，数据文件有理解，并能扩大相关系统的表空间。

4.熟悉WEBLOGIC安装及调优，定期对JAVA应用程序的发布和更新;

5.具备故障诊断和处理能力及应用系统和数据库备份的运维经验;

6.有较强的沟通协调能力及高度责任心

大数据运维工程师的工作职责 篇12

1、设计网络设备、服务器及安全系统的拓扑结构

2、开展对公司各平台服务器硬件的巡检;桌面计算机软硬件(计算机、显示器、电话、网络设施和其他附属硬件设施，如打印机、扫描仪)安装、配置、升级、运行维护与管理，保障桌面系统正常运行，满足日常工作的需要;对网络设备、服务器及安全系统等运行监控与管理，负责对公司综合布线系统的维护与管理;撰写运维技术文档。

3、根据运维、巡检报告等统计整理运维数据定期评估平台的硬件、软件的服务能力，出具评估报告。

4、完成领导交办的其他工作。

大数据运维工程师的工作职责 篇13

职责:

1、 负责企业机房日常维护和巡检工作

2、 负责机房内服务器、存储等硬件设备的维护管理, 自动化运维系统的部署和管理，以及常见软硬件故障的处理

3、 负责企业内核心应用数据库的日常维护，数据备份、数据恢复以及数据库的优化等工作

4、 负责各类服务器操作系统的维护和管理，包含Windows、Linux以及Unix服务器系统的日常维护

5、 负责云平台系统的日常维护管理，虚拟机创建，资源分配、回收以及系统资源的日常监控和管理

任职资格:

1、 本科或以上学历，计算机相关专业

2、 至少两年以上 windows、linux 服务器运维管理经验

3、 熟练掌握windows server、 liunx操作系统的安装配置、系统管理以及系统优化

4、 熟练掌握oracle/mysql/sybase主流数据库的配置与优化，数据备份与恢复，数据安全，数据迁移与归档，数据库日常监控与管理

5、 具有丰富的系统软件及其硬件的故障排除经验，具备较强的分析及解决问题的能力，并善于主动总结和分享自己的工作经验;

6、具有良好的服务意识，端正的服务态度，敢于吃苦，服从安排

大数据运维工程师的工作职责 篇14

职责：

1、 负责Windows，Linux服务器操作系统的安全加固，包括防病毒，应用防护等。

2、 负责安全渗透、安全加固及安全事件的应急响应，协助漏洞验证等。

3、 负责定期对服务器进行漏洞扫描、端口扫描、弱密码扫描，并整理报告。

4、 负责定期对运维人员，研发人员及测试人员进行安全培训，提高整体的安全意识。

5、 负责对各类安全事件主导跟进，包括系统漏洞处理、防薅羊毛、DDOS防御及其他安全加固措施实施。

6、 负责等保三级的相关工作;

7、处理领导交办的其他工作 。

岗位要求：

1、 计算机、通信相关专业大专以上学历

2、 熟悉主流服务器操作系统(Windows、LINUX)、数据库(sql、mysql)等基本操作和安全配置;

3、 具备一定的信息安全基础知识，熟悉网络设备和安全设备的操作，熟悉防火墙、入侵检测、VPN等网络安全技术;

4、 良好的沟通能力、富有团队精神，能够承担较大工作压力;

5、 了解信息安全等级保护、27001信息安全体系、ITIL等相关安全标准优先;

6、 持有等级保护测评师认证、HCNP或同等级证书者优先;

7、 熟悉国产操作系统(如中标麒麟、中科方德等)、国产数据库(神通、达梦、南大通用)优先;

8、 有政府类项目实施维护经验优先。