大数据运维工程师的工作职责（精选19篇）

大数据运维工程师的工作职责 篇1

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求：

1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

大数据运维工程师的工作职责 篇2

职责：

1、负责大数据平台架构的规划、设计、搭建;

2、负责大数据平台的运维保障工作;

3、负责运维相关数据分析，以及报表产出;

4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

6、研究跟进大数据架构领域新技术并分享。

工作要求：

1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系统;

3、有数据分析经验优先，精通一门以上脚本语言(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种及以上;

4、有2年以上大数据平台相关运维开发经验，了解分布式平台运行的原理，并有实际部署维护经验;

5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑战;

6、良好的服务意识，善于团队协作，项目管理，主动思考，自我驱动力强。

大数据运维工程师的工作职责 篇3

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责 篇4

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

大数据运维工程师的工作职责 篇5

职责：

1. 完成大数据平台日常运维工作(上线/日常监控/问题定位/脚本开发)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等开源组件;

2. 完成大数据自研平台工具运营，比如报表平台、调度平台和性能监控平台;

3. 提升系统可靠性，完善监控策略，优化运维流程，提升部门运维效率，保证7*24服务;

4. 参与开源社区建设，提升公司开源影响力;

任职条件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等开源组件的搭建、维护以及问题定位;

2. 熟悉Linux操作系统，熟练掌握Linux常用命令,了解ansible/puppet;

3. 熟练掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL语法，掌握数据库的维护工作;

5. 对自动化运维有一定见解，使用过各种开源工具完成日常运维工作;

6. 有大数据平台维护经验优先;

7. 掌握dockerfile，了解大数据与k8s结合者优先;

8. 参与开源社区，有代码贡献或者高质量博客文章者优先;

大数据运维工程师的工作职责 篇6

职责：

1.包括应用版本发布、备份、部署、工单处理、监控等;

2.负责应用系统日常维护巡检工作，编写运行报告;

3.及时响应并快速定位故障，保障线上业务 7×24稳定运行;

4.负责业务运营日志数据的统计和分析;

5.负责收集业务平台日常使用过程中出现问题和对应的产品、研发部门分析、排查和解决，最终优化软件的性能;

6.负责外部信息对内的知会，内部需求讨论结果对外的反馈;

7.能够通过对日常问题的分析汇总编写数据分析报告，优化工作流程、提升工作效率和服务质量;

任职要求：

1.全日制大专及以上学历，计算机相关专业，一年以上相关工作经验;

2.了解一定的数据库原理知识;

3.具有较好的沟通、对接反馈及较强的团队协作精神;

4.爱学习，好专研，耐得住繁琐细碎的工作形式;

5.有业务系统运维经验者优先;

6.熟练熟悉Apache、Tomcat、JBoss等中间件，以及Apache+Tomcat/JBoss的集群配置和管理优先;

7.有过云服务器维护经验者优先;

大数据运维工程师的工作职责 篇7

职责：

1.服务器及应用的安装、部署、维护、更新、监控等;

2.服务器相关资产管理;

3.负责处理平服务器台各类故障，问题快速定位和解决;

4.服务器日常运维，应用等自动化、标准化、平台化;

5.领导安排的其他相关工作。

职位要求：

1.本科及以上学历，，具有2年以上Linux运维经验，计算机、通信、信息技术等相关专业。

2.熟悉主流硬件，服务器DELL、HP、IBM等。对UNIX/Linux等操作系统有一定了解;

3.有安装调试服务器的经验，包括机架式服务器上架，做硬件raid，安装操作系统等;

4.至少熟悉一种自动化运维工具，Ansible、 Puppet、SaltStack，无人值守Kickstart等;

5.至少熟悉一种虚拟化云平台技术，vmware，kvm，citrix，xen，openstack等;

6.良好的沟通能力、学习能力、团队意识、积极的工作态度;

大数据运维工程师的工作职责 篇8

职责：

1、负责公司Linux服务器的维护、备份、调优;

2、负责本地服务器提供的计算机环境的部署;

2、负责设计实现与运维相关的自动化工具或系统;

4、能够熟练排查运维过程中出现的服务故障、系统故障、网络故障;

职位要求：

1.计算机相关专业，2-5年工作经验，服务过技术型公司;

2.熟练掌握linux服务器的配置和管理，防火墙，VPN等技术;

3.熟练掌握各种软硬件负载技术框架的安装调试和技术支持，如lvs，nginx等

4.熟练使用Shell/Python脚本工具进行运维自动化;

5.熟悉GitLab/Wiki等相关技术，及有实际项目使用经验;

6.有大数据处理软件运营经验者优先

大数据运维工程师的工作职责 篇9

职责：

1) 负责驻场保障拉萨机场的中航信离港前端软件桌面级运维，主要覆盖安装、调试、故障受理与解决;

2) 负责西藏分公司拉萨机场离港系统服务器、小型机、网络设备运维，主要工作包括日常监控、系统演练、应急流程处理、设备安装于调试;

3) 负责辖区支线机场弱电系统与网络设备运维，主要业务包括系统巡检、驻场保障、项目实施等;

4) 负责辖区航空公司弱电系统运维，主要负责桌面级运维;

5) 负责协助业务人员，提供必要的计算机应用技术支持，挖掘客户潜在需求;

6) 协助行政人员，提供必要的计算机应用技术支持;

任职要求：

1)全日制大专以上学历，计算机科学与技术及相关专业毕业

2) 适应高原气候，拉萨市海拔3500米，辖区支线机场海拔超过4000米;

3) 熟练使用OFFICE、WPS、网络制图等办公软件;

4) 具备优秀的计算机软硬件知识，熟悉vmware、计算机组装;熟悉UNIX或LINUX系统操作与维护;熟悉Windows系统运维;

5) 熟悉Oracle、SQLserver数据库安装与维护，熟悉 SQL指令;

6) 熟悉网络设备指令，拥有CISCO企业网络资质证书、华为资质证书、国家计算机软考资质证书优先;

7) 愿意在西藏高原地区机场或全国其他机场中短期出差;

大数据运维工程师的工作职责 篇10

1.根据维护及工作要求，对设备、设施及系统进行现场/远程检查;

2.能对设备、设施及系统的问题进行简单故常排除。

3.负责记录巡检及故障报告。

大数据运维工程师的工作职责 篇11

职责：

1、负责公司运维和技术支持团队的日常管理;

2、负责高性能服务器集群、云服务器、虚拟机、大容量存储设备、加速和镜像设备的部署和管理;

3、维护各项基础/应用服务，监控内部外部网络设备，服务器运行状态，保障业务稳定运行;

4、制定网络和设备的运维规范和策略，并实现文档化;

5、协助快速解决生产设备及环境重大故障或疑难问题，及时处理突发故障;

6、制定和优化运维解决方案，例如容灾、防攻击、扩容、备份等;

职位要求：

1、专科以上学历，二年以上工作经验

2、精通各类操作系统、数据库、应用服务、虚拟化服务

3、精通各类服务器设备、网络设备、安全设备、存储设备

4、熟悉HTML、抓虫，并从事过网站实施相关工作;

5、熟悉LVS的Linux Cluster技术、Nginx、Apache等常用的web服务器技术;;

6、熟悉常见服务器、网络设备及防火墙等的配置;

7、熟悉VMWare或同类的虚拟化技术;;有大型互联网产品运维经验者优先。

大数据运维工程师的工作职责 篇12

职责：

1.负责网络系统及部分应用系统的管理和运维;

2.硬件维护主要包括PC机/笔记本电脑/打印机/考勤机等终端设备的调配及维护并妥善记录;

3.协助用户解决用户网络运维问题，远程或现场支持用户的项目实施及运维操作;

4.对日常问题进行跟进，并做好记录，定期提交相关运行报告和工作记录报告;

5.完成上级交办的其他工作。

任职要求：

1.计算机相关专业专科以上学历，男女不限

2.掌握基本网络知识，网络故障排查

3.熟悉网络软硬件产品，能进行基本的安装调试;

4。具有较强的沟通及组织协调能力、学习能力及较强的团队合作精神

5.具有高度的责任心、独立工作的能力并具备较强的分析、判断和解决问题能力

6.能接受外派常驻。

大数据运维工程师的工作职责 篇13

职责：

负责公司全球数据中心Linux平台的运营维护。

参与全球数据中心网络及监控系统的维护与管理。

深入自动化部署及测试的研究，不断完善运维流程，实现大规模服务器集群的智能化运维。

不断挑战和突破自我，运用云应用领域的前沿科技知识，帮助公司实现运维领域的重大革新。

技能要求：

计算机相关专业，两年以上 Linux平台的运维和管理经验。

熟悉Apache、Nginx等Web Server的配置、优化与排错。

熟悉MySQL等数据库的配置、优化与排错。

熟悉Shell或Python的脚本编写。

有强烈的团队协作意识，对工作严谨负责，对新技术和未知领域乐于探索。

大数据运维工程师的工作职责 篇14

职责：

1、负责系统运维，解答用户疑问，处理异常;

2、负责系统用户操作培训;

3、负责收集并统计用户系统需求及初步沟通及分析;

4、负责系统数据库的基本维护检查备份。

任职要求：

1、计算机或信息化管理等专业本科及以上学历;

2、熟悉SQL Server/Postgresql数据库，熟练掌握SQL 语句的运用;

3、有一定软件开发语言基础，熟悉C#语言者优先;

4、熟悉制造企业的生产流程，熟悉鞋服制造企业生产流程者优先;

5、抗压能力强;

6、良好的沟通及理解能力。

大数据运维工程师的工作职责 篇15

职责:

1、负责云服务器的配置、部署、监控等工作，并通过开发工具持续提升工作效率

2、熟悉运维相关技术，包括运维自动化技术，虚拟化技术，监控技术，网络技术，容器技术等;

3、协调开发，测试，运维等各个团队，推进公司DevOps相关工作，提高线上产品运行质量;

4、主动发现生产环境的问题和隐患，通过开源运维工具或自研运维工具提高公司运维交付能力;

5、能够运用主机监控、日志分析、APM、常用系统性能分析命令等工具进行复杂问题定位，快速响应和处理反馈的问题。

6、快速处理实际运行中遇到的各种系统故障，并对系统可能出现的故障问题进行预防;

7、负责生产环境网络设备、负载均衡设备及相关业务服务的配置、管理、优化等工作;

任职资格:

1、3年以上大中型在线系统运维工作经验(有互联网运维经验优先);

2、能熟练编写 Shell或Python脚本，有Python编程能力者优先;

3、熟悉Windows、linux系统及常见服务的安装配置优化，熟悉常见的负载均衡实现方案并有实际实施经验(例如 Haproxy、Nginx、OpenResty、LVS等);

4、熟悉NoSQL(Redis、MongoDB、Elasticsearch)、MQ使用场景，能对其进行安装、配置、调优及快速故障处理

5、熟悉服务器硬件安装与调优，能够熟练排查运维过程中出现的各种服务故障、系统故障、网络故障、安全攻击等问题，并进行快速处理响应。事后进行相关故障文档记录维护;

6、熟练数据库(SQL Server、MySQL)原理，能对数据库进行日常增删查改操作，高可用部署，性能调优;

7、了解Docker、Kubernetes、微服务、持续集成相关知识，有实际运维经验优先;

8、熟悉交换机、防火墙、路由器等网络设备的管理和维护，有阿里云、腾讯云、AWS等云平台的使用经验优先;

9、具有很强的学习能力，对新技术能深入学习，有良好的团队协作精神，勇于接受挑战并能够承受压力，乐于和团队分享技术

大数据运维工程师的工作职责 篇16

职责：

1、熟悉基础网络知识，熟悉TCP/IP协议工作原理;

2、熟悉WEB相关技术，包括Apache/Nginx/tomcat、Memcached/redis/mysql等应用服务的安装、配置和维护;

3、熟悉服务器硬件，具备系统、应用软件的报错及故障定位、处理的能力;

4、检测、跟踪和分析流行安全漏洞、设计和实施防御方案。

任职要求：

1、专科及以上学历，专业不限;

2、有linux理论基础，热爱技术岗位，能够及时补充自己技术缺陷;

3、有团队意识，责任心强，对自己有一定的规划;

4、至少掌握Shell/Python其中一种脚本编程;

5、批量、自动化管理服务器集群的能力，有较强的技术文档总结性工作的经验。

大数据运维工程师的工作职责 篇17

职责：

1.负责卡中心开发测试环境的日常管理和维护工作。

2.负责与开发中心的开发人员沟通资源需求、统计资源状态。

3.负责KVM虚拟化的的日常运维，包括资源扩容、虚拟机分配、虚拟机性能优化、虚拟机迁移、P2V、镜像制作等操作。

4.负责IaaS平台，包括问题描述跟进、配合厂商分析问题、测试和解决。

5.协助对云计算平台进行日常的配置管理、更新、维护，负责系统架构和应用架构与云计算平台整合。包括服务器安装、应用部署、服务监控、故障处理。

6.负责开发测试虚拟机操作系统和数据库中间件的维护，负责基础软件的安装和配置。

7.负责总结经验，编写或修改文档，完善操作手册及知识库。

职位要求：

1.精通Linux操作系统，熟悉shell或python编程。

2.精通OpenStack整体架构，具备基于OpenStack实战部署运维经验。

3.精通KVM虚拟化，熟悉KVM、QEMU、libvirt、VirtIO虚拟化相关管理操作命令。

4.熟悉MySQL、postgreSQL等数据库维护。

5.熟悉nginx/redis以及负责均衡、web中间件的维护。

6.具有丰富的虚拟化故障应急处理能力与经验，动手能力强，分析、归纳水平高，具备精确快速的故障定位和处理能力。

7.熟悉基础二层网络、路由网络及虚拟化网络相关配置。

大数据运维工程师的工作职责 篇18

1、负责现有软件系统的运行维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定，包括但不限于日常巡检、问题排查、跟踪和统计;

2、负责公司软件系统的上线测试、协调、验收和实施工作;

3、负责公司软件系统关键用户和使用用户的日常培训工作，制定详细培训计划，及时解决或协调解决用户使用系统过程中遇到的问题;

4、熟练掌握主流数据库(SqlServer、mysql);

5.负责服务器网络、防火墙、系统安全、病毒防护方案的部署与管理;

6工作积极主动、认真负责、勤勉、踏实、能吃苦的、可适应全国性短期出差。

大数据运维工程师的工作职责 篇19

1.负责Hadoop相关项目日常运行维护、故障排查工作;

2.负责Hadoop集群的监控和配置调优工作;

3.负责Hadoop平台的用户管理、权限分配、资源分配;

4.负责集群服务器软件的安装、维护、部署、更新;