大数据运维工程师岗位的工作职责概述

大数据运维工程师需要负责服务过程中问题现象和处理方案的收集撰写，形成知识库，并对知识库进行维护更新。以下是本站小编整理的大数据运维工程师岗位的工作职责概述。

大数据运维工程师岗位的工作职责概述1

职责：

1，负责软件系统的部署运行;

2、负责业务数据系统接入的规划和实施;

3，理解行业业务，梳理业务数据模型;

4，完成项目实施过程中各类文档的编写、收集、整理、归档;

5，与客户保持密切沟通，建立良好的客户关系，保障良好的客户满意度;

有效的分析和控制客户需求，解决项目实施过程中遇到的质量问题和管理问题。

岗位要求：

1、全日制本科以上学历，软件工程、计算机科学相关专业;

2、3年以上的软件/项目管理实施经验;

3、熟悉Linux操作，熟练编写shell/python脚本;

4、了解常用开源分布式系统Hadoop/Spark/Hive/Hbase;

5、熟练使用SQL语句，熟悉ETL工作;

6、熟悉Oracle，mysql等关系型数据库;

7、具有强烈的责任感与团队合作精神，出色的沟通及学习能力;

8、有较强的分析问题能力，独立解决问题能力，能接受在客户公司办公。

大数据运维工程师岗位的工作职责概述2

职责:

1. 管理公司数据库，提供高可用、高性能数据库系统，并保障系统稳定运行。

2. 负责数据库性能监控与优化，故障处理，数据备份及灾难恢复。

3. 负责数据库自助平台的高可用架构设计和负载均衡的设计和实现。

4. 负责业务系统数据库管理，包括数据库日常维护，系统数据安全以及权限管理、故障处理、日常错误情况处理等。

5. 负责依据业务需求优化数据存储结构，负责数据库系统部署方案的计划、设计和实施。

6. 负责系统数据库定期检查，进行性能分析与调优，充分保证信息系统数据的安全及系统高效运行。

任职资格:

1. 全日制本科及以上学历，计算机或相关专业

2. 熟悉MySQL实现原理，InnoDB，MyISAM，Memory引擎，熟悉存储过程和事务。

3. 熟悉数据库原理、精通数据库核心参数的设置和调整，有规划、设计、部署以及数据库性能优化经验。

4. 具备数据库设计、SQL优化能力，能根据业务需求，提供高可用、高性能、可扩展、稳定可靠的数据库解决方案。

5. 了解MongoDB等非关系型数据库的特点。了解Redis，Memcache等内存数据库及缓存系统的原理及实现。

6. 熟悉Linux操作系统，对主机、存储、网络有一定的了解, 会使用Shell/Perl/Python中的一门脚本语言。

7. 有Hadoop/Kafka/Spark/ElasticSearch相关经验的优先考虑。

大数据运维工程师岗位的工作职责概述3

职责：

I、负责Hadoop集群的安装部署、维护及调优:

2、负责spark的安装邮署、维护及调优:

3、负责基于大数据平台开发的应用系统的部署、日常维护、调优和问题处理

4、负责ELK 平台的部署及维护。

技能要求：

1 、2年以上大数据运维工仵经验;

2、熟悉Hadoop生态圈技术栈及各个组件原理:

⒊、熟练掌握HDFS、Hive、HBase、sρark、sqooρ 等组件，具备部署、维护、调优的能力:

4、热悉kylin技术原理,有一定的维护经验优先:

5、掌掇ELK的日常维护技能·有一定的维护.经验优先:

6、有一定的HQL/sql 性能调优经验;

7、具备基本的 java、python等语言开发能力优先:

8、有较强的沟通、团队协作及学习能力。

大数据运维工程师岗位的工作职责概述4

职责：

1、负责公司大数据/Hadoop/hive/hbase/flink等离线实时数据平台运维保障;

2、负责内部大数据自动化运维以及数据化运营平台开发工作;

3、负责Hadoop/Hbase等系统的业务监控、持续交付、应急响应、容量规划等;

4、深入理解数据平台架构，发现并解决故障及性能瓶颈，打造一流的数据平台;

5、持续的创新和优化能力，提升产品整体质量，改善用户体验，控制系统成本。

6、善于表达、理解客户数据服务需求，具备数据需求转化落地能力。

任职要求：

1、大学本科及以上学历，计算机或者相关专业;

2、深入理解linux系统，运维体系结构，精于容量规划、性能优化;

3、具备一定的开发能力，精通一门以上脚本语言;(shell/perl/python等)，熟悉java等开发语言一种及以上优先;

4、具备很强的故障排查能力，有很好的技术敏感度和风险识别能力;

5、能够承受较大的工作压力，以结果和行动为准则，努力追求成功;

6、熟悉hadoop、hbase、hive、spark、tez等原理并具备管理，配置，运维经验;

7、熟悉分布式系统设计范型，有大规模系统设计和工程实现的了解者优先。

8、具有运营商流量数据加工处理经验者优先。

大数据运维工程师岗位的工作职责概述5

职责：

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作，保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张，发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术，持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求：

1. 至少3年以上大数据运维经验， 深入理解Linux系统，运维体系结构;

2. 深度优化HADOOP平台MR作业/计算框架/存储技术，提升集群吞吐并降低成本;

3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大数据系统的运维经验，有开发经验;

4. 熟悉HADOOP生态，有数据安全相关工作经验， 并能对平台CPU/MEM/IO/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力，良好的团队协作能力，具备良好的项目管理及执行能力;