大数据运维工程师的职责（精选15篇）

大数据运维工程师的职责 篇1

职责：

1、负责银行各类应用系统的运维标准制定和运维管理等工作;

2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;

3、负责银行各类应用系统的应用监控、应用运维体系工具的建设和维护工作;

4、负责银行各类应用系统的自动化脚本编写和测试工作。

招聘要求：

1、全日制一本以及以上学历，理工类专业;

2、具备2年及以上应用系统运维或应用系统开发经验，有银行应用系统运维或开发经验者优先;

3、具备较强的文档编写、英语文档阅读能力;

4、具备良好的沟通表达能力和团队合作精神，具有较强的工作责任心和主动性;

5、至少具备以下二项技能：

(1)熟悉银行应用系统体系架构、应用运维标准化流程;

(2)熟悉AIX、LInux操作系统相关运维工作，具备熟练的SHELL脚本编程能力;

(3)熟悉应用软件持续集成和持续发布交付项目的整体流程，熟悉Jenkins、Nexus等相关Devops工具;

(4)熟练使用容器平台相关技术，有容器平台管理工作、应用容器打包的相关经验;

(5)熟练使用Golang或者Python编程。

大数据运维工程师的职责 篇2

职责：

1、负责大数据平台Hawq数据库运维;

2、负责大数据平台Tbase数据库运维;

3、负责传统数据(Oracle、MySQL等数据库)数据迁移、数据同步;

4、负责日常数据库的监控及问题分析排查;

5、负责OGG、Kafafa等组件数据传输同步日常运维;

6、负责数据库的优化、SQL语句的优化调优;

7、负责数据同步的检验与异常处理，确保数据的一致性、完整性、及时性;

8、负责制定数据同步方案及实施。

任职要求：

1、大专或以上学历，计算机或统计类相关专业

2、有3年以上技术类或数据类的开发经验;

3、熟练linux 系统操作及linux 运维监控、软件安装配置;

4、熟悉大数据技术，如Hadoop、Spark、storm、zookeeper等;

5、熟悉主流数据库mysql/sql serverl/oracle/postgreSQL等，精通SQL语句，对复杂SQL能进行优化，能熟练编写存储过程;

6、熟练Linux SHELL，可以进行运维SHELL开发;

7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;

8、有CentOS 7、Red Hat 7等Linux操作系统，有Shell脚本编写经验的优先。

9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)数据仓库的实际运维经验或3年以上 HIVE、SPARK 实际项目运维经验

10、在实际项目中，有异构数据库迁移经验，从传统ORACLE,MYSQL迁移至MPP数据仓库的实战经验.

大数据运维工程师的职责 篇3

职责：

1负责政务云平台、政务应用系统中数据库业务的日常运维，保障平台及应用系统服务7*24稳定可靠高效运行

2负责数据库性能调优，了解锁与隔离机制，协助客户解决数据库性能瓶颈

3制定数据库使用规范，制定数据库备份、升级、迁移规划并部署实施

4参与数据库设计工作，提高数据库维护自动化水平

5熟悉Linux操作系统，熟练使用Python，Go，Shell等至少一种语言

岗位要求：

1) 5年以上 Oracle/MySQL DBA 从业经验;

2) 熟练掌握 Oracle/MySQL 数据库的基础理论知识、运行机制、体系架构、高可用方案、备份机制、容灾机制等;

3) 熟练掌握数据库性能优化，了解主流的分布式数据库 Spanner/Cassandra;

4) 熟悉 Linux/Unix 操作系统，对服务器硬件有一定了解;

5) 熟练掌握 golang、Python、Java 等语言中的一种;

6) 熟悉阿里云产品线，具备ACP认证者优先考虑;

大数据运维工程师的职责 篇4

职责:

1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2. 负责集群容量规划、扩容及集群性能优化;

3. 基于大数据应用需求，持续优化Hadoop框架及组件的配置，提升性能;

任职资格：

1.大专以上计算机，通信和网络相关专业;

2.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验;

3.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优, 性能优化等有实际经验;

4.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验;

5.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作;

6.熟悉Kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作;

7.能维护Hadoop源码，有Hadoop 源代码BUG修复或者源代码优化经验者优先;

8.有Cloudera的CM使用经验尤佳。

大数据运维工程师的职责 篇5

职责：

- 负责局点大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责Hadoop/spark/Kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求：

- 4年以上运维相关工作经验，有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议;

- 熟悉Linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flink/Impala/Elasticsearch/kibana/MySQL/Kubernetes等;

- 熟悉Hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务，对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识，善于主动思考，自我驱动力强。有良好的沟通、协调能力，富有团队精神，有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

大数据运维工程师的职责 篇6

1. 负责城市视频监控系统前端系统的巡检、调试工作;

2. 负责城市视频监控系统前端系统故障的判断与排除;

3. 负责一般性网络、监控等技术问题的咨询工作;

大数据运维工程师的职责 篇7

1.参与并负责公司各种项目的实施和运维工作，包括软件测试、项目实施推进、技术支持等;

2.负责用户培训并协助客户进行项目运行和操作指导等;

3.现场技术支持及日常维护，包括接听客户咨询电话，向用户提供咨询、指导、解释相关业务或技术问题，收集用户反馈信息;

4.做好问题跟踪记录，并根据流程落实问题的全面解决，及时响应和回复客户;

5.具备良好的抗压能力，学习能力和团队合作精神。

大数据运维工程师的职责 篇8

职责：

1、运营平台底层服务运维，保证其正常运行;

2、linux系统组件和中间间部署维护，比如redis tomcate等;

3、docker-compose应用和服务维护;

4、运营系统各模块关联功能维护理解;

5、大数据系统维护和部署;

6、分析故障报告排查和整理;

7、数据分析和收集提取需求;

8、客户问题深层次解答;

9、部门间业务协调性处理;

任职要求：

1、运营平台底层服务运维，保证其正常运行;

2、linux系统组件和中间间部署维护，比如redis tomcate等;

3、docker-compose应用和服务维护;

4、运营系统各模块关联功能维护理解;

5、大数据系统维护和部署;

6、分析故障报告排查和整理;

7、数据分析和收集提取需求;

8、客户问题深层次解答;

大数据运维工程师的职责 篇9

1、大规模以Mesos为资源调度平台，承载了上百套应用的大型数据中心操作系统(DCOS)，负责平台高可用/高并发/可用性管控，有过SRE经验优先考虑。

2、负责指导应用上云及平台自身监控运维性质开发，有devops工作心得优先考虑。

岗位要求

1.良好的语言表达和沟通能力，较强的服务意识与团队合作精神

2.有主动推进预定计划/方案实施的意识，愿意主动学习

3.深入理解Linux操作系统，能够对主机性能进行分析和优化;

4.熟悉常用的监控软件nagios、zabbix、cAdvisor、Prometheus中的一种或多种;

5.熟悉常用的虚拟化技术，了解docker常见的使用方法，编排方式;

6.对mysql、redis、zookeeper、tomcat、haproxy等有一定的运维经验;

7.熟练使用shell、python、go中的一种或多种;

大数据运维工程师的职责 篇10

职责：

1.服务器及应用的安装、部署、维护、更新、监控等;

2.服务器相关资产管理;

3.负责处理平服务器台各类故障，问题快速定位和解决;

4.服务器日常运维，应用等自动化、标准化、平台化;

5.领导安排的其他相关工作。

职位要求：

1.本科及以上学历，，具有2年以上Linux运维经验，计算机、通信、信息技术等相关专业。

2.熟悉主流硬件，服务器DELL、HP、IBM等。对UNIX/Linux等操作系统有一定了解;

3.有安装调试服务器的经验，包括机架式服务器上架，做硬件raid，安装操作系统等;

4.至少熟悉一种自动化运维工具，Ansible、 Puppet、SaltStack，无人值守Kickstart等;

5.至少熟悉一种虚拟化云平台技术，vmware，kvm，citrix，xen，openstack等;

6.良好的沟通能力、学习能力、团队意识、积极的工作态度;

大数据运维工程师的职责 篇11

职责：

1、负责智慧化菜场项目上的网络安全运行与维护;

2、根据业务需求进行调试、优化和部署;

3、负责弱电的设计与设备配置;

4、现场的技术支持及运维服务。

岗位要求：

1、专科及以上学历，计算机相关专业;

2、1年及以上IT相关工作经验，有项目经验的优先考虑;

3、熟练掌握网络设备的配置及网络维护知识;

4、熟练掌握Windows Server或Linux;

5、优秀的沟通能力，较强的服务意识。

IT运维工程师工作的职责4

1. 负责公司网络、基础设施及服务器，交换机的日常维护巡检，保持公司区域

内各机房运行环境的良好状态，记录环境数据;

2. 对公司IT基础网络及其他运营设备进行安装、硬件维护、硬件故障处理等工作;

3. 日常问题及突发事件的及时响应反馈并解决跟进故障处理;

4. 对公司所有IT设备及备件坏件定期检查、检修、替换和保修;

5. 协助客户进行现场资产管理，包括线上、线下设备(包含配件或者备件)的统计与登记，确保重要区域的资产安全;

6. 按照客户的要求，严格执行相应的各项规范;

7. 按照客户的要求，按时提供日常各类报告，包括运维日报、资产月报等;

8. 配合公司及客户进行定期的资产盘点;

9. 能 7x24 小时故障响应;

10.辅助信息安全管理工作。

大数据运维工程师的职责 篇12

1、作为基础资源服务提供方，支持SRE、DBA等工作，保障基础设施稳定性;

2、负责机房规划、管理，包括上架、调试、备件、联系厂商维保,提供稳定高效的硬件环境;

3、机柜管理标准制定与落地(设备放置、空间、布线、双电源);

4、负责基础设施管理与标准化，比如系统初始化、cmdb、账号体系、DNS、NTP;

5、硬件监控报警及应急处理;

6、运行维护Exchange和AD

大数据运维工程师的职责 篇13

职责：

1、负责海内外运营业务平台的环境部署及维护，确保平台稳定的运行;

2、协助运维主管完成，运维相关系统的部署;

4、独立编写Linux运维脚本工具;

5、Linux操作系统性能优化，数据库备份和恢复;

6、对服务器和服务的运行状况监控，及时发现问题，并处理问题;

7、日常运维文档编写，如编写系统运维手册、部署文档、性能参数说明等。

岗位要求：

1、两年以上互联网行业运维工作经验，有平台运维工作经验者优先;

2、熟悉LNMP环境部署及MYSQL数据库的主从，双主部署，性能优化;

3、熟悉Memcached、Redis等维护，有Hadoop、zookeeper、rabbitmq、Kafka部署使用经验更佳;

4、熟悉TCP/IP网络通讯协议及常见的监控系统(如Zabbix、Nagios、Cacit等)，能开发监控脚本，订制监控模板

5、对负载均衡及分布式系统架构有一定了解;

6、思路清晰，具备良好的团队协作精神、沟通能力、服务意识。

大数据运维工程师的职责 篇14

职责：

1.负责公司业务相关服务器日常管理维护;

2.监控和处理服务器突发故障，保证业务正常运行;

3.协助优化业务系统系统架构，提升系统服务性能，提高系统服务效率;

4.为公司产品制定合适的集群部署解决方案。

任职要求：

1.熟悉Linux(Ubuntu系统)的安装、网络及常用服务系统的配置、管理和日常维护。

2.熟悉自动化运维工具Ansible、Chef。

3.掌握nginx, php-fpm，mysql集群, redis集群，RabbitMQ集群管理与配置。

4.有编写bash / python / ruby /脚本经验优先。

5.熟练掌握git版本控制工具的使用。

6.通信、电子工程、自动化、计算机及其相关专业，本科或以上学历。

7.3年或以上的一线运维工作经历。

大数据运维工程师的职责 篇15

职责：

1.基于现在有开源产品和解决方案的能力，为团队提供IT架构规划和咨询的服务;

2.提供云上DevOPS体系建设方案的咨询和实施服务，优化业务交付效率，加速团队的数字化转型;

3.在开发、测试和生产各阶段配合业务架构师完成环境的搭建与演示，组织内部资源，帮助完成云产品与技术方案的测试、咨询与实施。

任职要求：

1. 计算机或通信相关专业专科以上学历，5年以上大规模业务系统研发、运维、项目交付经验;

2. 针对大型分布式系统架构设计、容灾高可用/业务多活/两地三中心架构有深入理解和丰富的项目落地经验;

3. 精通Linux/windows系统，对于常用的运维工具，开源软件(Nginx、Tomcat、Hadoop、Hbase、zookeeper、MQ、Redis等)的部署及配置优化实践经验;

4. 精通MySQL、SQL Server、Oracle、PostgreSQL、Redis、Memcache等两种以上主流数据库和缓存技术，有丰富的数据库的优化/维护经验;

5. 熟悉微服务、容器化架构，以及相关技术，对Istio、Docker、Kubernates，mesos等容器编排技术有丰富的实践和落地经验;

6. 熟悉主流公有云产品，有维护本地机房经验;

7. 有大型综合项目的交付和落地经验，有较好的推动能力、风险识别意识和技术撑控判断力;

8. 具备良好的客户沟通能力及技巧，工作积极主动，认真负责，心理素质好，能承受较大工作压力;

9. 具备英文阅读、书写和沟通能力。