大資料運維工程師的崗位職責（通用20篇）

大資料運維工程師的崗位職責 篇1

職責：

負責公司大資料業務叢集的運維工作、叢集容量規劃、擴容及效能優化;

設計實現大規模分散式叢集的運維、監控和管理平臺;

參與業務架構設計，在設計階段給出可運維性改進建議;

深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

負責公司大資料平臺的應用監控、容量管理，應急響應等;

領導安排的其他工作。

任職要求：

1、本科及以上學歷，軟體工程、計算機等相關專業;

2、熟悉計算機原理、網路原理等知識;至少2年以上運維或開發工作經驗;

3、搭建，管理及調優Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源專案優先;

4、至少掌握java/python/go中的一種語言;

5、熟悉HBase/Flink/mysql/redis運維優先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很強的分析和解決問題的能力;

8、具有攻克難題的強烈興趣，以及提升技術能力的意願;

9、善於主動學習，責任心強，能夠承受較大的工作壓力。

大資料運維工程師的崗位職責 篇2

職責：

1. 負責公司核心叢集的運維工作,保證其高可用和穩定性。

2. 負責叢集容量規劃、擴容及叢集效能優化。

3. 深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的Hadoop運維技術及發展方向。

4. 設計實現分散式叢集的運維、監控和管理平臺。

職位要求：

1.2年以上中等規模叢集環境下的Hadoop/Impala/Hive/Spark叢集相關運維經驗。

2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關引數調優, 效能優化等有實際經驗。

3.有實際踩坑經歷, 對於相關元件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗。

4.實際處理過各種叢集線上版本升級, 資料遷移, 叢集擴容, 穩定性監控等工作。

4.熟悉Kerberos安全認證系統，實施過叢集許可權管理, 資源隔離方面的方案規劃或二次開發工作。

5.有Cloudera的CM使用經驗尤佳。

大資料運維工程師的崗位職責 篇3

職責：

1、負責公司伺服器日常的維護，包括巡檢、故障排除、資料備份等業務，保證伺服器高質量、高效率執行狀態;

2、負責公司大資料產品的現場實施，制定可靠的實施方案;

3、負責公司大資料環境(hadoop生態)叢集環境安裝、維護、部署、優化;

【任職資格】

1、至少2年伺服器、大資料叢集運維經驗;

2、精通linux運維命令，熟悉Linux的維護和管理，熟悉Shell指令碼開發，能看懂Python/Scala優先;

3、熟悉大資料專案實施：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大資料生態的平臺搭建，監控，運維，調優、生產環境;

4、熟悉docker技術優先;

5、熟練使用git版本控制，jenkins持續整合工具優先;

6、具備強烈的進取心、自我學習能力,良好的溝通能力和團隊合作意識。

大資料運維工程師的崗位職責 篇4

職責：

1.負責公司大資料業務叢集的運維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

2.負責大資料平臺的日常部署、升級、擴容、遷移;

3.設計實現大規模分散式叢集的運維、監控和管理平臺;

4.參與業務架構設計，在設計階段給出可運維性改進建議;

5.深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的大資料運維技及發展方向;

6.兼顧應用系統的運維工作。

任職要求：

1.要求掌握java、shell語言，有Spring Cloud微服務架構開發經驗的優先;

2.瞭解Docker，可以做簡單應用;

3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源專案優先;

4.熟悉Linux作業系統的配置、管理及優化，能夠獨立排查及解決作業系統層面的問題;

5.掌握puppet、kerberos應用的優先;

6.良好的客戶服務意識，強烈的責任心和使命感，執行力強，富有團隊合作精神;

7.對大資料方向運維有很高的熱情和興趣，能主動學習瞭解相關知識;

大資料運維工程師的崗位職責 篇5

職責：

1、負責公司大資料平臺的部署、管理、優化、監控報警，保障平臺服務7*24穩定可靠高效執行;

2、深入理解公司大資料平臺架構，發現並解決效能瓶頸，支撐業務和資料量的快速增長;

3、開發大資料自動化運維、監控報警、故障處理相關指令碼和工具;

4、負責Hadoop/spark/Mysql等叢集服務、業務監控、持續交付、應急響應、容量規劃等。

任職要求：

1、3年以上網際網路運維相關工作經驗，2年以上大資料平臺運維相關工作經驗;

2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上指令碼語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協議;

3、熟悉Hadoop大資料生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各元件的原理和實現，有實際部署維護、管理( 包括元資料管理)及優化經驗。並擁有持續調優能力，運維管理過大規模資料平臺;

5、熟悉 Kubernetes(K8s) 叢集 Docker 在大資料環境場景的使用;

6、熟悉Linux(redhat/centos)軟硬體環境、系統管理和優化，熟練部署、優化各種常用服務

7、有Java開發經驗和閱讀原始碼能力者優先。

大資料運維工程師的崗位職責 篇6

職責：

1、負責公司遊戲及相關網路產品線上系統的部署、除錯、升級、優化等工作;

2、負責線上系統的監控，故障處理;

3、負責各類資料備份、恢復、檢查工作;

4、參與產品的系統、網路規劃及後期日常運維，包括系統優化、安全檢測和維護、緊急事響應等;

5、產品相關後臺管理系統的技術需求收集、整理及文件撰寫，並協助開發人員進行系統實現;

崗位要求

1、3年以上網際網路產品的系統運維經驗，大專及以上學歷;

2、精通Linux作業系統的使用與維護,精通linux各種常用命令，並能用Shell指令碼語言程式設計;

3、深入理解TCP/IP的通訊原理，掌握各種路由協議的技術原理及部署方式，熟悉VPN、防火牆、NAT等網路技術和應用;

4、瞭解開源網路監控管理軟體(cacti、zenoss、Nagios等)的基本原理和部署方式;

5、熟練Apache/Nginx/Mysql/PHP/DNS等常見服務的安裝部署、日常運維和優化;

6、熟悉Redis/Codis/MongoDB/MyCAT/Elasticsearch/Kafka/RabbitMQ 叢集部署經驗者優先;

7、擁有大型網遊/網路雲平臺應用及運維工作經驗者優先;

大資料運維工程師的崗位職責 篇7

職責：

1.負責公司伺服器相關工作的業務溝通、容量規劃、資產管理、備份、調優等工作

2.對接供應商，負責公司伺服器的安裝部署、日常管理維護及日誌的監控與分析

3.對接供應商，負責公司伺服器7x24的及時故障分析和排除

4.負責公司伺服器運維手冊，制定運維計劃、操作規範、應急手冊等資料編寫

5.負責監控檢查系統軟體、服務執行狀態和操作記錄並進行詳細的資料化記錄定期彙總並上報給負責人

6.部門負責人交代的其他伺服器相關事情

職位要求：

1.全日制專科及以上學歷計算機相關專業1年以上相關工作經驗

2.精通LINUX/WINDOWS作業系統的安裝、配置以及運維命令和工作能夠熟練排查運維過程中出現的服務故障、系統故障、網路故障

3.能夠獨立完成本地和雲伺服器(WINDOWS、LINUX)的日常管理如配置、除錯、實施、維護、病毒防禦等工作

4.有較強的溝通協調能力及高度責任心

5.有常見中介軟體、資料庫運維經驗者優先

大資料運維工程師的崗位職責 篇8

職責：

1，負責應用系統日常維護，資源的分配、規劃、管理。

2，保障各主機硬體平臺和執行環境的穩定;

3，負責各硬體平臺及應用系統的應急響應和故障的及時處理;

4，解答使用者諮詢，解決使用者使用系統中的日常問題;

5，運維日誌收集，運維文件編寫等日常工作;確保系統24x7穩定執行。

任職要求：

1，計算機相關專業，大專及以上學歷;

2，具有良好的溝通表達能力，獨立問題分析和解決能力;

3，熟悉Linux系統;熟悉 Apache、NginX、tomcat等常用服務的安裝、配置和維護;熟悉資料庫的簡單操作;

4，具備專案文件、技術文件的編寫能力;

5，有大型OA系統運維經驗或開發轉運維優先。

大資料運維工程師的崗位職責 篇9

職責：

1、 負責客戶內網建設和管理，進行網路架構的規劃、設計、調整、效能優化;

2、 網路環境的管理，配置，排錯，維護;

3、 網路裝置的安裝、配置、管理，提供網路裝置維護方案;

4、 網路安全，網路質量及網路裝置的監控;

5、 建立完整的網路系統文件;

6、 協助辦公網路環境的維護，終端裝置的維護。

任職要求：

1、 具備良好語言表達能力和溝通能力，本科及以上學歷， 3年以上相關經驗，對網路建設有深入瞭解;

2、 熟悉網路技術，有網路配置、除錯經驗;

3、 有環保行業經驗優先擇錄。

大資料運維工程師的崗位職責 篇10

職責：

1、負責伺服器日常基本運維工作;

2、根據伺服器標準OAT上線流程，執行伺服器及資料庫的安裝，完成OAT報告;

3、負責伺服器作業系統及其資料庫的常規及緊急補丁更新，並提供報告;

4、負責相關主機作業系統、儲存、備份、虛擬化平臺、資料庫的效能、可用性和容量監控的日常檢查;

5、負責檢查並確保伺服器資產及其他系統登記資料的一致性及準確性;

6、配合DHL伺服器管理團隊，完成IT專案在中國區的實施;

7、其他上級經理交代的事宜。

任職資格：

1、 1-2年Windows、Linux伺服器安裝、管理及維護管理經驗;

2、熟悉VMware虛擬化軟體，熟悉HP伺服器;

3、熟悉使用Linux作業系統及Linux操作命令;

4、熟悉SQL server，MySQL至少1種資料庫系統的基本部署、監控;

5、重視流程規範，熟悉Windows及Linux伺服器環境和安全配置;

6、性格開朗、誠實、積極、主動團隊配合能力強;

7、良好的英文讀寫能力。

大資料運維工程師的崗位職責 篇11

職責：

1、與開發團隊一起構建高可用，高度靈活和高可擴充套件性的系統平臺，參與系統架構設計;

2、及時響應並處理線上故障，快速處理運維事故，保障業務穩定執行;

3、負責運維體系的建立與完善，伺服器管理，應用監控、容災、備份機制，系統調優、安全方案，系統應急處理預案的制定等;

4、負責系統安全和資料安全相關的技術，並協助處理政策相關事務。

任職要求：

1、專科及以上學歷，計算機相關專業;

2、2年以上網際網路行業運維經驗;

3、熟悉Linux環境中nginx/jenkins/elk/mongodb/mysql/redis/kafka/hadoop/spark快取及佇列服務等工具的配置維護，並掌握工作原理;熟練並掌握至少一種指令碼程式語言;熟悉Docker，K8S 等容器技術;熟悉負載均衡技術，叢集技術等;

4、掌握 Zabbix/Promethus至少一種開源監控工具的使用;

5、瞭解網路原理，熟悉 TCP/IP 協議。

大資料運維工程師的崗位職責 篇12

職責：

1 省中心繫統的運維保障工作;

2 響應使用者資料處理需求;

3 系統版本釋出，執行環境管理，確保系統穩定執行;

4 應用系統、資料庫故障排除;

5 伺服器、資料庫，應用系統日常巡檢;

6 資料備份與資料還原;

7 為系統優化提供建議。

任職要求：

具有較好的溝通能力和抗壓能力，工作積極主動，服務意識強;

熟悉SQL SERVER、ORACLE資料庫的維護與優化、資料備份與恢復;

熟練掌握常用SQL語句書寫;

熟練使用Windows Server、CentOS等常用伺服器作業系統;

熟練掌握tomcat、nginx的部署與配置;

至少熟悉vmware、華為、華三虛擬化平臺中一種;

對於常用伺服器、儲存、網路裝置有一定了解。

大資料運維工程師的崗位職責 篇13

職責：

負責資訊化系統的版本升級和效能優化;

負責資訊化系統客戶端的安裝和操作指導;

負責制定資訊化系統的操作手冊和故障處理手冊;

負責資訊化需求收集、分析、解決、培訓;

負責專案實施推廣和落地;

負責資訊化系統的應用系統的故障處理和運維。

崗位要求：

具備財務基礎知識，熟悉財務軟體者優先。例如國內的用友、金蝶，國外的sap、oracle;

具備1-2年的財務系統運維經驗;

良好的溝通表達能力，有良好的服務意識;

工作細緻、嚴謹;良好的職業道德及溝通、協調能力。

大資料運維工程師的崗位職責 篇14

職責：

1、負責客戶提供現場生產問題支援、執行環境部署和系統日常執行維護工作;

2、接聽使用者電話、解答回覆使用者反饋的問題;

3、做好客戶跟蹤、回訪及支援、維護工作，及時解答處理客戶使用系統過程中出現的問題;

4、記錄問題跟蹤日誌，定期總結問題報告，配合開發部門完善系統功能。

任職資格：

1、大專及以上學歷，計算機或網路相關專業畢業。

2、熟悉Oracle資料庫和Unix/Linux 系統，具有一定的資料庫操作能力;

3、具備較強的客戶溝通能力，能夠耐心、迅速的分析並理解客戶提出的問題和需求;

4、具備良好的團隊合作精神、高度的責任感，對工作積極嚴謹;

5、注重細節，工作細心，有良好的規範化文件書寫能力。

6、能夠出差到客戶現場進行維護工作

大資料運維工程師的崗位職責 篇15

1. 按照要求完成桌上型電腦和筆記本的硬體拆卸組裝、常用作業系統(MacOS、Win、Ubuntu)的安裝工作;

2. 完成日常常用軟體(如Office、PS、釘釘)安裝解除安裝、故障排查分析工作;

3. 完成網路故障排查工作;

4. 需要協助資產同事完成資產相關工作，如資產入庫出庫登記、協助總部資產同事完成資產盤點等，

5. 完成會議室的日常巡檢和維護工作(投影儀&電視裝置的日常巡檢和維護);

6. 完成印表機的日常巡檢和維護工作;

7. 完成總部安排的不定期的出差工作;

8. 完成上級佈置的臨時性工作;

大資料運維工程師的崗位職責 篇16

職責：

1、負責銀行資料中心內基礎環境交付工作，包含伺服器、作業系統批量安裝配置管理。

2、負責運維自動裝機系統及其他自動化運維繫統，通過指令碼批量配置管理伺服器及系統。

3、對資料中心進行週期性巡檢，及時發現故障隱患，協助故障處理。

4、其他的一些日常運維工作。

崗位要求：

1、全日制本科學歷，計算機、網路、通訊等相關專業畢業，2年以上工作經驗。

2、熟悉Linux系統安裝配置，熟悉 shell命令，會編寫bash指令碼，對linux系統有豐富運維管理經驗，具備RHCE認證更佳。

3、瞭解cobbler自動裝機或其他自動裝機原理，熟悉Ansible，具備基礎python程式設計能力，會flask api的優先考慮。

3、瞭解X86架構伺服器，有大中型企業資料中心Linux運維工作經驗者優先。

4、具有良好的抗壓能力、溝通表達能力、人際交往能力、情緒控制能力以及團隊協作能力。

5、有較強學習能力和學習意識，能夠積極主動的學習掌握新產品新技術。

6、有較強安全生產意識，嚴格遵守公司及客戶規章制度。

大資料運維工程師的崗位職責 篇17

職責：

1、負責根據業務需求，在ERP產品上設計並實現客戶需求。

2、負責整個ERP專案執行，維護，包括電商的整體執行。

3、完成軟體系統程式碼實現，編寫程式碼註釋及開發文件。

4、進行開發專案前期的需求定義和程式設計。

5、根據設計文件或需求文件完成程式碼編寫、除錯、測試和維護工作。

任職要求

1、3-5年以上大型網站電商開發經驗。

2、熟練掌握MYSQL和SQLServer資料庫程式設計。

3、熟練掌握C#開發C/S和B/S架構系統。

4、思維縝密，邏輯分析能力強。

5、良好的語言表達、溝通、書寫文件能力。

6、軟體相關專業、有財務或ERP相關經驗者優先。

7、從事過用友或其他ERP軟體的擴充套件開發工作者優先。

大資料運維工程師的崗位職責 篇18

職責:

1、負責線上系統的部署、維護和容量規劃;

2、負責業務伺服器的配置，維護，監控，調優，故障排除等，保障執行環境的穩定執行;

3、負責線上系統的上線、變更、優化等的方案制定及實施;

4、推動及開發高效的自動化運維、管理工具，提升運維工作效率;

5、負責伺服器安全規劃及實施;

6、日常運維文件的撰寫整理工作。

崗位要求：

1、有大型網站運維經驗，3-5年運維或系統管理經驗;

2、有熟練的MYSQL操作及優化經驗;

3、熟練掌握shell，python，等任一種語言;

4、熟悉常用服務軟體(tomcat，nginx， redis，rabbitMQ等)的安裝、配置、管理及優化;

5、熟悉Haproxy，LVS等負載均衡的配置與應用;

6、熟練zabbix，Nagios，catci等常用的監控軟體;

7、對docker有實操經驗者優先;

8、有較好的溝通能力和團隊協作精神，具有高度責任心，能夠嚴格遵守職業操守。

大資料運維工程師的崗位職責 篇19

職責：

1. 負責大資料平臺的規劃、部署、監控、系統優化及運維等工作，保障系統7*24小時運營;

2. 為線上服務高效穩定執行負責，支撐業務和資料量的快速擴張，發現並能解決重大故障及效能瓶頸;

3. 深入理解系統平臺及大資料相關運維技術，持續優化叢集服務架構;

4. 對大資料體系下新技術的調研、應用、對內培訓。

職位要求：

1. 至少3年以上大資料運維經驗， 深入理解Linux系統，運維體系結構;

2. 深度優化HADOOP平臺MR作業/計算框架/儲存技術，提升叢集吞吐並降低成本;

3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大資料系統的運維經驗，有開發經驗;

4. 熟悉HADOOP生態，有資料安全相關工作經驗， 並能對平臺CPU/MEM/IO/網路/排程中一個或多個方面的效能調優;

5. 熟練掌握shell/python中的任意一門指令碼語言;

6. 強烈責任感、縝密的邏輯思維能力，良好的團隊協作能力，具備良好的專案管理及執行能力;

大資料運維工程師的崗位職責 篇20

職責：

1、負責公司平臺雲伺服器的日常運維工作;

2、負責公司運營業務平臺的環境部署及維護，確保平臺穩定的執行;

3、負責資料中心建設、運維和日常值班工作;

4、處理網路突發事件，解決網路故障,保障線上業務7*24穩定執行;

5、具備效能分析及運維經驗，能夠針對Linux伺服器、MySQL資料庫伺服器，找到效能瓶頸及缺陷，提出優化方案;解決維護工作中的技術疑難，提出針對性的解決方案;

6、編寫各類維護文件，譬如：實施方案、實施報告、巡檢報告、故障處理報告等。

任職要求：

1、大專及以上學歷，計算機相關專業，有至少2年以上網站運維經驗;

2、熟悉Unix/Linux和Windows作業系統的基本命令、常規服務、檔案結構;

3、熟悉桌面維護及網路安全知識，可熟練進行區域網的搭建和網路裝置的基本維護和故障處理;

4、熟悉騰訊雲/阿里云云伺服器，有大資料、高併發資料庫開發維護經驗優先;

5、具備良好的溝通能力和團隊合作精神，高度的責任心，有較強的溝通能力。