大資料運維工程師的主要職責說明

大資料運維工程師需要設計實現大規模分散式叢集的運維、監控和管理平臺。下面是本站小編為您精心整理的大資料運維工程師的主要職責說明。

大資料運維工程師的主要職責說明1

職責：

1、響應及解決客戶的技術要求、疑問以及系統使用過程中的各種問題;

2、負責服務過程中問題現象和處理方案的收集撰寫，形成知識庫，並對知識庫進行維護更新;

3、及時反饋技術處理過程中的異常情況，及時向上級反饋告警，同時主動協調資源推動問題解決;

4、定期對所有服務問題進行分析，並對服務效率有影響的問題提供反饋意見，提升服務支撐團隊專業度。

5、能夠獨當一面，具備獨立思考和處理問題的能力，並能夠與客戶建立良好的關係。

6、明確工作範圍，定期與客戶溝通工作量，並獲取客戶回執，及時歸檔。

7、能夠快速熟悉參與專案中的業務，總結後與研發定期溝通。

崗位要求：

1、3年及以上工作經驗，計算機相關專業本科及以上學歷;

2、熟悉weblogic中介軟體的安裝部署;

3、熟悉Oracle資料庫的增刪改查操作;

4、瞭解ETL相關內容，如Informatica、kettle等，具備基礎操作技能;

5、瞭解BI報表相關內容，如cognos、tableau、自助式分析工具等，具備基礎操作技能;

6、掌握基本的windows/linux操作命令;

7、熟練操作Office辦公軟體;具有較強的文件理解與編寫能力，具有較強的語言表達及溝通協調能力;

8、熟悉電網業務優先。

大資料運維工程師的主要職責說明2

職責:

1. 管理公司大資料叢集，提供高可用、高效能大資料集群系統，並保障系統穩定執行

2. 負責大資料叢集效能監控與優化，故障處理，資料備份及災難恢復

3. 負責大資料叢集自助平臺的高可用架構設計和負載均衡的設計和實現

4. 負責業務系統大資料叢集管理，包括資料庫日常維護，系統資料安全以及許可權管理、故障處理、日常錯誤情況處理等

5. 負責依據業務需求優化資料儲存結構，負責資料庫系統部署方案的計劃、設計和實施

6. 負責系統大資料叢集定期檢查，進行效能分析與調優，充分保證資訊系統資料的安全及系統高效執行

任職資格:

1. 全日制本科及以上學歷，計算機或相關專業，1年以上hadoop運維經驗

2. 熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、HBase、Spark、hive等的安裝配置和優化

3. 熟悉MySQL等關係型資料庫的部署與優化，瞭解MongoDB或Cassandra等NoSQL資料庫

4. 熟悉Linux類作業系統的基礎命令操作，能夠編寫指令碼開展日常運維工作

5. 熟悉Linux開發環境，會使用Shell/Java/Python中的一門指令碼語言

6. 熟悉常見開源工具如Nginx、Zabbix、Grafana等的安裝配置和使用

大資料運維工程師的主要職責說明3

職責:

1、負責大資料運維體系中的監控工作;

2、負責處理使用者服務請求事件;

3、負責監控報警事件的處理;

4、負責協助完善監控體系;

5、負責監控平臺運維工作，持續優化監控體系;

6、按時完成領導交辦的其他相關工作。

任職要求：

1、大專及以上學歷，計算機相關專業，1年以上大資料系統運維經驗;

2、熟悉linux作業系統，熟悉hadoop、hive、hbase、yarn、spark、storm等元件的原理及運維方式;

3、熟悉中介軟體工作原理，對TOMCAT/jetty/nginx/微服務有一定了解，具備一定的操作能力;

4、至少熟悉python/bash/shell一種或多種語言，可獨立編寫維護及監控指令碼;

5、有強烈的求知慾和鑽研技巧，具有良好的獨立分析問題與迅速解決問題的能力;

6、有良好的職業責任心和團隊協作意識;

7、能適應7*24小時三班倒工作時間。

大資料運維工程師的主要職責說明4

職責：

1、負責公司大資料叢集的構建，任務排程、監控預警，持續完善大資料平臺，保證穩定性、安全性;

2、負責叢集容量規劃、擴容、叢集效能優化及日常巡檢和應急值守，參與大資料基礎環境的架構設計與改進;

3、深入研究大資料業務相關運維技術，持續優化叢集服務架構，探索新的Hadoop、Spark運維技術及發展方向;

4、具備ownership，故障排查能力，有很好的技術敏感度和風險識別能力;

5、良好的服務意識，主動思考，自我驅動力。

任職資格：

1、熟悉RedHat、CentOS、Ubuntu系列Linux系統的配置、管理、核心優化。能夠獨立編寫(Shell/Python)指令碼語言，指令碼開展日常伺服器的運維;

2、熟悉hadoop生態圈Hadoop, Kafka, Zookeeper, Hbase, Spark、YARN、Elasticsearch、Storm、Tomcat的安裝、除錯和運維經驗; 熟悉分散式日誌分析系統ELK及相關技術;

3、熟悉軟硬體裝置，網路原理，有豐富的大資料平臺部署，效能優化和運維經驗; 瞭解運維高容量、大流量、大併發Web系統的業務知識以及解決方案;

4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

6、mongodb、mysql等配置、調優和備份。

大資料運維工程師的主要職責說明5

職責：

1.負責參與公司大資料基礎架構平臺規劃，運維，監控和優化工作，保障資料平臺服務的穩定性和可用性;

2.研究大資料前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

3.負責公司Hadoop核心技術元件HDFS、Yarn、MapReduce、HBase、Storm大資料儲存計算核心的監控和日常運維工作。

4.獨立完成大資料運維過程中問題定位、問題解決、並進行總結及部門的大資料基礎技能培訓;

任職要求：

1. 計算機、資訊系統、數學或相近專業本科以上學歷;

2. 擁有至少3年以上Hadoop運維經驗、具備基於CDH與HDP的維護經驗;

3. 熟悉Hadoop大資料生態圈服務的工作原理，具備相關實戰維護經驗，包括但不限於HDFS、YARN、Hive、HBase、ELK、Spark、Kafka、Zookeeper、Flume等;

4. 至少獨立維護過中大型Hadoop集群系統服務;

5. 至少精通Python,shell中的一種,瞭解JAVA;有良好的系統性能優化及故障排除能力;

6. 有大資料架構師工作經驗更佳;