大資料開發工程師的崗位職責

大資料開發工程師負責該領域的業務需求討論，完成技術方案及資料開發。下面是本站小編整理的大資料開發工程師的崗位職責。

大資料開發工程師的崗位職責1

職責:

1、負責所分管團隊的團隊建設和日常管理工作;

2、負責核心技術問題攻關和效能優化，持續維護和引進最新的大資料技術到城市大資料平臺中，支撐城市級大資料平臺業務;

3、承擔城市資料標準編制和資料模型的設計;

4、承擔專案中資料相關方案設計及資料團隊管理;

5、參與城市大資料專案中資料採集、加工過程、分析挖掘模型演算法的實施工作。

任職資格:

1、1年以上資料開發工作經驗，熟練使用SQL查詢引擎;

2、熟悉Hadoop、Mpp、Oracle等至少一種資料倉庫工具

3、具備良好的程式語言基礎如：java/python/scala/c++/shell等

4、二本以上學歷，計算機相關專業或者有相關培訓經歷者優先

5、 個人素質要求：目光長遠、態度誠懇、崗位有穩定性，能夠長期培養、具備很強的自學能力、承壓能力強、接受出差支援專案等工作。對資料工作具備濃厚的興趣並有明確職業規劃，優秀的學習能力和團隊溝通協作能力，對新技術有濃厚興趣並有鑽研精神。

大資料開發工程師的崗位職責2

職責：

1、依據客戶需求完成大資料專案的資料分析及建模;

2、進行大資料核心演算法的編寫;

3、參與專案的需求分析、系統設計、編碼工作;

4、參與開發過程中相關新技術的研究和驗證。

5.協助承擔架構性的體系設計和改造工作，配合制定技術實施方案，按照總體設計組織子系統的設計和開發。

任職要求：

1、精通資料建模、資料體系建設，具備資料倉庫架構設計、模型設計和處理效能調優等相關經驗;

2、具有豐富的基於hadoop體系的資料平臺、資料倉庫建設經驗，精通基於hadoop原始碼的開發、優化改造及成功應用案例;

3、精通hadoop生態體系各項技術，如kafka、flume、hive、impala、hbase、spark等，具有100+節點hadoop叢集的開發、運維經驗;

4、具有對大型hadoop叢集的硬體規劃能力;

大資料開發工程師的崗位職責3

職責

1、負責基於hadoop/spark生態系統、億級別資料的全文檢索，搜尋引擎的產品研發;

2、基於海量使用者行為資料和其他資料，分析和研究資料與實際業務的關聯關係，並與實際業務應用相結合開發;

3、負責大資料分析需求設計和開發，承擔資料抽取、清洗、轉化等資料處理程式開發。

任職要求：

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態圈，具備相關專案開發經驗，有資料實時計算專案經驗優先;

2、有搜尋引擎全文檢索開發經驗 ，如：elasticsearch、solr;

3、熟悉python、R任意一門開發語言;

4、有SAAS，PAAS企業級應用平臺或者網際網路，金融等大型應用平臺開發經驗優先考慮;

5、 本科及以上學歷，計算機/軟體工程/統計學/數學等相關專業，網際網路/金融等行業3年以上工作經驗;

6、擁有良好的程式碼習慣，要求結構清晰、命名規範、邏輯性強、程式碼冗餘率低，程式碼註釋清晰;

7、熟悉使用svn，禪道等專案管理工具，有良好的團隊協作開發經驗.

大資料開發工程師的崗位職責4

職責：

1、從事Hadoop、Spark、Hbase、hive等分散式大資料產品的設計和開發;

2、針對部門大資料業務進行大資料分析、挖掘等產品應用的開發;

3、大資料平臺各類資料業務抽象及模型化;

4、參與大資料管理平臺的開發及維護;

5、負責大資料平臺數據及相關的應用開發，調優及維護;

6、為專案相關開發人員提供大資料技術指導及解決大資料平臺應用中遇到的技術難題;

7、良好的團隊合作與溝通能力。

任職要求：

1、本科及以上學歷，2年以上大資料應用開發經驗;

2、具備Java、Python、Scala其中兩種語言的開發經驗;

3、瞭解泛Hadoop大資料生態圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術，並有實際的專案開發經驗，有相關原始碼研究者優先;

4、具備ETL開發與運維能力，有Flume、kettle經驗優先;

5、熟悉大資料平臺的搭建過程，熟悉資料處理流程，有TB級以上資料處理經驗優先，有實時資料處理經驗者優先;

6、熟悉離線和實時資料處理流程，熟練使用Spark，Flink處理TB級資料優先;

7、熟悉Linux系統環境，有shell等指令碼編寫經驗，熟悉Mysql、PostgreSql、Oracle等常用關係資料庫，熟練編寫SQL語句;

8、熟悉Yarn,Kubernetes,Azkaban等資源排程框架者優先;

9、熟悉Datax的二次開發，並有實際開發經驗優先。

大資料開發工程師的崗位職責5

職責：

1、負責資料分析、加工、清理，相關處理指令碼和程式的開發;

2、負責開發大資料工具，如報表平臺、多維度分析工具、ETL平臺、排程平臺的研發;

3、負責分散式大資料平臺應用開發(Hadoop/Spark/Hive/HBase等);

4、負責大資料相關平臺的維護、優化。

任職要求：

1、本科及以上學歷，計算機相關專業，具有5年及以上的大資料ETL或資料開發經驗，熟悉大資料元件的維護以及調優;

2、熟練掌握Java或Python程式語言，熟悉大資料架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個，熟悉Sqoop、DataX等資料匯入工具;

3、能熟練使用Hive、HBase、Spark等加工和處理資料，有海量資料處理經驗;

4、有資料倉庫開發經驗/BI系統開發經驗優先;

5、有電商行業資料處理與分析平臺開發經驗者優先。