【數位驅動】數據營運工程師_Hadoop (數數發中心,DDT)

Job description

【主要職責 Who we are looking for】 你將負責雲端和地端Hadoop大數據平台的運維工作，建立自動化流程及標準作業程序，以提升Hadoop大數據平台擴展與新場景應用，加速集團數據趨動轉型。 【職務說明 What will you do】

• Cloudera和Opensource Hadoop 平台維運、監控及管理。
• Python、Spark job 問題排除
• AWS EMR維運監控
• Sagemaker、Glue Job 維運監控
• 協助數據團隊進行雲/地端系統架構設計
• 協助團隊進行雲/地端系統部屬上線
• 協助團隊進行GPU環境的架設部屬和框架設定
• 協助數據應用場景高可用部署、備份/還原及故障排除。
• 當負責之數據服務被設定為"不能中斷"之服務等級，則需配合維運團隊於非上班時段on call以便即時處理問題，確保服務穩定。