資料工程師

Job description

【職務內容】

• 在Hadoop架構的資料倉儲(Data Warehouse)上建立具備擴充性與高可靠性的資料產品，為數據科學家與業務團隊提供穩健的資料基礎。
• 與數據科學家和業務分析團隊合作，理解需求並提供適用的資料解決方案。
• 設計並構建可擴展、高效的資料產品和資料管線 (ETL/ELT)。
• 設計並實作資料品質驗證與監控機制，確保資料正確性。
• 規劃並實施資料管線的持續交付流程 (CI/CD)，提升自動化與開發效率。
• 參與資料架構設計，提出技術改進與最佳實踐建議。
• 撰寫並維護資料流程文件，確保資料資產可追溯且易於維護。
• 採用Scrum管理流程，跟不同專案小組(Scrum team)進行溝通及合作。
• 參與機器學習模型、數據特徵庫、產品推薦系統、大型語言模型(LLM)、自主數據分析平台等專案小組(視職能及個人興趣進行安排)。 【必備條件】
• 具備資料管線開發與資料建模經驗。
• 熟練使用 Python、SQL程式語言。
• 熟悉 Spark 及Hadoop 生態系 (HDFS, Hive, Yarn, HBase 等)。
• 熟悉資料模型設計 (Star Schema, Snowflake Schema 等)。
• 有設計ETL/ELT 流程並管理資料產品生命週期的經驗。
• 熟悉資料驗證及CI/CD 流程設計 。
• 有資料流程排程工具經驗 (如 Airflow、Luigi 等)。
• 具備SQL資料庫設計與查詢優化能力。