Data Engineer/GG10

Job description

Description and Requirements

Job Summary

We are seeking a Cloud Data Engineer to join our Data Platform Team and help build trusted, secure, and reusable data products for an insurance business. Working with senior engineers, the successful candidate will develop and operate cloud-based data pipelines that connect internal and external sources with analytics, reporting, operational, and AI use cases. 保険事業で活用される、信頼性・安全性・再利用性の高いデータプロダクトの構築を支援する Cloud Data Engineer を募集します。

シニアエンジニアの指導のもと、社内外のデータソースを分析、レポーティング、業務、 AI のユースケースにつなぐクラウドベースのデータパイプラインを開発・運用します。 This is an early-career role for candidates with a strong foundation in SQL and programming and a willingness to learn Microsoft Azure data services, modern lakehouse and ETL/ELT practices, DataOps, and insurance data controls. You will contribute through hands-on coding, testing, documentation, monitoring, and problem solving rather than through team leadership or vendor management. 本ポジションは、 SQL とプログラミングの基礎を持ち、 Microsoft Azure のデータサービス、モダンなレイクハウスおよび ETL/ELT 、 DataOps 、保険データに求められる管理要件を学ぶ意欲のある若手向けです。

チームリードやベンダー管理ではなく、コーディング、テスト、文書化、監視、問題解決を通じて貢献します。 You will work in an agile, multinational team and collaborate with data engineers, platform and SRE engineers, business analysts, application teams, security, risk, and data-governance stakeholders. The role offers structured mentoring, practical experience across the data lifecycle, and opportunities to grow into a well-rounded cloud data engineer. アジャイルかつ多国籍なチームで、データエンジニア、プラットフォーム／ SRE エンジニア、ビジネスアナリスト、アプリケーションチーム、セキュリティ、リスク、データガバナンスの関係者と協働します。

体系的なメンタリング、データライフサイクル全体の実務経験、総合的なクラウドデータエンジニアへ成長する機会を提供します。 Because insurance data may contain sensitive customer and policy information, the successful candidate is expected to follow security, privacy, data quality, lineage, retention, and audit requirements in all development and operational activities. 保険データには機微な顧客情報や契約情報が含まれるため、すべての開発・運用活動において、セキュリティ、プライバシー、データ品質、リネージ、保存、監査の要件を遵守することが求められます。 Responsibilities The successful candidate will be responsible for the following, with guidance from senior team members: シニアメンバーの指導のもと、以下の業務を担当します。

• Develop, test, deploy, and support batch or near-real-time ETL/ELT pipelines using approved Azure services and engineering standards. 承認された Azure サービスとエンジニアリング標準を用いて、バッチまたは準リアルタイムの ETL/ELT パイプラインを開発、テスト、デプロイ、運用支援する。
• Write clear, maintainable SQL and Python or PySpark code for data ingestion, transformation, validation, and delivery. データの取り込み、変換、検証、提供のために、読みやすく保守可能な SQL および Python または PySpark コードを作成する。
• Assist with source-to-target mapping, data modeling, metadata, cataloging, lineage, and technical documentation. Source-to-Target Mapping 、データモデリング、メタデータ、カタログ、リネージ、技術文書の作成を支援する。
• Implement automated unit, integration, reconciliation, and data-quality checks, including handling schema changes, duplicates, late data, and failed records. スキーマ変更、重複、遅延データ、異常レコードへの対応を含む、単体・結合・照合・データ品質テストの自動化を実装する。
• Use Git and CI/CD practices to manage code, peer reviews, releases, and environment promotion in an auditable manner. Git と CI/CD のプラクティスを用い、コード、ピアレビュー、リリース、環境間昇格を監査可能な形で管理する。
• Monitor pipeline health, data freshness, job duration, and failures; follow runbooks, investigate issues, and escalate promptly when needed. パイプラインの稼働状況、データ鮮度、処理時間、失敗を監視し、 Runbook に従って調査し、必要に応じて速やかにエスカレーションする。
• Participate in incident, problem, change, and release-management activities, including evidence collection and post-incident improvement actions. 証跡収集や障害後の改善を含む、インシデント、問題、変更、リリース管理の活動に参加する。
• Apply least-privilege access, secure coding, secrets-management, privacy, retention, and regulatory controls for sensitive insurance data. 機微な保険データに対し、最小権限、セキュアコーディング、シークレット管理、プライバシー、保存、規制対応の統制を適用する。
• Collaborate with business analysts, source-system owners, data consumers, and global or offshore team members to clarify requirements and deliver incremental value. ビジネスアナリスト、データソースの担当者、データ利用者、グローバル／オフショアのメンバーと協働し、要件を明確化して段階的に価値を提供する。 Use approved AI coding assistants responsibly to improve productivity, while validating outputs and protecting confidential data. 承認済みの AI コーディング支援ツールを責任をもって活用し、出力を検証するとともに機密データを保護する。 Requirements Required Qualifications / 必須要件
• Working knowledge of SQL, including joins, aggregations, common table expressions, and basic query troubleshooting. 結合、集計、 Common Table Expression 、基本的なクエリトラブルシューティングを含む SQL の実務的な知識。
• Basic programming ability in Python or another general-purpose language, with an understanding of functions, data structures, error handling, logging, and testing. 関数、データ構造、エラー処理、ログ、テストを理解した上での、 Python またはその他の汎用言語による基本的なプログラミング能力。
• Understanding of relational databases, files such as CSV or JSON or Parquet, data types, keys, normalization, and basic dimensional-modeling concepts. リレーショナルデータベース、 CSV ・ JSON ・ Parquet 等のファイル形式、データ型、キー、正規化、基本的なディメンショナルモデリングの理解。
• Basic familiarity with cloud concepts and at least one data service or hands-on learning environment in Azure, AWS, or GCP; willingness to deepen Azure skills. クラウドの基本概念、および Azure 、 AWS 、 GCP のいずれかのデータサービスまたは学習環境への基本的な習熟。 Azure スキルを深める意欲。
• Familiarity with Git, pull requests, and the fundamentals of CI/CD, automated testing, and agile delivery. Git 、 Pull Request 、 CI/CD 、自動テスト、アジャイルデリバリーの基礎知識。
• Awareness of data quality, security, privacy, access control, and responsible handling of customer information. データ品質、セキュリティ、プライバシー、アクセス制御、顧客情報の責任ある取り扱いに関する基本認識。
• Strong learning mindset, attention to detail, logical problem-solving, and the ability to ask for help and communicate progress clearly. 高い学習意欲、細部への注意、論理的な問題解決力、適切に支援を求め進捗を明確に伝える能力。
• Ability to collaborate in a multinational environment using business-level Japanese and practical English for technical communication, or a clear commitment to develop the weaker language. ビジネスレベルの日本語と技術コミュニケーションに必要な実用英語を用いて多国籍環境で協働できること、または不足する言語力を向上させる明確な意欲。 Preferred Qualifications / 歓迎要件
• Exposure to Azure Data Factory or Synapse Pipelines, Azure Data Lake Storage, Azure SQL, Microsoft Fabric, Databricks, or Apache Spark. Azure Data Factory または Synapse Pipelines 、 Azure Data Lake Storage 、 Azure SQL 、 Microsoft Fabric 、 Databricks 、 Apache Spark のいずれかの経験。
• Experience creating a small end-to-end data pipeline, data model, dashboard dataset, API integration, or automated data-quality check. 小規模でも、 End-to-End のデータパイプライン、データモデル、ダッシュボード用データセット、 API 連携、自動データ品質チェックを構築した経験。
• Familiarity with orchestration, monitoring and observability, Infrastructure as Code, containers, or Linux command-line tools. オーケストレーション、監視・可観測性、 Infrastructure as Code 、コンテナ、 Linux コマンドラインのいずれかの知識。
• Interest in insurance or financial services, including policy, customer, claims, distribution, finance, or regulatory data. 契約、顧客、保険金、営業、財務、規制データを含む、保険・金融サービスへの関心。
• Relevant entry-level certification, such as Microsoft Azure Fundamentals or Azure Data Fundamentals, or equivalent learning evidence.

Microsoft Azure Fundamentals 、 Azure Data Fundamentals 等の入門資格、または同等の学習実績。 Core Technology Areas / 主な技術領域 SQL, Python or PySpark, Azure Data Factory or Synapse Pipelines, Azure Data Lake Storage, Azure SQL or Synapse, Microsoft Fabric or Databricks, Spark, Git, Azure DevOps or GitHub, automated testing, monitoring, metadata, lineage, and data quality. SQL 、 Python または PySpark 、 Azure Data Factory または Synapse Pipelines 、 Azure Data Lake Storage 、 Azure SQL または Synapse 、 Microsoft Fabric または Databricks 、 Spark 、 Git 、 Azure DevOps または GitHub 、自動テスト、監視、メタデータ、リネージ、データ品質。

Preferable Japanese Read and Write English

fluent or advanced Domain knowledge on Life Insurance