Analista de Engenharia de Dados Sênior (Databricks)

Job description

Estamos em busca de um(a) Analista de Dados Sênior para atuar na construção e evolução da nossa plataforma de dados moderna, com foco em ingestão, processamento e disponibilização de dados em larga escala. O profissional será responsável por desenvolver pipelines robustos e escaláveis utilizando Databricks, contribuindo para a confiabilidade, governança e eficiência do ecossistema de dados da companhia. Buscamos um perfil hands-on, com forte capacidade técnica, visão arquitetural e experiência em ambientes de dados corporativos de alta complexidade.

Principais responsabilidades

Desenvolver e manter pipelines de ingestão de dados batch e streaming utilizando Databricks. Projetar e implementar soluções de integração de dados provenientes de múltiplas fontes (APIs, bancos relacionais, arquivos, sistemas legados e SaaS). Construir e otimizar processos utilizando Apache Spark. Aplicar boas práticas de engenharia de dados, DataOps e observabilidade. Garantir qualidade, confiabilidade e performance dos pipelines.

Atuar na modelagem e organização de dados em arquiteturas Lakehouse. Trabalhar em parceria com times de negócio, analytics, governança e plataforma. Apoiar a definição de padrões técnicos, frameworks reutilizáveis e melhores práticas de desenvolvimento. Conduzir troubleshooting e otimizações de performance em processos de dados críticos. Participar de iniciativas de modernização e evolução da plataforma de dados.

Qualifications

Experiência comprovada com Databricks em ambientes produtivos. Experiência com Apache Spark (PySpark ou Scala). Experiência no desenvolvimento de pipelines de ingestão e transformação de dados. Vivência com soluções de Data Lake e Lakehouse. Experiência com Git e processos de CI/CD. Conhecimento em modelagem de dados analítica.

Conhecimentos técnicos

Python avançado. SQL avançado. Databricks Workflows. Delta Lake. Spark Structured Streaming. APIs REST. Arquiteturas modernas de dados. Otimização de performance em Spark. Controle e observabilidade de pipelines. Conceitos de governança e qualidade de dados.

Diferenciais

Certificações Databricks. Experiência com Unity Catalog. Vivência com Terraform e Infrastructure as Code. Conhecimento em Kafka ou Event Hubs. Experiência com monitoramento utilizando Datadog. Conhecimento em Airflow.

Competências comportamentais

Forte senso de ownership. Capacidade de atuar de forma autônoma e propositiva. Perfil colaborativo e focado em resolução de problemas. Boa comunicação com áreas técnicas e de negócio. Capacidade de influenciar decisões técnicas. Mentalidade de melhoria contínua. Visão sistêmica e foco em escalabilidade.