Analista de Engenharia de Dados III

Job description

Estamos buscando um Engenheiro de Dados Sênior para atuar com grandes volumes de dados em um ambiente altamente escalável, utilizando principalmente Apache Spark/Python em Databricks . Esse profissional será responsável por desenvolver, otimizar e dar manutenção em pipelines de ingestão de dados, com foco em arquiteturas modernas e eficientes. Entre As Principais Atividades, Destacam-se Construção e manutenção de pipelines de ingestão utilizando Autoloader (incremental, schema evolution, otimização de throughput).

Processamento de dados em larga escala usando Spark Structured Streaming e Spark SQL. Implementação de boas práticas de engenharia de dados, como particionamento, otimização com Delta Lake. Conhecimento de git controle de versionamento, pull requests. Análise, melhoria e otimização de custos e performance em Databricks. Implementar Data Quality. Criar documentação clara das demandas. Colaboração com times de negócio e analytics para garantir que os dados estejam estruturados e disponíveis com segurança.

Qualifications

Experiência com Databricks para processamento, transformação e análise de grandes volumes de dados. Conhecimento sólido em processos de ETL/ELT , garantindo a integração, qualidade e disponibilidade das informações. Experiência em Engenharia de Dados , com desenvolvimento, manutenção e otimização de pipelines escaláveis. Vivência em arquitetura e modelagem de dados , assegurando a estruturação eficiente das informações.

Experiência na integração de dados provenientes de múltiplas fontes e sistemas. Atuação em ambientes Cloud e ecossistemas de Big Data . Conhecimento de boas práticas de governança, qualidade, segurança e performance de dados . Capacidade de desenvolver soluções robustas e escaláveis alinhadas às necessidades do negócio. Perfil analítico, com habilidade para identificar oportunidades de melhoria e otimização de processos de dados.

Facilidade para atuar em times multidisciplinares e traduzir demandas de negócio em soluções técnicas eficientes.