Engenheiro de Dados Sênior Databricks

Indt Innovation & Tech Services

About The Position

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto de implementação e evolução de uma plataforma de dados utilizando Databricks. O profissional terá atuação direta na construção e evolução de pipelines e soluções de dados, sendo responsável por desenvolver arquiteturas robustas, escaláveis e eficientes, com alto nível de autonomia técnica. Buscamos alguém com experiência prática e aprofundada em Databricks, capaz de atuar desde a arquitetura e ingestão dos dados até transformação, governança, otimização e monitoramento das soluções. Buscamos um profissional Sênior forte ou Especialista, com perfil hands-on e elevada autonomia técnica. É importante ter capacidade de tomar decisões, propor soluções e atuar diretamente na implementação, sem depender de acompanhamento constante. Além do conhecimento das ferramentas, buscamos profissionais que consigam explicar as decisões técnicas tomadas, os desafios encontrados e como solucionaram problemas reais em projetos de dados.

Requirements

Experiência sólida e prática com Databricks;
Experiência avançada com Apache Spark e PySpark;
Experiência com Delta Lake;
Conhecimento e experiência com Unity Catalog;
Experiência na implementação e evolução de pipelines de dados;
Conhecimento de arquitetura e boas práticas de Engenharia de Dados;
Experiência com otimização e troubleshooting de performance em Spark/Databricks;
Experiência com processamento de grandes volumes de dados;
Capacidade de atuar com autonomia na análise de problemas e definição de soluções técnicas;
Experiência em ambientes corporativos/enterprise.

Nice To Haves

Certificação Databricks;
Experiência com AWS;
Experiência com Terraform e práticas de Infrastructure as Code (IaC);
Conhecimento ou experiência com Kafka e outras tecnologias de streaming;
Experiência com Data Quality;
Conhecimento de ferramentas e práticas de observabilidade;
Experiência anterior em projetos de grande escala;
Vivência com ambientes de alta volumetria e requisitos de alta disponibilidade.

Responsibilities

Atuar na implementação e evolução da plataforma de dados em Databricks;
Desenvolver e evoluir pipelines de dados utilizando Spark/PySpark;
Construir soluções de ingestão, transformação e processamento de grandes volumes de dados;
Trabalhar com Delta Lake e recursos do ecossistema Databricks;
Atuar com arquitetura e modelagem de soluções de dados escaláveis;
Implementar boas práticas de engenharia de dados, qualidade, governança e observabilidade;
Atuar na identificação e resolução de problemas de performance em pipelines e processos de dados;
Realizar otimizações de processamento, armazenamento e consultas;
Trabalhar com Unity Catalog e recursos relacionados à governança e segurança dos dados;
Participar da definição e implementação de estratégias de orquestração e integração de pipelines;
Atuar em conjunto com times de tecnologia e negócio na definição das melhores soluções técnicas;
Garantir qualidade, confiabilidade, escalabilidade e manutenção das soluções desenvolvidas;
Contribuir para a evolução das boas práticas e padrões de engenharia de dados do projeto.