Engenheiro de Dados

Global TI

1d

About The Position

É o construtor técnico (hands-on) que dará vida à arquitetura projetada. Este profissional será responsável por criar as integrações, construir os pipelines de ingestão e desenvolver os processos de transformação que movimentam os dados desde a fonte até as camadas de consumo.

Requirements

• Proficiência no desenvolvimento de pipelines utilizando Apache Spark
• Conhecimento em processamento em lote (Batch) e em tempo real (Streaming)
• Experiência prática com ferramentas de streaming e mensageria como Apache Kafka e Amazon Kinesis
• Domínio de linguagens de programação para dados (Python, Scala)
• SQL avançado
• Familiaridade com manipulação de diferentes formatos de arquivos (CSV, JSON, TXT)
• Capacidade técnica para extrair dados brutos das plataformas atuais da Gobrax: HubSpot, Odoo, Omie, CHS e do banco de dados da plataforma V3
• Experiência com os serviços de dados e armazenamento da AWS

Responsibilities

• Criar integrações
• Construir pipelines de ingestão
• Desenvolver processos de transformação de dados
• Atuar na camada Silver, desenvolvendo lógicas de padronização, validação de qualidade, deduplicação e relacionamento de entidades.

What This Job Offers

• Job Type: Full-time
• Career Level: Mid Level
• Education Level: No Education Listed