Senior Data Engineer

📋 Descrição da Função

O Senior Data Engineer é responsável por liderar e participar na concepção, desenvolvimento e implementação de soluções de engenharia de dados escaláveis para o Medallion architecture (Bronze, Silver, Gold). O profissional deve garantir que os processos de pipeline de dados e integração sejam eficientes e seguros. Além disso, é essencial que esteja familiarizado com a utilização de ferramentas como Azure Data Factory, Synapse e Azure Data Lake Storage.

🎯 Responsabilidades

• Design e Implementação: Desenvolver e implementar soluções de engenharia de dados escaláveis.
• Pipeline de Dados: Criar, testar e implantar workflows ETL/ELT utilizando SQL e PySpark para garantir a qualidade, consistência e eficiência dos dados.
• Colaboração com Stakeholders: Definir as necessidades de dados em colaboração com os arquitetos de dados, cientistas de dados, analistas e stakeholders empresariais.
• Monitoramento e Optimização: Monitorar, resolver problemas e otimizar pipelines de dados e arquiteturas para garantir escalabilidade, confiabilidade e eficiência.
• Compliance: Garantir a conformidade com as melhores práticas de governança de dados, segurança e regulamentação ao longo do ciclo de vida dos dados.

📋 Requisitos

• Experiência Profissional: 4 anos ou mais de experiência profissional em engenharia de dados, incluindo pelo menos 2 anos em um papel de liderança ou técnico.
• Conhecimento de Tecnologias: Expertise com tecnologias Azure, incluindo a utilização de Azure Data Factory, Synapse (dedicado e sem servidor), e Azure Data Lake Storage.
• Desenvolvimento de Soluções: Experiência em desenvolver soluções complexas de pipeline de dados, ETL/ELT e integração.
• Conhecimento Avançado: Conhecimento avançado em modelagem de dados, design dimensional e armazenamento de dados utilizando SQL, NoSQL e bancos de dados columnar.
• Desenvolvimento de Soluções: Experiência prática com Python e PySpark para processamento escalável de dados; experiência adicional com Java ou Scala é um benefício.
• Habilidades Técnicas: Habilidades avançadas em SQL para transformações complexas, otimização e tuning de desempenho.
• Metodologias Ágeis: Conhecimento das metodologias ágeis como Agile e DevOps, incluindo a implementação de CI/CD usando Azure DevOps ou GitHub Actions.
• Conhecimentos em Ferramentas de Visualização de Dados: Familiaridade com ferramentas de visualização de dados como Power BI, Tableau ou Looker.
• Práticas de Governança de Dados: Conhecimento sólido das melhores práticas de governança de dados, qualidade de dados e segurança (RBAC, criptografia, GDPR).
• Habilidades de Liderança e Comunicação: Habilidades de liderança comprovadas para mentir e colaborar efetivamente em equipes funcionais cruzadas.
• Experiência Adicional: Experiência com Microsoft Fabric e Cognite Data Fusion (CDF) é um avanço.

💰 Condições

Salário: Atribuirá-se de acordo com a experiência, qualificações e competências do candidato.

Vantagens: Randstad Digital oferece uma cultura de trabalho inclusiva, benefícios de saúde e bem-estar, programas de educação continuada e oportunidades de crescimento profissional.

Horários: Trabalhará em um modelo híbrido (3 dias presencial / 2 dias remoto por semana).