Engenheiro de Dados Sênior / Especialista - AWS / Snowflake / Iceberg

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética

e transparência, excelência de

qualidade, trabalho em equipe, responsabilidade

econômica, social e ambiental, relações humanas e credibilidade.Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Responsabilidades e atribuições

Buscamos um Engenheiro de Dados Senior para atuar em uma arquitetura

lakehouse na AWS, na qual o Snowflake e o Data Warehouse principal econsome tabelas Apache Iceberg armazenadas no S3. O profissional será

referencia técnica do ecossistema de dados, responsável por projetar,

construir e evoluir pipelines robustos e a interoperabilidade entre o

data lake e o warehouse, garantindo qualidade, performance, controle de

custo e governança das soluções entregues.Principais responsabilidades:

- Projetar e implementar pipelines de ingestão, transformação e

disponibilização de dados em ambiente AWS, escrevendo e mantendo

tabelas Apache Iceberg no S3.- Desenvolver jobs de processamento distribuído em Spark (EMR e/ou AWS

Glue), incluindo cargas incrementais, upserts (MERGE) e

reprocessamentos históricos.- Garantir a integração entre Snowflake e o lakehouse Iceberg: external

volumes, catalog integration (Glue Data Catalog), tabelas gerenciadas

pelo Snowflake versus externamente gerenciadas e sincronização de

metadados.- Executar e automatizar a manutenção das tabelas Iceberg: compactação

de arquivos pequenos, expiração de snapshots, remoção de arquivos

órfãos,

evolução de schema e de particionamento.- Modelar e otimizar modelos de dados e queries no Snowflake, garantindo

performance e uso eficiente de recursos.- Monitorar e otimizar custo e performance dos ambientes AWS e Snowflake

(dimensionamento de warehouses, clustering, politicas de cache, custo

de leitura no data lake).- Atuar na definição de boas praticas de engenharia de dados:

versionamento em Git, CI/CD, testes de dados, documentação e linhagem.- Implementar controles de governança e segurança: RBAC, politicas de

mascaramento e de row access no Snowflake e permissionamento via Lake

Formation.- Diagnosticar e solucionar problemas de performance e disponibilidade

em ambientes de dados críticos.- Atuar como referencia técnica do time: revisão de código, mentoria de

profissionais menos experientes e registro de decisões de arquitetura.

- Colaborar com times de dados, produto e negocio no levantamento de

requisitos e na definição de soluções.

Requisitos e qualificações

Requisitos obrigatórios:- Experiencia comprovada de no mínimo 5 anos atuando em ambiente Cloud

AWS.- Experiencia comprovada de no mínimo 3 anos com Snowflake, incluindo

modelagem, otimização de queries e gestão de warehouses e custo.- Experiencia comprovada em produção com Apache Iceberg (desejavel 2

anos ou mais): particionamento, evolução de schema, snapshots e time

travel, MERGE e rotinas de manutenção e compactação.

- Experiencia com Apache Spark em escala (Py

Spark), incluindo tuning de

jobs e diagnostico de skew e shuffle.- Conhecimento em serviços AWS voltados a dados: S3, Glue (ETL e Data

Catalog), EMR, Athena, Lambda e Step Functions.- Domínio de SQL avançado para consultas complexas e otimização em

ambientes de grande volume de dados.- Experiencia com modelagem de dados e arquiteturas de Data Warehouse,

Data Lake e Lakehouse.- Python aplicado a automação e engenharia de dados.- Experiencia com orquestração de pipelines (Airflow, Step Functions,

dbt ou equivalente).- Git e cultura de versionamento, testes e code review.- Inglês técnico para leitura de documentação.Diferenciais:- Certificação Snow

Pro (Core ou Advanced).- Certificações AWS (Solutions Architect, Data Engineer ou Data

Analytics).- Experiencia com Terraform ou outra ferramenta de Infraestrutura como

Código.- dbt em produção.- Experiencia com catálogos abertos (Glue Data Catalog, Polaris / Open

Catalog, Unity) e cenários multi-engine.- Experiencia com streaming (Kinesis, Kafka / MSK, Snowpipe Streaming).- Ferramentas de observabilidade e qualidade de dados (dbt tests, Great

Expectations, Monte Carlo).Competências comportamentais:- Autonomia para conduzir entregas técnicas com pouca supervisão.- Comunicação clara para interagir com áreas de negocio e times

multidisciplinares.- Pensamento analítico e foco em resolução de problemas complexos.- Postura colaborativa e proatividade na proposição de melhorias

técnicas.

Informações adicionais

A apresentação de um case em PPT sobre atuação de Snowflake

INDISPENSÁVEL Conhecimento/Atuação em:

AWS (experiência comprovada de no mínimo 5 anos).

Snowflake (experiência comprovada de no mínimo 3 anos).

Modelo de atuação REMOTO