Databricks Lakehouse Analytics Engineer | Sênior (Remote)

Descrição da vaga

Responsabilidades e atribuições

• Mapear e inventariar os consumidores do DW legado (BI, relatórios, aplicações e integrações sistêmicas), classificando por domínio e criticidade;
• Modelar os marts de consumo por domínio na camada gold, derivados da silver, seguindo o template medalhão e os contratos de dados;
• Executar o reapontamento de dashboards, relatórios, aplicações e integrações sistêmicas para a gold, wave a wave, coordenado com o cutover por domínio;
• Validar a paridade de consumo entre legado e gold e suportar a desativação dos pontos de consumo legados;
• Contribuir com a priorização das waves junto ao Product Owner e ao Arquiteto de Dados.

Requisitos e qualificações

• Analytics Engineering: experiência sólida em camada de consumo — modelagem dimensional/marts, camada semântica e métricas certificadas;
• Databricks: Spark SQL em produção, Delta Lake e arquitetura medalhão (bronze, silver, gold);
• Reapontamento de BI (Power BI, Tableau ou similar): troca de fontes, refatoração de datasets e validação de paridade de números;
• Integrações sistêmicas de dados: APIs, extrações batch e cargas entre sistemas, incluindo contratos de interface e planos de rollback;
• SQL avançado: técnicas de reconciliação e comparação de bases em escala;
• Unity Catalog (lineage, descoberta e documentação de métricas e modelos de consumo);
• Modelagem dimensional (Kimball/star schema) e boas práticas de marts por domínio;
• Python e PySpark para automação de validações de paridade e rotinas de reapontamento;
• Data Contracts e Data Quality (expectations, DQ gates) aplicados à camada de consumo;

Requisitos Desejáveis

• Experiência em migração de DW com coexistência legado/novo, cutover por ondas e reconciliação de bases em volume — diferencial importante;
• Vivência em projetos de Data Mesh (domínios, dado como produto, governança federada) — diferencial importante;
• Conhecimento de DataStage ou outras ferramentas ETL legadas (facilita a leitura do consumo atual);
• Experiência com camadas semânticas e catálogos de métricas (metric stores, semantic layers);
• Observabilidade de dados e monitoramento de qualidade na camada de consumo;
• Experiência no mercado financeiro ou de crédito;
• Certificações Databricks (Data Analyst Associate, Data Engineer Associate);
• Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS);

Become a Compasser, be part of AI/R.

Compass UOL is a global firm and part of the AI Revolution Company, together transforming organizations using Artificial Intelligence, Generative AI, and other of today’s most advanced technologies.

We equip our team with proprietary and external AI-driven tools to design and build digital-native platforms, integrating cutting-edge technologies and enabling companies to innovate, transform their businesses, and drive success in their markets.

To achieve this, we attract and develop the best talent, creating opportunities that enhance people’s lives and highlight the positive impact of disruptive technologies.

We empower borderless talent and promote knowledge and opportunities in the latest market trends, driving significant personal and professional growth.

Join us and be part of the AI-driven revolution.