Responsabilidades e atribuiçõesProjetar, desenvolver e sustentar pipelines de dados escaláveis com foco em ingestão via CDC (Change Data Capture) utilizando Oracle GoldenGate;Configurar e administrar replicações de dados em tempo real e quase tempo real entre sistemas origem e ambientes cloud;Garantir consistência, integridade e sincronização dos dados entre origem e destino;Monitorar pipelines de ingestão, atuar em troubleshooting e otimizar performance dos processos CDC;Suportar estratégias de carga full e incremental (delta load);Desenvolver e manter pipelines de processamento de dados utilizando Azure e Databricks (Spark);Implementar transformações seguindo arquitetura moderna de dados no modelo Bronze, Silver e Gold;Otimizar pipelines visando performance, escalabilidade e eficiência de custos;Trabalhar com dados estruturados e semiestruturados para consumo analítico, relatórios e iniciativas de IA/ML;Atuar em conjunto com arquitetos de dados na definição de arquiteturas modernas de Lakehouse;Apoiar iniciativas de governança, catálogo de dados, lineage e compliance;Garantir disponibilidade, confiabilidade, segurança e qualidade dos dados para consumo downstream.Requisitos e qualificaçõesGraduação em Ciência da Computação, Engenharia, Sistemas de Informação ou áreas correlatas;Experiência prática e sólida com Oracle GoldenGate em processos de ingestão de dados e CDC (Change Data Capture), incluindo replicação em tempo real e quase tempo real;Vivência no desenvolvimento, sustentação e otimização de pipelines de dados escaláveis e distribuídos;Experiência com ecossistema Microsoft Azure, incluindo Azure Data Factory, Azure Data Lake e Azure Data Lake Storage Gen2;Forte conhecimento em Databricks e processamento distribuído utilizando Spark;Experiência em arquiteturas modernas de dados, como Lakehouse, trabalhando com camadas Bronze, Silver e Gold;Vivência com cargas full e incrementais (delta load), garantindo integridade, consistência e sincronização dos dados;Conhecimento em monitoramento de pipelines, troubleshooting, tuning de performance e otimização de custos em ambientes cloud;Experiência com dados estruturados e semiestruturados voltados para analytics, reporting e iniciativas de IA/ML;Conhecimento em governança de dados, catálogo, lineage, segurança e boas práticas de arquitetura corporativa;Capacidade de atuar de forma colaborativa com arquitetos de dados, times analíticos e stakeholders de negócio.
Oracle Goldengate Data Engineer | Senior (Remote)
COMPASS UOL
Olinda, Pernambuco