[JOB 29729] Engenheiro de Dados Senior (Databricks, PySpark e MongoDB)

About the role

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados Sênior em um projeto focado em integração, processamento, modelagem e otimização de dados, com forte utilização de Databricks, PySpark e MongoDB. O profissional deverá ter perfil hands-on, autonomia técnica, visão crítica e foco em produtividade, qualidade, performance e melhoria contínua. Atuará em squads ágeis, colaborando com equipes técnicas e de negócio para definição, refinamento, desenvolvimento e sustentação de soluções de dados escaláveis. As principais tecnologias e competências envolvidas são: * Databricks com PySpark * Spark e Python * MongoDB * Modelagem e manipulação de dados estruturados e semiestruturados * Construção e otimização de pipelines de dados * Integração entre fontes relacionais, não relacionais e ambientes analíticos * Boas práticas de engenharia, versionamento e qualidade de dados * Experiência com metodologias ágeis * Diferencial em uso de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado O profissional deve possuir sólidos conhecimentos em engenharia de dados, lógica de programação, desenvolvimento de pipelines escaláveis, otimização de performance e boas práticas de desenvolvimento, além de colaborar com áreas de negócio e tecnologia para definição, revisão e implementação de regras e soluções de dados. Responsabilidades: * Desenvolver, otimizar e manter pipelines de dados utilizando Databricks, Spark e PySpark. * Atuar na integração, extração, transformação e carga de dados provenientes de bases MongoDB. * Trabalhar com dados estruturados, semiestruturados e documentos JSON, garantindo organização, qualidade e consistência das informações. * Desenvolver processos de ingestão, transformação e disponibilização de dados para consumo analítico e operacional. * Construir produtos de dados escaláveis, com foco em performance, confiabilidade e qualidade. * Garantir boas práticas de desenvolvimento, assegurando que as soluções de dados sigam padrões de qualidade, eficiência, escalabilidade e manutenibilidade. * Aplicar boas práticas de versionamento, testes, revisão de código e qualidade de dados. * Apoiar refinamentos técnicos e funcionais, garantindo clareza, viabilidade e aderência das histórias às necessidades do projeto. * Apoiar na construção de histórias de usuário bem definidas, facilitando o desenvolvimento pelos times de engenharia de dados. * Participar do desenho AS-IS e TO-BE, documentando processos atuais e futuros, identificando débitos técnicos, riscos e oportunidades de melhoria. * Desenvolver histórias refinadas e aprovadas, garantindo qualidade, eficiência e aderência aos padrões técnicos. * Colaborar com focais de dados, negócio e tecnologia para garantir que as soluções estejam alinhadas às necessidades do negócio e às melhores práticas de engenharia. * Propor melhorias contínuas nos processos, arquitetura, performance e produtividade do time. * Utilizar, quando aplicável, ferramentas de IA no desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado, visando ganho de produtividade e qualidade. Qualificações Necessárias: Conhecimentos Técnicos: * Forte experiência com Databricks e PySpark. * Sólido conhecimento em Spark, Python e lógica de programação. * Experiência com MongoDB, incluindo consultas, modelagem de documentos e manipulação de dados em formato JSON. * Experiência na construção de pipelines de dados escaláveis e performáticos. * Conhecimento em integração de dados entre MongoDB e ambientes analíticos. * Capacidade de trabalhar com dados estruturados, semiestruturados e não relacionais. * Domínio de boas práticas de engenharia de dados, versionamento, testes, revisão de código e qualidade de dados. * Experiência em otimização de performance de pipelines e processamento distribuído. * Experiência em squads ágeis e metodologias ágeis. * Capacidade de atuar na identificação de débitos técnicos, melhoria de processos e evolução de soluções existentes. * Diferencial: experiência com uso de IA aplicada ao desenvolvimento, como GitHub Copilot, prompt engineering e code review automatizado. Qualidades Comportamentais: * Proatividade para aumentar a capacidade de entrega do time. * Perfil hands-on, com autonomia para conduzir atividades técnicas. * Capacidade analítica para interpretar bases de dados, regras de negócio e propor soluções. * Habilidade de resolução de problemas, identificando causas, riscos e alternativas. * Perfil consultivo, trazendo ideias, soluções e melhorias p

Your Match

How well this role fits your profile.

Company Intel

What employees say

Worked at ciandt? Share your experience