Senior Data Engineer (H/F)

Benefits

Additional Information

Dans le cadre du renforcement des équipes Data, nous recherchons des profils capables de concevoir, industrialiser et optimiser des plateformes de données (batch & temps réel) au sein d'environnements distribués basés sur Cloudera. Vos missions : Développement & Industrialisation Développer des pipelines de traitement de données massives en PySpark (modes Batch et Real-Time / Streaming ). Mettre en place des flux temps réel via Kafka (topics, partitions, schémas, offsets) et assurer l'ingestion avec NiFi . Modéliser et optimiser les schémas NoSQL , notamment sur Cassandra (tables, clés, clustering, réplication) et Hive . Intégrer et transformer des données provenant de multiples sources (APIs, BDD, streams, fichiers). Qualité, Performance & Fiabilité Déployer des mécanismes de Data Quality (contrôles, monitoring, alerting). Optimiser les traitements Spark (partitioning, tuning, formats de données) spécifiquement pour des architectures distribuées. Assurer la supervision et la résolution des incidents dans un environnement de production. CI/CD & Gouvernance Industrialiser les développements via des chaînes CI/CD (tests automatisés, déploiements). Documenter les flux, modèles et bonnes pratiques. Collaborer ponctuellement avec les équipes métiers sur des sujets Dataviz et collaborer avec les Data Scientists (notamment sur des algorithmes de segmentation client ). Contribuer à la gouvernance des données (catalogue, traçabilité, sécurité). Expérience : ~4 ans d'expérience dans des environnements distribués et des architectures Big Data. Architecture : Forte appétence et expérience significative sur des infrastructures On-Premise . Spark / PySpark : Maîtrise impérative en traitement Batch et Streaming. NoSQL : Expérience confirmée sur Cassandra et/ou Hive Streaming & Ingestion : Très bonne maîtrise de Kafka et NiFi Nice-to-have / Bonus : Bonne compréhension de l'écosystème Hadoop/ HDFS . La maîtrise de Cloudera est un plus mais reste facultative. Notions en Data Science (modèles de clustering/segmentation client) et outils de Dataviz . Outils & DevOps : Compétences en Git, CI/CD (GitLab CI...) et un outil d'orchestration (Airflow, Luigi, Prefect...). Pourquoi nous rejoindre ? Rejoindre Devoteam, c'est : Évoluer sur des projets stratégiques autour de la donnée Bénéficier d'un accompagnement personnalisé pour le développement de vos compétences et certifications Travailler dans un environnement stimulant, collaboratif et bienveillant

Your Match

How well this role fits your profile.

Company Intel

What employees say

Worked at Devoteam? Share your experience