Data Engineer Confirmé
ORANGE BUSINESS MAROC
A propos de l'entreprise
Vos missions
Contexte et objectif de la mission Dans le cadre du renforcement de l’équipe en charge de la mise en place de la plateforme Data Groupe, fondée sur une architecture Lakehouse, la DSI recherche un Data Engineer confirmé. L’intervenant conçoit, développe, industrialise et maintient les flux d’ingestion et de transformation, contribue à la structuration des couches Bronze, Silver et Gold et prépare des jeux de données fiables pour les usages métiers et décisionnels. Missions principales 1. Conception et transformation des données Concevoir, développer et maintenir les flux de transformation de données avec dbt Développer en Python les traitements d’ingestion et de préparation des données Contribuer à la mise en place des couches Bronze, Silver et Gold de la plateforme Lakehouse 2.Orchestration et industrialisation Développer et maintenir les DAGs Airflow pour orchestrer les traitements de données Fiabiliser et industrialiser les traitements par les tests de qualité, l’optimisation et le suivi des exécutions Intégrer les développements dans les chaînes de gestion de versions et de CI/CD 3.Documentation et gouvernance des données Documenter les modèles et les flux de données Contribuer au catalogage, à la gestion des métadonnées et à la traçabilité dans OpenMetadata Mise à disposition des données Préparer des jeux de données structurés pour les usages métiers et le reporting Collaborer avec les architectes Data, les équipes métiers et les équipes BI Livrables attendus : Modèles et flux dbt testés, documentés et prêts pour la production DAGs Airflow industrialisés, supervisés et documentés Scripts Python d’ingestion et de préparation des données Jeux de données structurés pour le Lakehouse et les usages BI Documentation technique et contributions au catalogue de données
Profil recherche
Compétences clés dbt : excellente maîtrise des modèles, macros, tests, documentation et traitements incrémentaux Airflow : excellente maîtrise des DAGs, de la planification, des dépendances, de la supervision et des reprises Python et SQL : maîtrise de l’ingestion, de la préparation et de la transformation des données Interne Lakehouse : expérience des architectures en couches Bronze, Silver et Gold Moteurs et formats : expérience de Starburst, Trino et du format de table/catalogue Iceberg Industrialisation : maîtrise de Git, des pratiques CI/CD, des tests et de la supervision Gouvernance et BI : notions d’OpenMetadata et des outils Power BI, Metabase ou Superset Connaissance métier : notions des domaines de l’assurance et du courtage Outils et environnements dbt, Apache Airflow, Python et SQL Starburst, Trino et Apache Iceberg OpenMetadata Git et chaînes CI/CD Power BI, Metabase ou Superset Profil recherché • Data Engineer confirmé disposant d’au moins 3 ans d’expérience • Expérience significative de dbt et Airflow en environnement de production • Rigueur, autonomie et capacité à développer des traitements fiables, performants et maintenables • Capacité à collaborer avec les architectes Data, les équipes métiers et les équipes BI Français courant et anglais professionnel
Experience
3+ ans
Informations pratiques
Contrat
Stage
Ville
Rabat/Casablanca
Postuler a cette offre
Deposez votre CV pour postuler. Si votre email existe deja, le CV sera ajoute a votre espace candidat.