La description:
Dans le cadre du développement de nos activités dans le domaine de la Data et du Big Data, nous recherchons un Data Engineer expérimenté pour accompagner nos clients dans leurs projets de transformation data. Vous jouerez un rôle central dans la conception, le développement et la maintenance des infrastructures de données stratégiques. Véritable architecte de la donnée, vous serez garant de la qualité, de la sécurité et de la disponibilité des données au sein des organisations de nos clients. Responsabilités principales: - Architecture et infrastructure de données - Concevoir et développer des architectures de données robustes, scalables et performantes (Data Warehouses, Data Lakes) - Définir et implémenter les standards techniques et les bonnes pratiques d'architecture data - Mettre en place et maintenir les infrastructures cloud (AWS, GCP, Azure) pour le traitement des données Pipelines de données et ETL/ELT - Développer et optimiser des pipelines de données (ETL/ELT) fiables et performants - Automatiser les processus d'ingestion, de transformation et de mise à disposition des données - Gérer et orchestrer les workflows avec des outils modernes (Airflow, DBT, Prefect, Dagster) Qualité et gouvernance des données - Garantir la qualité, la conformité et la sécurité des données traitées - Mettre en place des mécanismes de monitoring et d'alerting pour assurer la fiabilité des pipelines - Documenter les architectures, les flux de données et les processus mis en place - Collaboration et accompagnement - Collaborer étroitement avec les Data Analysts, Data Scientists et équipes métier pour comprendre leurs besoins - Accompagner les équipes sur les bonnes pratiques d'utilisation des données - Participer aux choix technologiques et à l'évolution de la stack data Optimisation et performance - Optimiser les performances des requêtes et des traitements de données - Gérer l'évolutivité des infrastructures pour répondre aux besoins croissants en volume de données - Mettre en place des stratégies de partitionnement, d'indexation et d'optimisation des coûts cloud Profil recherché - Compétences techniques requises - Expérience : Minimum 3 à 5 ans en tant que Data Engineer avec une expérience confirmée sur des projets Big Data - Langages de programmation : Maîtrise de Python (indispensable), SQL avancé, et idéalement Scala, Java ou Go - Cloud public : Expertise sur au moins un cloud provider (AWS, GCP ou Azure) avec connaissance des services data (S3, BigQuery, Redshift, Databricks, Snowflake) - Technologies Big Data : Expérience avec Hadoop, Spark, Kafka, ou équivalents - Orchestration : Maîtrise d'Apache Airflow, Prefect, Dagster ou équivalent - Bases de données : Expertise en bases SQL (PostgreSQL, MySQL) et NoSQL (MongoDB, Cassandra, Elasticsearch) Infrastructure as Code : Connaissance de Terraform, CloudFormation ou équivalent - CI/CD et DevOps : Expérience avec Docker, Kubernetes, GitLab CI/CD, GitHub Actions ou Jenkins Compétences appréciées - Connaissance des outils de transformation moderne (DBT, Great Expectations) - Expérience avec des solutions de streaming en temps réel (Kafka, Kinesis, Pub/Sub) - Familiarité avec les concepts de Data Mesh et Modern Data Stack - Connaissance des enjeux de sécurité des données et de conformité (RGPD) - Expérience en MLOps et déploiement de modèles de Machine Learning Qualités personnelles - Esprit d'analyse et capacité à résoudre des problèmes techniques complexes - Rigueur et souci du détail dans la conception et le développement - Excellentes compétences en communication pour échanger avec des interlocuteurs techniques et métier - Capacité à travailler en autonomie et en équipe dans un environnement agile - Curiosité technique et veille constante sur les nouvelles technologies data - Anglais professionnel (lecture de documentation technique, échanges avec les