Data Engineer Senior Big Data / Spark - Cloudera (H/F) (IT)
Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum Profil candidat: Minimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de Spark (batch et streaming). Solides compétences SQL. Bonne connaissance des environnements Hadoop/Cloudera. Expérience des architectures Big Data et des problématiques d'ingestion de données. Connaissance des outils DevOps et de monitoring. Sensibilité aux enjeux de gouvernance de la donnée : RGPD Data lineage Catalogage des données
Emplois Recommandés
Chargé QSE - Travaux Publics (H/F)
Dans le cadre de son développement, notre client recherche un(e) Chargé(e) QSE pour accompagner les équipes dans le suivi et l'amélioration de la qualité, de la sécurité et de l'environnement sur ses …
Coffreur Bancheur H/F
A propos de ABALONE TT VANNES: On a un Job pour vous ! Abalone c'est votre partenaire Intérim, CDD, CDI, CDI Intérimaire, Formation et Alternance. Avec 22 000 recrutements par an et une centaine d'ag…
Hote d'accueil (H/F)
Votre agence Interaction Vannes recherche pour son client des Hôtes d'accueil H/F pour des missions ponctuelles en intérim, à l'occasion des soirs de match. Ces interventions se déroulent principa…
Aide Comptable H/F en Alternance
IHECF Vannes , école de comptabilité à Vannes , forme des étudiants dans le domaine de la comptabilité , de la gestion et de la finance grâce à sa formation en BTS Comptabilité Gestion en for…
Menuisier poseur H/F
A propos de ABALONE TT VANNES: On a un Job pour vous ! Abalone c'est votre partenaire Intérim, CDD, CDI, CDI Intérimaire, Formation et Alternance. Avec 22 000 recrutements par an et une centaine d'ag…
Praticien Néphrologue remplaçant
L'ÉTABLISSEMENT : Le CHBA, c'est : une activité d'urgence et de SAMU 4 scanners, 3 IRM, 4 échographes, 1 salle d'angiographie 2 réanimations adulte et néonat 2 blocs opératoires et des plate…
Franchisé Prelys Courtage F/H
Le Réseau Prelys Courtage Meilleure Franchise de France 2026 - Rejoignez un réseau primé dans le courtage en crédit Vous voulez exercer un métier à impact, en toute autonomie, a…
Auxiliaire de vie H/F
Description de l'offre: Depuis 25 ans, ADHAP accompagne à domicile les personnes fragilisées par l’âge, le handicap ou la maladie, avec une priorité : leur permettre de vivre chez elles dans les me…
Chauffeur Bus/Car - Parcours Professionnalisant H/F
Dans le cadre des besoins croissants en recrutement de conducteurs de bus et autocar sur le territoire, nous recrutons des candidat(e)s motivé(e)s pour intégrer un parcours emploi–formation débouch…
Aide ménager(e) à Vannes (H/F)
Le poste de Aide ménager(e) à Vannes (H/F) Vous avez envie d’être utile aux autres et souhaitez mettre à profit votre sens du service ? Spécialisée dans le ménage et le repassage au domicile de pe…