Data Engineer Senior Big Data / Spark - Cloudera (H/F) (IT)
Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum Profil candidat: Minimum 5 ans d'expérience en Data Engineering. Excellente maîtrise de Spark (batch et streaming). Solides compétences SQL. Bonne connaissance des environnements Hadoop/Cloudera. Expérience des architectures Big Data et des problématiques d'ingestion de données. Connaissance des outils DevOps et de monitoring. Sensibilité aux enjeux de gouvernance de la donnée : RGPD Data lineage Catalogage des données
Emplois Recommandés
Second de Cuisine H/F
Le poste de Second de Cuisine H/F Rattaché(e) au Chef de cuisine, vous participez à la préparation des repas et contribuez au bon fonctionnement de la cuisine. À ce titre, vous serez amené(e) à…
Développeur Mainframe Cobol H/F (IT)
Missions - Analyse des besoins métiers et des spécifications fonctionnelles - Conception, développement et maintenance d'applications mainframe - Développements en COBOL (batch et/ou transactionnel) …
Serveur F/H
Del Arte, enseigne leader de la restauration italienne en France, recherche un(e) Serveur(se) passionné(e) pour rejoindre son équipe dynamique. Votre mission : Chez Del Arte, l’expérience clie…
Collaborateur Comptable (H/F)
Le poste de Collaborateur Comptable (H/F) Notre client, cabinet d'expertise comptable basé à Vannes, recherche un profil Collaborateur Comptable pour accompagner sa croissance. Le cabinet est en…
Maçon voirie, réseaux divers -vrd (H/F)
Description de l'offre Votre Agence locale et de proximité ADEVA Vannes recherche un MACON VRD H/F pour plusieurs de ses clients reconnus dans les travaux publics sur le secteur de Vannes et sa pé…
Ravaleur (H/F)
L'entreprise L’agence d’emploi Actual à Vannes recherche un Ravaleur H/F ! Chez Actual, nous mettons tout en œuvre pour accompagner les personnes vers l'emploi, leur donner confiance et contribu…
Els mai (H/F)
Aujourd’hui, 6e acteur sur le marché du travail et de l’emploi en France, Actual group est un groupe français, à la vision résolument humaniste, qui milite chaque jour pour faciliter le droit au trav…
Assistant Comptable H/F en Alternance
IHECF Vannes , école de comptabilité à Vannes , forme des étudiants dans le domaine de la comptabilité , de la gestion et de la finance grâce à sa formation en BTS Comptabilité Gestion en for…
POISSONNIER (H/F) - VANNES
A propos de Prestajob interim Quimper: Vous êtes à deux clics de trouver un emploi avec Prestajob Quimper l'agence dédiée aux métiers de bouche ! Votre agence spécialisée dans l'agroalimentaire et GM…
H/F Électrotechnicien
Le poste : Dans le cadre d'un renfort d'activité, nous recherchons un(e) Électrotechnicien(ne) / Électromécanicien(ne) en Intérim de 6 mois. Rattaché(e) aux conducteurs de travaux, vous interven…