Offre d'emploi : Senior Data Engineer – Music Indusrtry
L'entreprise
Un des leaders mondiaux du marché de la musique numérique qui a pour mission d’accompagner les artistes et les labels locaux dans l’écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développement est à la recherche de la future personne qui les rejoindra en tant que Data Engineer senior en CDI (pas de freelance)
Ce sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité et transparence.
Poste / Missions
Le Tribe "Customer Finance" se compose de plusieurs Squads, dont la squad "Finance Ingestion" a pour mission de développer des outils et des applications pour la collecte de royalties auprès des plateformes de streaming de musique, ainsi que de préparer les données en vue de la distribution des royalties aux producteurs de musique.
En tant que Data Engineer, vous rejoignez une équipe de Data Engineering qui travaille selon les principes du framework agile Scrum. Cette équipe est principalement constituée de 5 Data Engineers et 1 Software Engineer. Notre écosystème comprend les éléments suivants :
- Un socle de gestion des données (Delta Lake) traitant plus d'1.5 milliard de lignes par mois.
- Du data engineering utilisant Scala Spark avec le runtime de Databricks.
- L'orchestration de nos data pipelines est assurée par Airflow en mode managé.
- Des APIs utilisant les Lambda AWS pour permettre l'interaction des utilisateurs avec notre interface front-end (PHP).
- RDS pour héberger la base de données back-end sous PostgreSQL.
- La gestion de version du code est effectuée via GitLab avec des environnements de développement, de staging et de production.
- Les infrastructures sont déployées sous AWS mais un changement vers GCP prochainement.
Les responsabilités du Data Engineer au sein de l'équipe sont les suivantes :
- Collaborer avec le Product Owner et les parties prenantes métier pour comprendre les besoins.
- Travailler en étroite collaboration avec l'architecte, les équipes infrastructures et Cloud pour concevoir des solutions de data engineering.
- Développer des flux de données (data pipelines) en utilisant Apache Spark et Scala.
- Effectuer de l'orchestration via Airflow en utilisant Python.
- Assurer la maintenance et l'amélioration des modules existants de l'application.
- Utiliser GitLab pour tester, builder et déployer le code sur les différents environnements.
- Effectuer des revues de code pour les autres membres de l'équipe.
- Collaborer activement avec les membres de l'équipe pour atteindre les objectifs du sprint.
- Fournir un support applicatif et fonctionnel de l'application auprès des opérationnels.
Profil recherché
- Minimum 5/6 ans d'expérience dont 3-5 ans d’expérience dans la pratique de développement sous Scala
- une très bonne maitrise du framework Spark avec du Scala, nous ne faisons pas de PySpark
- une bonne maitrise de conception et développement des data pipelines
- Développer avec un état d’esprit Keep it Simple, Stupid (KISS)
- une bonne maitrise d’un outil de versionning de code tel que Gitlab
- une bonne maitrise des APIs avec du Lambda
- une expérience dans l’écosystème AWS ou GCP
Informations
Compétences
Les +
Un programme de bien-être "Pauses" avec de nombreuses activités et animations en interne
Accès à Eutelmed, la plateforme numérique de santé mentale et de bien-être qui permet de parler à un psychologue expérimenté
Une assurance santé individuelle ou familiale
Avantages CE
Une salle de sport avec des cours gratuits
Contexte international
Postuler
LR
