Offre d'emploi : Senior Data Engineer – Music industry
L'entreprise
Un des leaders mondiaux du marché de la musique numérique qui a pour mission d’accompagner les artistes et les labels locaux dans l’écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développement est à la recherche de la future personne qui les rejoindra en tant que Senior Data Engineer.
Ce sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité et transparence.
Poste / Missions
En tant que Data Engineer, tu intégras une équipe de Data Engineering travaillant avec les principes du framework agile Scrum. Cette équipe est composée essentiellement de 5 Data Engineer et 1 Software Engineer. Nous avons un écosystème qui se compose
- une socle de gestion des données (Delta Lake) plus d’1.5 milliard de lignes /mois
- data engineering avec du Scala Spark utilisant le runtime de Databricks
- orchestration de nos data pipelines avec Airflow managé
- des APIs avec les Lambda AWS pour faire interagir les utilisateurs avec notre interface front (PHP)
- RDS pour hoster la base de données back-end sous PostgreSQL
- versionning du code sous GitLab avec un environnement de dev, staging et production
- infrastructures sous AWS
Les missions du Data Engineer au sein de l’équipe :
- Interagir avec le Product Owner, le métier pour comprendre les besoins
- Interagir avec l’architecte, les équipes infrastructures et Cloud pour concevoir les solutions de data engineering
- Développer des flux de données (data pipelines) avec du Apache Spark et du Scala
- Faire de l’orchestration via Airflow avec du Python
- Maintenir et améliorer les modules existants de l’application
- Utiliser GitLab pour tester, builder et déployer son code sur les différents environnements
- Effectuer des revues de codes des autres membres de l’équipe
- Interagir avec les membres de l’équipe pour atteindre l’objectif du sprint
- Faire du support applicatif et fonctionnel de l’application auprès des opérationnel
Profil recherché
- 3-5 ans d’expérience dans la pratique de développement sous Scala
- une très bonne maitrise du framework Spark avec du Scala, nous ne faisons pas de PySpark
- une bonne maitrise de conception et développement des data pipelines
- Développer avec un état d’esprit Keep it Simple, Stupid (KISS)
- une bonne maitrise d’un outil de versionning de code tel que Gitlab
- une bonne maitrise des APIs avec du Lambda
- une expérience dans l’écosystème AWS
Informations
Compétences
Les +
- Remote working policy
- Possibilité d'évolution
Postuler
LR
