Offre d'emploi : Senior Data Engineer H/F – Music industry

L'entreprise

Un des leaders mondiaux du marché de la musique numérique qui a pour mission d’accompagner les artistes et les labels locaux dans l’écosystème digital en leur offrant des solutions à chaque étape de leur carrière et développement est à la recherche de la future personne qui les rejoindra en tant que Data Engineer confirmé ou senior.

Ce sont plus de 1900 salariés dans 50 pays qui accompagnent artistes avec expertise, respect, équité et transparence.

Poste / Missions

En tant que Data Engineer, tu intégras une équipe de Data Engineering travaillant avec les principes du framework agile Scrum. Cette équipe est composée essentiellement de 5 Data Engineer et 1 Software Engineer. Nous avons un écosystème qui se compose

  • une socle de gestion des données (Delta Lake) plus d’1.5 milliard de lignes /mois
  • data engineering avec du Scala Spark utilisant le runtime de Databricks
  • orchestration de nos data pipelines avec Airflow managé
    des APIs avec les Lambda AWS pour faire interagir les utilisateurs avec notre interface front (PHP)
  • RDS pour hoster la base de données back-end sous PostgreSQL
  • versionning du code sous GitLab avec un environnement de dev, staging et production
  • infrastructures sous AWS

Les missions du Data Engineer au sein de l’équipe : 

-          Interagir avec le Product Owner, le métier pour comprendre les besoins

-          Interagir avec l’architecte, les équipes infrastructures et Cloud pour concevoir les solutions de data engineering

-          Développer des flux de données (data pipelines) avec du Apache Spark et du Scala

-          Faire de l’orchestration via Airflow avec du Python

-          Maintenir et améliorer les modules existants de l’application

-          Utiliser GitLab pour tester, builder et déployer son code sur les différents       environnements

-          Effectuer des revues de codes des autres membres de l’équipe

-          Interagir avec les membres de l’équipe pour atteindre l’objectif du sprint

-          Faire du support applicatif et fonctionnel de l’application auprès des opérationnel

Profil recherché

- 3/5 ans d’expérience dans la pratique de développement sous Scala

- une très bonne maitrise du framework Spark avec du Scala, nous ne faisons pas de PySpark

- une bonne maitrise de conception et développement des data pipelines

- Développer avec un état d’esprit Keep it Simple, Stupid (KISS)

- une bonne maitrise d’un outil de versionning de code tel que Gitlab

- une bonne maitrise des APIs avec du Lambda

- une expérience dans l’écosystème AWS

###Si vous avez de l'experience sur Python SQL  Snowflake un poste est ouvert dans une autre équipe data ! ###

 

Informations

CDI
60K€
70k€
Paris
Remote partiel

Compétences

Scala Spark AWS Databricks Data engineering APIs

Les +

- Environnement anglophone
- Remote working policy
- Possibilité d'évolution

Postuler

LR

Pas le temps de chercher un job ?

01Quel type de contrat recherchez vous ?
02Quel est votre disponibilité ?
03Quel poste recherchez vous ?
04Combien d’années d’expérience avez-vous ?
05Dans quelle(s) ville(s) êtes-vous mobile ?
06C'est presque fini !