Pour alimenter notre place de marché avec une offre complète et à jour, nous collectons et traitons de manière régulière des données de formation à partir de sites Web d’organismes partenaires. Ce processus pose de nombreux défis en raison de l’hétérogénéité des données, du volume et de la fréquence des changements.
Nous avons récemment remporté le Concours national de l’innovation pour mener à bien un projet de R&D sur l’extraction, la normalisation et l’enrichissement des données afin d’évoluer d’une centaine de partenaires à des milliers en utilisant des stratégies innovantes dans le champ de la data science. Nous recherchons un top profil data engineer pour construire des pipelines mêlant code, humains et algorithmes pour générer et enrichir les données.

Infrastructure

• 100 scrapers de sites Web qui tournent quotidiennement sur Scrapinghub en utilisant Scrapy.
• 1000 tâches ETL sont exécutées quotidiennement sur Airflow.
• 300 000 statistiques de formation (changements de titre, de prix et de contenu) enregistrées chaque semaine.
• 1000 nouvelles formations classées en NLP par semaine.
• Tableau de bord développé in-house (Flask & ReactJS).

Stack

• Python
• Scrapy, Scrapinghub
• Airflow, Pandas
• MongoDB, Neo4j, ElasticSearch
• Scikit-Learn, spaCy, fastText, Keras / Tensorflow
• Docker, AWS, S3, Valohai

Pré-requis

• Maîtrise de Python ; code bien structuré, testé, documenté et efficace.
• Expérience de développement de process ETL et de pipelines de données en production.
• Désireux d’apprendre des autres et d’enseigner aux autres.
• Point bonus: Intérêt pour la data science, le NLP et le deep learning.
• Point bonus: connaissance de JavaScript (ReactJS) et visualisation de données.

Responsabilités

• Devenir le référent et l’architecte du data engineering.
• Travailler ensemble avec des ingénieurs, des produits et des opérations pour améliorer nos données.
• Passer d’une centaine de sites Web scrapés à plusieurs milliers.
• Améliorer, réviser et maintenir le processus d’extraction de données actuel.
• Créer des interfaces qui permettent aux machines et aux utilisateurs de générer, de corriger et de valider des données.

Travailler chez Skillup

• Travailler sur le coeur du produit et avoir de l’impact dans l’équipe.
• Opportunité unique de consacrer vos compétences techniques à un projet EdTech qui fait la différence <3.
• Un ensemble de données en constante croissance pour utiliser et améliorer l’état de l’art.
• Localisation en plein centre de Paris (Strasbourg-Saint-Denis, Paris).