Data engineer PYTHON / GCP (IT) / Freelance
Le projet est divisé en 2 modules techniques :
une API qui fournit une décision de contrôle à tous les utilisateurs du système informatique (WMS), basée sur notre algorithme,
un ensemble de pipelines de données alimentés à partir de jeux de données BigQuery, alimentant un magasin de fonctionnalités. Ce feature store est ensuite utilisé par notre API et pour entraîner notre modèle prédictif.
Le prochain collaborateur aura pour mission de développer et maintenir ces deux modules.
Responsabilités :
Travailler avec l'équipe de développement pour concevoir et mettre en ?uvre des solutions de données modernes et évolutives en utilisant une gamme de nouvelles technologies émergentes.
Travailler avec des techniques Agile et DevOps ainsi que des approches d'implémentation dans la livraison.
Concevoir et documenter des modèles de données qui soutiennent les produits d'IA.
Orchestrer les pipelines de données.
Gérer et être responsable de la qualité des données.
Concevoir et documenter des API qui soutiennent les produits d'IA.
Travailler en étroite collaboration avec les scientifiques des données, les ingénieurs en ML et les équipes DevOps/SRE.
Profil candidat:
Connaissances linguistiques
Anglais Professionnel (Impératif)
Qualifications :
? Expérience de travail avec GCP (Google Cloud Platform).
? Expérience en développement Python.
? Expérience en développement d'API. Une bonne connaissance de FastAPI est requise.
? Expérience en Docker.
? Expérience en orchestration de pipelines de données.
? Bonne connaissance de DBT.
? Expérience en CI/CD. La connaissance de Github & des actions Github est requise.
? Un niveau confirmé sur Github
? Une expérience souhaité sur Terraform
? Maîtrise de l'anglais est requise.