Data Engineer F/H
Le Lac de données agricoles est une plateforme de données massives (Big data), souhaitée par l’ASP pour anticiper les changements de la réforme de la Poltique Agricole Commune 2023-2027 axée sur la performance. Cette plateforme a vocation à recueillir la grande majorité des données de la PAC, à des fins de suivi, d’évaluation et d’audit, et à terme, d’autres données de la sphère administrative agricole. Cette plateforme Big Data est désormais en production, depuis le 1er janvier 2023. Un prestataire externe assure la maitrise d’œuvre de cette plateforme Cloudera. Vous serez amené(e) à construire et évaluer des chaînes de traitement de données (préparation, modélisation, agrégation, exploration, analyse, prédiction) en collaboration avec les chargés de mission de Valorisation de données et les data scientists, puis assurer leur industrialisation.
Vos missions :
- S'assurer que la collecte, le stockage et la transformation des données se déroulent efficacement et en toute sécurité, pour l’ensemble des projets applicatifs du Lac de données agricoles.
- Identifier les difficultés rencontrées par les équipes projet et les partager avec la MOE pour les solutionner.
- Orchestrer l'architecture de données et mettre en place des flux de données (au sein du lac ou depuis l'externe)
- Veiller à ce que les données soient aisément accessibles et exploitables pour l'analyse par les Data Scientists et les chargés de mission de valorisation de données.
Champ relationnel du poste :
En interne : Direction des Soutiens Directs Agricoles (DSDA), Direction du Développement Rural et de la Pêche (DDRP), Mission de coordination des organismes payeurs des fonds agricoles (MCFA)
En externe : Ministère en charge de l’agriculture, Conseils régionaux, Organismes payeurs français, Auditeurs (français et européens), MOE
Savoirs :
Diplôme d'ingénieur, avec au moins 8 ans d'expérience dans le domaine du développement, et au moins 2 ans d’expérience sur un poste d’architecture applicative
Data Engineering :
- Maîtrise de python et de SQLPlus (> 5 ans),
- Connaissance des concepts de Service Mesh, de Data Mesh,
- Connaissance souhaitée en administration produit de Microstrategy/Dataiku,
- Aptitude à challenger la MOE en cas de problème sur le socle (déboguer, agir, tracer, communiquer),
- Compétences/expériences avérées en modélisation de données.
Architecture data :
- Solide connaissance des technologies Big Data et des technologies héritées : Cloudera, Apache Kafka, Apache Spark, Hadoop, Hive, Atlas,
- Connaissance des composants de sécurité d'une infrastructure Big Data (Knox, Ranger, Keycloak),
- Expérience avérée de l'installation et de la configuration d'au moins un Cluster Big Data sécurisé
- Capacité à challenger une architecture technique
- Maîtrise opérationnelle des éléments clés de l'architecture informatique (système, réseau, bases de données, stockage, middleware, chaîne CI/CD),
- Maitrise des SGBDR PostgreSql et Oracle (sauvegarde, restauration, miroitage).
Savoir-Faire :
- Avoir le sens de l'organisation, anticiper les deadlines, orchestrer les actions,
- Disposer d'un esprit d'équipe et pouvoir accepter les différences de point de vue,
- Savoir rédiger un document technique,
- Savoir argumenter les propositions techniques et aptitude à partager les connaissances avec les équipes d'architecture et de développement,
- Une connaissance du monde agricole du secteur public et des bases de la réglementation associée est un plus,
- La maîtrise fonctionnelle d’un secteur d’activité quel qu’il soit est un plus.
L Agence de Services et de Paiement (ASP) est un établissement public au service de la mise en œuvre des politiques publiques européennes, nationales et locales. Premier organisme payeur européen d aides de la Politique Agricole Commune (PAC), l ASP compte près de 2 200 agents répartis entre son siège à Limoges, une antenne à Montreuil, et un réseau de 12 directions régionales et interrégionales (DR), en France métropolitaine et dans les DOM.
La Direction des Soutiens Directs Agricoles (DSDA) assure la maîtrise d ouvrage du système d information « Isis-telepac » pour gérer et piloter les aides directes de la PAC.
Au sein de l’ASP, vous rejoindrez la direction des soutiens directs agricoles (DSDA), qui pilote la mise en œuvre des aides directes de la politique agricole commune : 350.000 agriculteurs et 8,5 milliards d'euros payés chaque année au titre du premier et du second pilier de la PAC.
La DSDA assure la maîtrise d’ouvrage du système d’information « Isis-telepac » de gestion des aides directes de la PAC.
Ce système est techniquement développé par un prestataire informatique, mais son développement et son exploitation sont pilotés par la DSDA.
Vous intègrerez la Direction de programme du Lac de données agricoles.