La description:
En tant qu'Ingénieur Data d'EarthDailyAgro, votre principale responsabilité sera de concevoir, développer et gérer des pipelines de données et des infrastructures spécialisées pour les applications géospatiales et de télédétection. Vous travaillerez en étroite collaboration avec des data scientists, des analystes géospatiaux, des experts en télédétection, des ingénieurs logiciels et des équipes DevOps pour assurer le succès du déploiement et de la mise à l'échelle des pipelines de données, afin d'alimenter des modèles d'apprentissage automatique à base de données géospatiales. Votre rôle sera crucial dans l'optimisation de l'écosystème d'apprentissage automatique des données géospatiales et dans l'intégration des solutions géospatiales pilotées par l'IA pour des applications au monde réel. VOS RESPONSABILITÉS INCLURONT : - Conceptualisation, développement et mise à l'échelle d'un pipeline de données basé sur le cloud : Construire un pipeline pour ingérer de grands volumes de données géospatiales, les prétraiter et répondre aux exigences des scientifiques des données, en termes d'accessibilité, de vitesse, de format et de qualité. - Automatisation et CI/CD : industrialisation du déploiement, de l'orchestration des chaines de traitements et gestion des versions des pipelines. - Optimisation des coûts et de la vitesse : Collaborer avec l'équipe d'infrastructure pour développer, optimiser et affiner les pipelines. - Cloud et conteneurisation : Expérience des plateformes cloud (par exemple, AWS, Azure, GCP) et des outils de conteneurisation. - Gestion de l'infrastructure : Utiliser les technologies de conteneurisation et les services basés sur le cloud pour mettre en place et gérer l'infrastructure, permettant un déploiement et une évolutivité sans faille. - Surveillance et détection des anomalies : Mettre en œuvre des systèmes de surveillance pour suivre les performances du pipeline et identifier les anomalies. - Contrôle de version et contrôle de version des données : Maîtrise des systèmes de contrôle de version tels que Git et DVC. - Sécurité et conformité : Assurer la sécurité et la confidentialité des données géospatiales, en respectant les réglementations relatives à la protection des données et les meilleures pratiques du secteur. - Collaboration et communication : Collaborer avec des équipes interdisciplinaires pour intégrer le pipeline de données dans les applications existantes ou développer de nouveaux produits géospatiaux. - Résolution des problèmes et dépannage : Identifier et résoudre rapidement les problèmes techniques liés au traitement des données géospatiales, aux performances ou à l'infrastructure. EDUCATION, CONNAISSANCES ET CAPACITÉS Exigences - Formation : Diplôme d'ingénieur en informatique, une spécialisation en géomatique et/ou en télédétection serait un plus. - Expérience : Une expérience de plus de 3 ans dans l'implémentation et le déploiement de pipelines de données est indispensable. Une expérience pratique prouvée dans la mise en place de pipelines et de processus de données avec des outils opensource (par exemple, MLFlow, Argo, Kubeflow) est souhaitable. - Compétences en programmation : Maîtrise de Python et des frameworks de manipulation de données (par exemple, dataframe, numpy, pandas, xarray, rasterio) et des librairies (par exemple, Dask). - Compétences en matière de résolution de problèmes : Autonomie et fortes capacités d'analyse et de résolution de problèmes pour relever des défis complexes en matière de données et d'analyse géospatiales. - Compétences en matière de communication : Excellentes compétences en matière de communication et de relations interpersonnelles pour collaborer efficacement avec les équipes interfonctionnelles et les parties prenantes. - Français obligatoire (poste basé en France). Maîtrise de l'anglais (oral et écrit) : internes se déroulent principalement en anglais