Développeur.euse sénior, Plateforme de données ML

LoiZéro • Montreal, QC

2d • Onsite

About The Position

Nous recherchons un·e Développeur.euse sénior, Plateforme de données ML visionnaire et hautement technique pour concevoir, implémenter, faire évoluer et maintenir le moteur de données qui alimente nos modèles de pointe (frontier models) de prochaine génération. Dans ce rôle à fort impact, vous ferez le pont entre la recherche en IA de pointe et l'ingénierie haute performance, en traitant la plateforme de données comme un produit interne dont nos chercheurs sont les principaux clients. Vous serez responsable de la conception d'une architecture de stockage multi-niveaux à ultra-faible temps de latence et de la construction de pipelines de traitement de données automatisés à l'échelle du pétaoctet. Nous recherchons une personne capable de faire évoluer notre environnement technique vers un système à grande échelle, non seulement en suivant les tendances de l'industrie, mais aussi en les remettant en question et en prenant des décisions durables en étroite collaboration avec nos équipes de recherche et de produit.

Requirements

• Un baccalauréat (ou diplôme universitaire équivalent) dans un domaine pertinent (ex. informatique, génie informatique, génie logiciel) est requis.
• Plus de 5 ans d'expérience dans la conception, l'implémentation et la gestion de stockage à l'échelle du web, avec les réseaux haute performance (HPC) ou les environnements de données d’apprentissage automatique (ML) distribués à grande échelle, dont une expérience récente utilisant par exemple Lustre, Ray, Apache Spark, des orchestrateurs de flux de travaux (workflow orchestrators), Apache Arrow et/ou Parquet.
• Capacité à collaborer efficacement avec des équipes interfonctionnelles, à documenter les meilleures pratiques et à rester à l'affût des dernières avancées en matière de traitement de données à grande échelle et de développement logiciel.
• Expérience avec des gestionnaires de charge de travail (ex. Ray, Kubernetes, Slurm).
• Familiarité avec les outils de conteneurisation (ex. Docker, Enroot).
• Familiarité avec les infrastructures et plateformes de données (ex. bases de données vectorielles).

Responsibilities

• Concevoir et maintenir une architecture de stockage hiérarchisée et collaborer avec l'équipe de recherche pour assurer une intégration fluide avec les pipelines d'entraînement.
• Faire évoluer et automatiser l'infrastructure de traitement des données pour gérer des pétaoctets de données et garantir son bon fonctionnement.
• Assurer une utilisation efficace des ressources de calcul, y compris l'accès aux GPU pour les tâches de traitement de données intensives.
• Aider l'équipe d’Infrastructure à provisionner les environnements de calcul et de stockage afin de soutenir la mise à l’échelle (scaling).
• Garantir que tous les ensembles de données (datasets), y compris les résultats intermédiaires de chaque étape de transformation, soient versionnés, reproductibles et entièrement traçables pour répondre aux besoins spécifiques et dynamiques des expériences, et qu'ils soient accompagnés de fiches techniques (datasheets), conformément aux politiques internes de gouvernance des données.
• Collaborer avec l'équipe de recherche et d'autres équipes pour comprendre leurs besoins concernant l'exploration, l'échantillonnage et l'analyse des données en libre-service, et développer les outils appropriés.

Benefits

• La possibilité de contribuer de manière significative à une initiative d'importance mondiale.
• Des avantage sociaux complets en matière de santé (incluant un compte de gestion de la santé mentale et du bien-être).
• 20 jours de vacances par an dès l'embauche.
• Une contribution de l'employeur de 4 % à votre épargne-retraite, sans exigence de contribution équivalente de la part de l'employé.
• Une rémunération supplémentaire totalisant 8 % de votre salaire, à attribuer à une épargne-retraite supplémentaire ou à des primes (non lié à la performance).
• Une équipe d'experts passionnés et compétents.
• Un environnement de travail collaboratif et inclusif dans nos bureaux situés au cœur de la Petite Italie, dans le quartier branché de Mile-Ex, à proximité des transports en commun.

What This Job Offers

• Job Type: Full-time
• Career Level: Senior