Ingénieur(e) de données

AppDirect•Montreal, QC

3d•$100,000 - $135,000•Hybrid

About The Position

AppDirect offre une plateforme d’abonnement permettant de vendre n’importe quel produit en tant que service, et ce, par n’importe quel canal et sur n’importe quel appareil. Nous alimentons des millions d’abonnements pour le compte d’organisations de partout dans le monde. Notre action est toujours guidée par nos valeurs et notre culture – une culture qui vous permet d’être vu, de rester authentique et d’exceller. Notre mission d'équipe est d'unifier les données de toutes les unités commerciales de l’entreprise au sein d'un lac de données gouverné avec couche sémantique, afin d'alimenter l'analytique, l'IA, les rapports, le partage de données et les tableaux de bord internes et externes. Nous sommes à la recherche d’un ou d’une ingénieur(e) de données senior ayant une approche « données en tant que produit » et capable de concevoir des pipelines et des modèles de production fiables et réutilisables pour rejoindre notre équipe de connaissance des données basée à Montréal. À ce poste, vous développerez des produits de données de production et des pipelines de lac de données qui alimentent l'analyse et les tableaux de bord internes et externes. Vous travaillerez en collaboration avec les équipes d'ingénierie et de produit pour établir des contrats de données clairs et définir des modèles réutilisables.

Requirements

Excellente compréhension des flux de travail associés au développement assisté par IA, avec une expérience pratique des outils conçus pour améliorer l’efficacité, l’automatisation et la qualité du code, notamment Cursor, Claude, OpenCode, GitHub Copilot ou ChatGPT.
Expérience de l’approche du développement guidée par les spécifications, notamment la transformation des exigences en spécifications et critères d’acceptation clairs, puis leur implémentation (y compris les flux de travail assistés par des agents d’IA).
2+ années d’expérience en conception et exploitation de pipelines et modèles de données de production sur Snowflake, avec SQL, Python et dbt, incluant la livraison de transformations ELT fiables avec un historique de qualité et rendement.
2+ années d’expérience pratique dans la conception de modèles de données modulaires, versionnés et testés avec dbt (outil de construction de données), en considérant la transformation comme une pratique d’ingénierie logicielle (flux de travail Git, revue de code, tests automatisés).
2+ années d’expérience de travail avec les services infonuagiques AWS.
Solide compréhension des concepts liés à la qualité, la traçabilité, les techniques de validation et la gouvernance des données.
Capacité d’aborder des concepts techniques complexes avec des interlocuteurs techniques et non techniques, de comprendre les besoins et travailler efficacement au sein d’une équipe distribuée.
Bonne connaissance de l'anglais puisque le/la candidat.e sélectionné.e devra collaborer avec des équipes situées, entre autres, aux États-Unis, en Inde, en Argentine, ainsi que dans les provinces de l'Ontario et de l'Alberta.

Nice To Haves

Expérience pratique avec Databricks (espaces de travail, tâches/workflows, Spark SQL/PySpark, Delta Lake) pour contribuer au développement du lac de données en parallèle de Snowflake.
Connaissance de Fivetran (ou de connecteurs ELT similaires) pour une ingestion fiable des données de la source vers l’entrepôt de données, la gouvernance des connecteurs et la gestion de l’évolution des schémas.
Maîtrise de Cube.dev (ou couche sémantique/métrique similaire) pour des analyses contrôlées et en libre-service, ainsi que des indicateurs cohérents entre les produits et les utilisateurs.
Expérience souhaitée dans la conception et la maintenance de solutions de données en temps réel utilisant des plateformes de flux comme Apache Kafka.

Responsibilities

Concevoir, construire et améliorer la plateforme de données du lac de données (modèles et pipelines réutilisables sur Snowflake + dbt, avec charges de travail Databricks intégrées) afin de fournir aux équipes d’analytique et de produit des données fiables et gouvernées.
Traduire les exigences produit et commerciales en modèles et pipelines de données, en collaboration avec les chefs de produit, les unités opérationnelles et les ingénieurs, afin que la logique de domaine soit correctement déployée en production.
Migrer les processus ETL existants vers des pipelines de flux et incrémentaux modernes et performants, en optant pour Snowflake ou Databricks selon les besoins.
Utiliser et optimiser Snowflake pour en maximiser la fiabilité et l’efficacité, notamment en ajustant le dimensionnement et l’utilisation de l’entrepôt de données, en regroupant/partitionnant selon les besoins, et en assurant la visibilité sur les dépenses de crédit pour éviter une explosion des coûts.
Utiliser des outils de développement assistés par l’IA et des flux de travail basés sur des spécifications pour concevoir, automatiser et déployer les pipelines de données et la plateforme.
Faciliter l’intégration des données et permettre aux ingénieurs des unités opérationnelles de créer leurs propres produits de données sur notre plateforme.
Concevoir et évoluer les données alimentant les produits destinés aux clients (y compris les services de rapports et d’analytique) afin que les pipelines et les modèles offrent des expériences produit fiables.
Garantir la qualité des données en favorisant et en déployant une gouvernance des données robuste, des tests automatisés, des techniques de validation et la traçabilité des données.
Maintenir des métadonnées riches et détaillées dans Unity Catalog et Snowflake pour alimenter les applications en aval, notamment les agents d’IA et notre couche sémantique (Cube.dev).
Trouver des solutions à divers problèmes complexes et élaborer des preuves de concept pour évaluer les technologies émergentes.
Rédiger et maintenir une documentation de haute qualité pour faciliter le partage des connaissances et les flux de travail assistés par l’IA.