Prompt Engineer

Medfar

3d•Remote

About The Position

As a Prompt Engineer, you will play a central role in improving generative AI features for clinical and operational use. You will contribute to evolving the quality of generations while participating in the structuring of prompting practices within the team. Specifically, you will be responsible for: Auditing and re-architecting CoeurWay's monolithic prompts: Converting their current structure into a modular chain of targeted and maintainable prompts, improving robustness, debuggability, and adaptability; Leading the selection and evaluation of language models: Evaluating and pairing models to specific prompting tasks, favoring a model-agnostic approach that reduces vendor dependency and optimizes quality and costs; Ensuring the quality of AI-generated clinical outputs: Defining quality criteria, identifying failure modes, and driving continuous improvement through structured validation processes; Evolving and realigning the existing evaluation framework: Improving the coverage of the framework, which currently covers 7 quality rubrics for clinical notes, its automation potential, and its alignment with clinical reality; Establishing a systematic approach to output validation: Identifying edge cases, implementing regression tests for prompt modifications, and documenting known limitations; Designing and implementing new prompts and evaluation suites: Supporting new CoeurWay and MYLE EMR features with appropriate prompting and evaluation solutions; Mentoring and ensuring the growth of the practice: Mentoring future prompt designers as the team grows and participating in hiring decisions. Contributing to documentation and best practices: Establishing and maintaining internal documentation, standards, and best practices for prompt engineering at MEDFAR; Staying abreast of the evolving LLM landscape: Tracking new models, prompting techniques, and evaluation methodologies, and sharing relevant findings with the team; Developing a deep understanding of clinical workflows: Gaining expertise in healthcare provider needs and maintaining close relationships with client-facing and end-user teams; Collaborating with the GenAIOps team: Ensuring prompts are production-ready—observable, versioned, and deployable via established CI/CD processes.

Requirements

5 ans minimum d'expérience professionnelle en IA/ML, développement produit, linguistique computationnelle ou domaine connexe ;
2 ans minimum d'expérience pratique en prompt engineering dans des systèmes LLM en production, idéalement en contexte SaaS B2B ou industrie réglementée ;
Expérience démontrée à décomposer des prompts complexes en architectures modulaires et chaînées , incluant des patterns tels que le chaînage de prompts, le routage, la réflexion ou l'utilisation d'outils ;
Expérience dans la conception ou l'amélioration significative de cadres d'évaluation pour LLM — conception de rubriques, alignement inter-évaluateurs et analyse des modes de défaillance ;
Forte familiarité avec les API commerciales de modèles génératifs avancés (OpenAI, Anthropic, Google, etc.) et compréhension des compromis pratiques entre elles ;
Maîtrise avancée de l'anglais , écrit et parlé ;
Maîtrise du français requise en raison des fréquentes interactions avec les clients ;

Nice To Haves

Expérience dans le domaine des technologies de l’information en santé , de la documentation clinique ou de cas d’usage liés aux soins ;
Compréhension des concepts liés aux notes cliniques , à leur structure et à la pertinence des informations à inclure ou à exclure ;
Expérience avec des approches d’ évaluation automatisée de la qualité des générations, incluant l’utilisation de juges basés sur des LLM ;
Expérience dans des contextes où plusieurs modèles sont utilisés selon différents besoins ou contraintes ;
Familiarité avec les enjeux d’ orchestration , de monitoring ou d’opérationnalisation de solutions de GenAI ;
Intérêt marqué pour la création de standards, de documentation et de pratiques durables dans un domaine émergent.
Maîtrise de Python ou d'un autre langage de programmation pour construire des pipelines d'évaluation ou des outils de prompting ;
Expérience avec des modèles auto-hébergés ou de poids ouverts ;

Responsibilities

Auditer et réarchitecturer les prompts monolithiques de CoeurWay : Convertir leur structure actuelle en une chaîne modulaire de prompts ciblés et maintenables, améliorant la robustesse, la débogabilité et l'adaptabilité ;
Diriger la sélection et l'évaluation des modèles de langue : Évaluer et appairer les modèles aux tâches de prompting spécifiques, en favorisant une approche indépendante des modèles qui réduit la dépendance aux fournisseurs et optimise la qualité et les coûts ;
Assurer la qualité des sorties cliniques générées par l'IA : Définir les critères de qualité, identifier les modes de défaillance et piloter l'amélioration continue par des processus de validation structurés ;
Faire évoluer et réaligner le cadre d'évaluation existant : Améliorer la couverture du cadre couvrant actuellement 7 rubriques de qualité des notes cliniques, son potentiel d'automatisation et son alignement avec la réalité clinique ;
Établir une approche systématique de validation des sorties : Identifier les cas limites, mettre en place des tests de régression pour les modifications de prompts et documenter les limitations connues ;
Concevoir et mettre en œuvre de nouveaux prompts et suites d'évaluation : Soutenir les nouvelles fonctionnalités de CoeurWay et MYLE EMR avec des solutions de prompting et d'évaluation appropriées ;
Mentorer et assurer la croissance de la pratique : Mentorer les futurs concepteurs de prompts à mesure que l'équipe se développe et participer aux décisions d'embauche.
Contribuer à la documentation et aux meilleures pratiques : Établir et maintenir la documentation interne, les normes et les meilleures pratiques en matière d'ingénierie de prompting chez MEDFAR ;
Rester à l'affût de l'évolution du paysage des LLM : Suivre les nouveaux modèles, techniques de prompting et méthodologies d'évaluation, et partager les résultats pertinents avec l'équipe ;
Développer une compréhension approfondie des flux de travail cliniques : Acquérir l'expertise des besoins des prestataires de soins de santé et maintenir des relations étroites avec les équipes en contact avec les clients et les utilisateurs finaux ;
Collaborer avec l'équipe GenAIOps : Assurer que les prompts sont prêts pour la production — observables, versionnés et déployables via des processus CI/CD établis ;

Benefits

Télétravail et flexibilité (équilibre entre vie professionnelle et vie privée).
Contribution au REER
Assurance collective complète dès le premier jour.
Congé payé: 3 semaines + 1 entre Noël et le Nouvel An.
Allocation annuelle de formation pour soutenir votre développement professionnel.
Programme d'onboarding pour vous familiariser avec notre environnement et le domaine de la santé numérique
Le matériel informatique est fourni, ainsi que d’autres équipements si nécessaire.
Opportunités de croissance interne (promotions, mobilité interne)
L’appui d’un comité bien-être et social , avec des initiatives favorisant la cohésion, la santé mentale et le bien-être de nos employés
Une culture d'entreprise axée sur la transparence, la collaboration et l'innovation.
Rejoindre un environnement dynamique et innovant, où votre travail a un impact concret et à grande échelle, en contribuant à moderniser les soins de santé tant au Canada qu’à l’international.