Développeur.se de recherche principal.e, optimisation de performance de calcul

À propos de Mila et BRDG

Mila est un institut de recherche de renommée mondiale en intelligence artificielle fondé par Yoshua Bengio. Reconnu mondialement pour ses importantes contributions au domaine de l'apprentissage profond, Mila s'est particulièrement distingué dans la modélisation du langage, la traduction automatique, la reconnaissance d'objets et les modèles génératifs.

L'équipe BRDG (Benchmarking, Recherche et Développement pour les Grappes de calcul en IA) a pour mission d'optimiser les ressources de calcul à Mila par l'innovation technologique. Cette mission se décline en trois axes principaux : l'évaluation et le benchmarking des technologies de pointe en calcul scientifique, le développement de nouvelles méthodologies pour améliorer l'efficacité des codes de recherche, et la collaboration stratégique avec les fabricants d'accélérateurs pour influencer le développement des futures technologies et faciliter leur adoption à Mila.

Nous recherchons un.e développeur.se de recherche principal.e pour rejoindre l'équipe BRDG et transformer l'efficacité computationnelle de la recherche en IA à Mila. Dans ce rôle stratégique, vous évaluerez les nouvelles architectures d'accélérateurs, collaborerez étroitement avec les équipes de recherche pour identifier les composants critiques à optimiser, et développerez des solutions d'optimisation bas niveau qui maximisent les performances de notre infrastructure de calcul de pointe.

Votre expertise technique accélérera directement les découvertes scientifiques les plus critiques de notre époque en décuplant l'efficacité des ressources de calcul, ouvrant la voie plus rapidement à des percées révolutionnaires dans de nombreux domaines, notamment en médecine, science des matériaux et lutte contre les changements climatiques. Dans un contexte où le Canada élabore sa stratégie nationale pour rivaliser mondialement en calcul haute performance pour l'IA, votre travail d'optimisation et de codéveloppement avec l'industrie amplifiera considérablement le rôle stratégique de Mila, faisant de l'institut un pilier incontournable de la compétitivité technologique canadienne et démocratisant l'accès aux technologies d'IA de pointe pour les institutions du monde entier.

Responsabilités principales

1. Optimisation avancée et évaluation de performance

• Benchmarking de nouvelles architectures : Évaluer et analyser les profils de performance des nouveaux accélérateurs de calcul pour identifier leurs caractéristiques optimales et leurs limitations.
• Identification de goulots d'étranglement : Analyser en profondeur des codes de recherche complexes (entraînement de modèles à grande échelle, pipelines d'inférence, algorithmes distribués) pour détecter les inefficacités computationnelles et mémorielles.
• Optimisations bas niveau : Implémenter des optimisations avancées incluant la réécriture de kernels personnalisés, la migration de simulations vers GPU, et l'exploitation de fonctionnalités spécialisées des accélérateurs (tensor cores, mémoire partagée, optimisations de bande passante).

2. Collaborations transversales

• Expertise multi-domaines : Collaborer avec des groupes de recherche spécialisés dans des domaines variés (traitement du langage naturel, vision par ordinateur, apprentissage par renforcement, réseaux de neurones graphiques) pour comprendre leurs besoins computationnels spécifiques et recommander des accélérateurs adaptés.
• Optimisation en cours de recherche : Collaborer étroitement avec les chercheurs pour identifier les composants computationnels stables et critiques à optimiser dans un environnement de recherche en constante évolution.
• Reproduction et optimisation : Reproduire fidèlement des travaux de recherche et développer des versions optimisées spécifiquement adaptées pour des accélérateurs de calcul de nouvelle génération.

3. Développement logiciel et outils

• Bibliothèques open-source : Concevoir et implémenter des bibliothèques open-source minimale afin de partager les versions optimisées des algorithmes avec la communauté Mila et l'écosystème de recherche externe.
• Contribution aux benchmarks : Développer et intégrer des workflows optimisés dans la suite de benchmarks de Mila pour standardiser les meilleures pratiques de performance.

4. Leadership et communication

• Représentation auprès des partenaires : Présenter l'expertise technique et les projets de recherche lors de discussions stratégiques avec des partenaires industriels potentiels.
• Rayonnement scientifique : Contribuer à la visibilité de l'équipe en présentant les travaux d'optimisation dans les principales conférences de machine learning et de calcul haute performance (NeurIPS, ICML, SC, etc.).

Mentorat et développement d'équipe : Encadrer les développeurs de recherche juniors et contribuer activement à la structuration et à la croissance de l'équipe d'optimisation BRDG.

About Mila and BRDG

Mila is a world-renowned artificial intelligence research institute founded by Yoshua Bengio. Globally recognized for its significant contributions to the field of deep learning, Mila has particularly distinguished itself in language modeling, machine translation, object recognition, and generative models.

The BRDG team (Benchmarking, Research and Development for AI Compute Clusters) is dedicated to optimizing computing resources at Mila through technological innovation. This mission is divided into three main areas: the evaluation and benchmarking of state-of-the-art scientific computing technologies, the development of new methodologies to improve the efficiency of research code, and strategic collaboration with accelerator manufacturers to influence the development of future technologies and facilitate their adoption at Mila.

We are looking for a Principal Research Developer to join the BRDG team and transform the computational efficiency of AI research at Mila. In this strategic role, you will evaluate new accelerator architectures, collaborate closely with research teams to identify critical components for optimization, and develop low-level optimization solutions that maximize the performance of our cutting-edge computing infrastructure.

Your technical expertise will directly accelerate the most critical scientific discoveries of our time by tenfold increasing the efficiency of computing resources, paving the way faster for revolutionary breakthroughs in many fields, particularly in medicine, materials science, and the fight against climate change. In a context where Canada is developing its national strategy to compete globally in high-performance computing for AI, your work on optimization and co-development with the industry will significantly amplify Mila's strategic role, making the institute an essential pillar of Canadian technological competitiveness and democratizing access to cutting-edge AI technologies for institutions worldwide.

Main Responsibilities

1. Advanced Optimization and Performance Evaluation

• Benchmarking New Architectures: Evaluate and analyze the performance profiles of new compute accelerators to identify their optimal characteristics and limitations.
• Bottleneck Identification: Deeply analyze complex research code (large-scale model training, inference pipelines, distributed algorithms) to detect computational and memory inefficiencies.
• Low-Level Optimizations: Implement advanced optimizations including custom kernel rewriting, migration of simulations to GPU, and exploitation of specialized accelerator features (tensor cores, shared memory, bandwidth optimizations).

2. Cross-Functional Collaborations

• Multi-Domain Expertise: Collaborate with research groups specializing in various fields (natural language processing, computer vision, reinforcement learning, graph neural networks) to understand their specific computational needs and recommend suitable accelerators.
• In-Research Optimization: Work closely with researchers to identify stable and critical computational components for optimization in a constantly evolving research environment.
• Reproduction and Optimization: Faithfully reproduce research work and develop optimized versions specifically adapted for next-generation compute accelerators.

3. Software Development and Tools

• Open-Source Libraries: Design and implement minimal open-source libraries to share optimized versions of algorithms with the Mila community and the external research ecosystem.
• Benchmark Contribution: Develop and integrate optimized workflows into the Mila benchmark suite to standardize performance best practices.

4. Leadership and Communication

• Partner Representation: Present technical expertise and research projects during strategic discussions with potential industrial partners.
• Scientific Outreach: Contribute to the team's visibility by presenting optimization work at major machine learning and high-performance computing conferences (NeurIPS, ICML, SC, etc.).

Mentorship and Team Development: Mentor junior research developers and actively contribute to the structuring and growth of the BRDG optimization team.

Requirements

Compétences et qualifications requises

• Expertise en optimisation d'accélérateurs : Maîtrise approfondie des architectures GPU modernes (CUDA, ROCm) et expérience démontrée en optimisation bas niveau, incluant la réécriture de kernels personnalisés et l'exploitation de fonctionnalités spécialisées (tensor cores, mémoire partagée)

• Expérience industrielle significative : Minimum 5-7 ans d'expérience en optimisation de systèmes haute performance et en développement de solutions computationnelles complexes, avec un historique prouvé de collaboration dans des environnements techniques exigeants

• Polyvalence en apprentissage automatique : Solide compréhension des architectures et algorithmes d'apprentissage automatique à travers plusieurs domaines (vision par ordinateur, traitement du langage naturel, apprentissage par renforcement), avec la capacité de s'adapter rapidement à de nouveaux paradigmes de recherche

• Programmation avancée : Maîtrise experte de Python et C++, avec une expérience approfondie des frameworks ML (PyTorch, Jax), des outils de profilage de performance, et du développement de bibliothèques open-source

• Collaboration en recherche : Expérience démontrée de travail dans des environnements de recherche dynamiques et incertains, avec la capacité d'identifier les composants critiques à optimiser malgré l'évolution constante des projets

• Leadership technique : Autonomie dans la prise de décisions techniques complexes et capacité à guider des équipes multidisciplinaires vers des objectifs d'optimisation

• Maîtrise de l'anglais : Excellente communication orale et écrite en anglais pour collaborer efficacement avec des chercheurs internationaux et rédiger des publications scientifiques

Atouts supplémentaires

• Publications et rayonnement scientifique : Contributions à la recherche en systèmes ML, calcul haute performance ou optimisation computationnelle, avec publications dans des conférences reconnues (NeurIPS, ICML, SC)

• Expertise matérielle avancée : Connaissance approfondie des architectures d'accélérateurs émergents et expérience avec l'évaluation de performance de matériel en pré-commercialisation

• Contribution open-source : Historique de développement et de maintenance de bibliothèques open-source utilisées par la communauté de recherche en IA

• Expérience de mentorat : Expérience démontrée d'encadrement technique et de formation d'équipes de développement, particulièrement dans des contextes de recherche appliquée

• Présentation et communication : Expérience de présentation de travaux techniques à des audiences variées (partenaires industriels, conférences académiques, équipes internes)

• Domaines de spécialisation : Expertise approfondie dans un ou plusieurs domaines de recherche spécifiques (modèles de langage à grande échelle, vision par ordinateur, réseaux de neurones graphiques, apprentissage par renforcement)

• Maîtrise du français : Connaissance du français pour faciliter la collaboration avec les collègues et l'intégration dans l'environnement de travail québécois

Required Skills and Qualifications

• Expertise in Accelerator Optimization: Profound mastery of modern GPU architectures (CUDA, ROCm) and demonstrated experience in low-level optimization, including custom kernel rewriting and exploiting specialized features (tensor cores, shared memory).
• Significant Industry Experience: Minimum 5-7 years of experience in high-performance system optimization and complex computational solution development, with a proven track record of collaboration in demanding technical environments.
• Versatility in Machine Learning: Solid understanding of machine learning architectures and algorithms across multiple domains (computer vision, natural language processing, reinforcement learning), with the ability to quickly adapt to new research paradigms.
• Advanced Programming: Expert proficiency in Python and C++, with in-depth experience with ML frameworks (PyTorch, Jax), performance profiling tools, and open-source library development.
• Research Collaboration: Demonstrated experience working in dynamic and uncertain research environments, with the ability to identify critical components for optimization despite the constant evolution of projects.
• Technical Leadership: Autonomy in making complex technical decisions and the ability to guide multidisciplinary teams towards optimization goals.
• Proficiency in English: Excellent oral and written communication in English to collaborate effectively with international researchers and write scientific publications.

Additional Assets

• Publications and Scientific Outreach: Contributions to research in ML systems, high-performance computing, or computational optimization, with publications in recognized conferences (NeurIPS, ICML, SC).
• Advanced Hardware Expertise: Deep knowledge of emerging accelerator architectures and experience with pre-commercial hardware performance evaluation.
• Open-Source Contribution: History of developing and maintaining open-source libraries used by the AI research community.
• Mentorship Experience: Demonstrated experience in technical guidance and training development teams, particularly in applied research contexts.
• Presentation and Communication: Experience presenting technical work to various audiences (industrial partners, academic conferences, internal teams).
• Areas of Specialization: In-depth expertise in one or more specific research areas (large-scale language models, computer vision, graph neural networks, reinforcement learning).
• Proficiency in French: Knowledge of French to facilitate collaboration with colleagues and integration into the Quebec work environment.

Benefits

De bonnes raisons pour travailler à Mila

• L’occasion de contribuer à une mission unique avec un impact important;
• L’occasion de contribuer au lancement d’une équipe stratégique au cœur des enjeux de calcul de l’IA moderne.
• Accès à un environnement de calcul de pointe, incluant une large variété de GPU et d’accélérateurs.
• Un programme d’assurance collective complet (maladie, dentaire, invalidité, vie, assurance voyage et garanties complémentaires);
• Un programme d’aide aux employés et à la famille;
• Un accès à un service de télémédecine;
• Une politique de congés annuels offrant une base de 20 jours de vacances dès l’embauche;
• Un régime d’épargne retraite avec contribution de l’employeur minimale de 4%;
• Une généreuse enveloppe flexible vous permettant de personnaliser vos avantages sociaux en fonction de ce qui contribue à votre bien-être. Vous pouvez sélectionner et combiner les options qui correspondent à vos besoins parmi les crédits style de vie, une assurance bonifiée, des journées de vacances supplémentaires et une contribution enrichie au régime de retraite;
• Un horaire flexible, un horaire d’été et une possibilité de télétravail;
• Un milieu de travail au cœur de la Petite Italie, dans le quartier branché Mile-Ex, à proximité des transports en commun;
• Une équipe d’experts de leur domaine, des gens passionnés et passionnants;
• Une ambiance de travail collaborative et inclusive.

Good Reasons to Work at Mila

• The opportunity to contribute to a unique mission with significant impact.
• The opportunity to contribute to the launch of a strategic team at the heart of modern AI computing challenges.
• Access to a state-of-the-art computing environment, including a wide variety of GPUs and accelerators.
• A comprehensive group insurance program (medical, dental, disability, life, travel insurance, and complementary coverage).
• An employee and family assistance program.
• Access to a telemedicine service.
• An annual leave policy offering a base of 20 vacation days upon hiring.
• A retirement savings plan with a minimum employer contribution of 4%.
• A generous flexible allowance allowing you to customize your social benefits based on what contributes to your well-being. You can select and combine options that meet your needs from lifestyle credits, enhanced insurance, additional vacation days, and an enriched retirement plan contribution.
• Flexible hours, a summer schedule, and the possibility of teleworking.
• A workplace in the heart of Little Italy, in the trendy Mile-Ex district, close to public transportation.
• A team of experts in their field, passionate and engaging people.
• A collaborative and inclusive work atmosphere.