Analyste Red Teaming des modèles d'embeddings

Job description

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées. L’objectif du stage est d’étudier et d’évaluer la robustesse des modèles d’embeddings utilisés dans les systèmes RAG et agentiques au travers d’exercices de red teaming.

Le stagiaire contribuera à la définition d’un cadre méthodologique permettant d’identifier les vulnérabilités susceptibles d’affecter la qualité des informations récupérées et, in fine, les décisions prises par les systèmes d’IA.

Vous serez notamment amené à

Réaliser une revue de littérature sur les principales vulnérabilités des modèles d’embeddings et des systèmes de recherche vectorielle Prendre en main différents modèles d’embeddings open source, bases vectorielles et frameworks RAG afin de construire des environnements d'expérimentation représentatifs de cas d’usage métier Concevoir et implémenter des scénarios de red teaming visant à évaluer la robustesse des mécanismes de recherche et de récupération d’information ; Analyser l’impact d’attaques telles que l’empoisonnement de bases de connaissances, la manipulation des résultats de recherche, les attaques multilingues et les techniques d’évasion.

Définir des métriques de résilience Évaluer les risques associés pour des cas d’usage bancaires Documenter l’étude et animer des ateliers interactifs pour présenter les avancements aux membres de l’équipe Apports du stage Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu’une expérience significative dans le domaine de la data science. Vous mettrez en exergue vos qualités rédactionnelles et de présentation.

Durée du stage

6 mois.