Analyste Red Teaming des systèmes multi-agents

Job description

Le département Model Risk Management veille à la qualité et à la pertinence des modèles développés au sein du Groupe, ainsi qu’au suivi du risque de modèle de la banque. L’équipe est entre autres en charge de réaliser des benchmarks afin de tester les limites des modèles des entités auditées. Réaliser une étude sur les méthodes de monitoring et de red teaming appliquées aux systèmes multi-agents fondés sur des Large Language Models (LLM), puis les implémenter et les évaluer sur des architectures agentiques open source ou internes à l’équipe.

Vous serez notamment amené à

Effectuer une revue de littérature sur les approches de monitoring, d’évaluation et de red teaming des systèmes multi-agents Prendre en main des frameworks agentiques open source ou internes à l’équipe Développer des métriques et tableaux de bord permettant de suivre la performance, la stabilité et la qualité des interactions entre agents

Concevoir et exécuter des campagnes de red teaming afin d’identifier les vulnérabilités, comportements inattendus, erreurs de raisonnement et scénarios d’échec Comparer différentes stratégies de monitoring et de tests adversariaux afin d’identifier les meilleures pratiques pour l’évaluation des systèmes agentiques Documenter l’étude et animer des ateliers interactifs pour présenter les avancements aux membres de l’équipe

Apports du stage Vous acquerrez une vision spécifique en gestion du risque de modèle au sein des établissements bancaires, ainsi qu’une expérience significative dans le domaine de la data science.

Vous mettrez en exergue vos qualités rédactionnelles et de présentation.

Durée du stage

6 mois.