Risques liés à l'utilisation de l'intelligence artificielle sur les marchés financiers - et comment les appréhender, les limiter et les contrôler

Classement¹

¹ _{Il s'agit d'une présentation très simplifiée qui doit permettre une première classification rapide de la thématique. Chaque établissement devrait déterminer individuellement et concrètement la pertinence et le besoin concret d'agir.}

Il y a quelques jours, le Conseil fédéral a fixé des valeurs de référence pour la réglementation de l'IA en Suisse en se basant sur l'état des lieux établi par le DETEC et le DFAE pour la réglementation de l'IA . La Suisse doit ratifier la Convention du Conseil de l'Europe sur l'IA et s'atteler à sa mise en œuvre, tant par des adaptations législatives aussi sectorielles que possible et l’élaboration de mesures juridiquement non contraignantes. Sur le marché financier, c’est principalement la FINMA qui contribue à la concrétisation de la réglementation de l'IA, notamment avec sa communication sur la surveillance 08/2024. Après avoir formulé pour la première fois, ses attentes concernant quatre domaines particulièrement exigeants dans son moniteur de risques à la fin 2023, l'autorité de surveillance continue d’attirer l'attention sur les risques liés à l'utilisation de l'IA sur le marché financier et communique des attentes plus concrètes en matière de gouvernance et de gestion des risques appropriée. Ces développements exigent également des prestataires de services financiers suisses qui souhaitent utiliser des applications d'IA qu'ils se penchent sur la réglementation de l'IA. 

La FINMA attend une réflexion active sur les effets de l’utilisation d’applications de l'IA sur le profil de risque

La FINMA attend des assujettis qui utilisent l'IA qu'ils s’intéressent activement sur les effets de cette technologie sur leur profil de risque et qu'ils adaptent leur gouvernance et leur système de contrôle interne en conséquence. A cet égard, il convient notamment de tenir compte de l'importance des applications d'IA utilisées ainsi que de la probabilité de survenance des risques qui en découlent. La FINMA cite des facteurs potentiellement déterminants pour le caractère important d’une application :

Importance : l’importance pour le respect de la législation sur les marchés financiers, les conséquences financières pour l’entreprise, les risques juridiques et de réputation, l’importance du produit pour l'entreprise, le nombre de clients concernés, le type de clients, l’importance du produit pour les clients et les conséquences en cas d'erreur ou de défaillance.

Probabilité d'occurrence : la complexité (p. ex. explicabilité et prévisibilité), le type et la quantité de données utilisées (p. ex. données non structurées, intégrité, adéquation, données personnelles), le caractère inadapté des processus de développement ou de surveillance, le degré d'autonomie et d'intégration des processus, la dynamique (p. ex. cycles de calibrage courts), l’interconnexion de plusieurs modèles et le potentiel d'attaques ou de défaillances (p. ex. accru en raison d’une externalisation).

Lors de l'utilisation de l'IA, la FINMA met notamment l'accent sur les risques opérationnels, c'est-à-dire le risque de pertes résultant de l'inadéquation ou de la défaillance de procédures, de personnes ou de systèmes internes ou d'événements externes. Il s'agit principalement de risques liés aux modèles (p.  ex. manque de robustesse et d'exactitude, de biais ou de manque de stabilité et d'explicabilité) ainsi que de risques informatiques et cyberrisques. Du point de vue de la FINMA , il existe également des risques importants en cas de dépendance croissante à l’égard de tiers, des risques juridiques et de réputation ainsi que dans l'attribution des responsabilités.

Mesures pour traiter les risques résultant spécifiquement des applications d'IA

Afin de soutenir les assujettis dans l'identification, l'évaluation, la gestion et la surveillance des risques liés aux applications d’IA internes et externes, la FINMA présente des exemples de mesures, réparties en sept domaines. 

Governance

• Intégration de l'utilisation de l'IA dans le système de contrôle interne (c'est-à-dire un inventaire centralisé comprenant la classification des risques et des mesures y relatives, la définition des compétences et des responsabilités pour le développement, la mise en œuvre, la surveillance et l'utilisation de l’AI, ainsi que la définition de directives pour les tests de modèles et des contrôles auxiliaires du système, des normes de documentation et des mesures de formation étendues).
  
  
• En cas d'externalisation, mettre en place de tests, de contrôles et de clauses contractuelles supplémentaires qui règlent les compétences et les questions de responsabilité, et s'assurer que le(s) délégataire(s) dispose(nt) de suffisamment de compétences et d'expérience.
  
  

Inventaire et classification des risques

• Définition de l'AI (la FINMA renvoie ici à la définition de l'OCDE en matière d’AI (« AI System »)).
  
  
• Tenue d'inventaires d'IA, y compris la garantie de leur exhaustivité et la classification des risques des applications d'IA.
  
  

Qualité des données

• Création de directives et de lignes directrices internes pour garantir l'exhaustivité, l'exactitude, l'intégrité, leur disponibilité et l’accessibilité des données.
  
  
• Mise en place de contrôles appropriés.
  
  

Tests et surveillance constante

• Prévision de tests pour évaluer les performances et les résultats d'une application d'IA, comme :
  
  • "Backtesting" ou "Out-of-Sample Testing" : tests dans lesquels les utilisateurs connaissent le résultat correct et vérifient si l'application d’IA le fournit ;
  • Analyse de sensibilité ou "Stress testing" : tests conçus pour comprendre comment l'application d’IA se comporte dans certains cas limites ;
  • "Adversarial Testing" : tests avec des données d'entrée erronées.
    
    
• Fixation d’indicateurs de performance prédéfinis afin d'évaluer dans quelle mesure une application d'IA atteint les objectifs fixés.
  
  
• Réflexion sur des mécanismes de repli au cas où l'IA évoluerait dans une direction non souhaitée et ne remplirait plus les objectifs initialement définis.
  
  
• Définition de seuils ou d'autres méthodes de validation pour garantir l'exactitude et la qualité continue des résultats d'une application d'IA (p.  ex. à l'aide d'échantillons, de backtesting, de cas de test prédéfinis ou de benchmarking).
  
  

Documentation

• Documentation du but de l'application d’IA, de la sélection et de la préparation des données, du choix du modèle, des mesures de performance, des hypothèses, des limites, des tests et des contrôles ainsi que des solutions de repli.
  
  
• Documentation des sources de données et contrôles de qualité des données, y compris leur intégrité, leur exactitude, leur adéquation, leur pertinence, leurs biais et leur stabilité.
  
  
• Garantie de la robustesse et de la fiabilité ainsi que la traçabilité de l’application.
  
  
• Classification appropriée des risques, ainsi que la justification et la vérification correspondantes.
  
  

Explicabilité

• Evaluation critique des résultats des applications d'IA c’est-à-dire qu’il convient de comprendre les vecteurs des applications et/ou leur comportement dans différentes conditions afin de pouvoir évaluer la plausibilité et la robustesse des résultats.
  
  

Vérification indépendante

• Obtention sur la base d’une vérification indépendante pour les applications d'IA importantes, d’un avis objectif, averti et impartial sur l'adéquation et la fiabilité d'une méthode pour un cas d'utilisation donné, et que les conclusions de la vérification soient prises en compte dans le développement de l'application.
  
  

Conclusion

Grâce à la transparence créée par la FINMA dans le domaine de la réglementation de l'IA avec la communication sur la surveillance 08/2024, les assujettis qui utilisent l'IA ou qui envisagent de le faire devraient affiner leur compréhension des risques dans ce domaine et adapter leur gouvernance et leur gestion des risques en conséquence. Les risques liés à l'IA devraient être intégrés dans l'analyse des risques, en plus des autres risques opérationnels, avec la définition subséquente de mesures d'atténuation des risques et de contrôles d'efficacité. La FINMA continuera de développer ses attentes en la matière en s'appuyant sur les expériences tirées de son activité de surveillance, en s'inspirant des approches réglementaires internationales et, si nécessaire, en apportant davantage de transparence sur le marché. D'ici fin 2026, le DFJP élaborera, en collaboration avec le DETEC et le DFAE, un projet de consultation qui définira les mesures légales à prendre pour mettre en œuvre la Convention du Conseil de l'Europe sur l’IA. D'ici là, un plan sera également élaboré pour les autres mesures, non contraignantes sur le plan juridique, qui apportera davantage de clarté sur l'orientation de la Suisse en matière de réglementation de l'IA.

Vous avez des questions sur la réglementation de l'IA ? Nos spécialistes de l'équipe Regulatory & Compliance FS se feront un plaisir de vous aider. Nous nous réjouissons de votre prise de contact.