Risiken beim Einsatz von künstlicher Intelligenz im Finanzmarkt - und wie diese erfasst, begrenzt und kontrolliert werden können

Einordnung der Neuerungen¹

^{1 Es handelt sich um eine stark vereinfachte Darstellung, welche eine rasche erste Einordnung der Thematik ermöglichen soll. Jedes Institut sollte die Relevanz und den konkreten Handlungsbedarf individuell-konkret bestimmen.}

Vor wenigen Tagen hat der Bundesrat gestützt auf die vom UVEK und dem EDA erstellte Auslegeordnung zur Regulierung von KI Eckwerte zur Regulierung von KI in der Schweiz festgelegt. Die Schweiz soll die KI-Konvention des Europarats ratifizieren und deren Umsetzung sowohl durch möglichst sektorbezogene Gesetzesanpassungen als auch mittels rechtlich nicht verbindlicher Massnahmen angehen. Zur Konkretisierung der KI-Regulierung im Finanzmarkt trägt jedoch insbesondere die FINMA mit ihrer Aufsichtsmitteilung 08/2024 bei. Nachdem die FINMA erstmals bereits Ende 2023 in ihrem Risikomonitor ihre Erwartungen zu vier besonders herausfordernden Bereichen formulierte, macht die Aufsichtsbehörde in ihrer Aufsichtsmitteilung weiter auf die Risiken beim Einsatz von künstlicher Intelligenz im Finanzmarkt aufmerksam und kommuniziert konkretere Erwartungen an eine angemessene Governance und ein angemessenes Risikomanagement. Diese Entwicklungen erfordern auch von Schweizer Finanzdienstleistern, die KI-Anwendungen einsetzen möchten, eine Auseinandersetzung mit der KI-Regulierung. 

FINMA erwartet aktive Auseinandersetzung mit Auswirkungen von KI-Anwendungen auf Risikoprofil

Die FINMA erwartet, dass sich Beaufsichtigte, die KI einsetzen, aktiv mit den Auswirkungen auf ihr Risikoprofil auseinandersetzen und ihre Governance und ihr IKS entsprechend darauf anpassen. Dabei sind insbesondere auch die Wesentlichkeit der genutzten KI-Anwendungen sowie die Eintrittswahrscheinlichkeit der daraus resultierenden Risiken zu berücksichtigen, wobei die FINMA hier mögliche Faktoren nennt:

Wesentlichkeit: Bedeutung für die Einhaltung der Finanzmarktgesetzgebung, finanzielle Auswirkungen, Rechts- und Reputationsrisiken, Relevanz des Produktes für das Unternehmen, Anzahl betroffener Kunden, Kundentypen, Wichtigkeit des Produktes für Kunden und Konsequenzen bei Fehlern oder Ausfall.

Eintrittswahrscheinlichkeit: Komplexität (z.B. Erklärbarkeit und Vorhersehbarkeit), Art und Menge der verwendeten Daten (z.B. unstrukturierte Daten, Integrität, Zweckmässigkeit, Personendaten), ungeeignete Entwicklungs- oder Überwachungsprozesse, Grad der Autonomie und Prozesseinbindung, Dynamik (z.B. kurze Kalibrierungszyklen), Vernetzung mehrerer Modelle und das Potenzial für Angriffe oder Ausfälle (z.B. erhöht wegen Outsourcing).

Beim Einsatz von KI stehen für die FINMA insbesondere operationelle Risiken im Vordergrund, also der Gefahr von Verlusten, die in Folge der Unangemessenheit oder des Versagens von internen Verfahren, Menschen oder Systemen oder in Folge von externen Ereignissen eintreten. Dazu gehören vor allem Modellrisiken (z.B. mangelnde Robustheit, Korrektheit, Bias und Erklärbarkeit) sowie IT- und Cyberrisiken. Daneben bestehen relevante Risiken aus Sicht der FINMA insbesondere in der Abhängigkeit von Drittparteien, in Rechts- und Reputationsrisiken und bei der Zuordnung von Verantwortlichkeiten.

Massnahmen zur Adressierung von KI-Risiken

Zur Unterstützung der Beaufsichtigten in der Erkennung, Beurteilung, Steuerung und Überwachung der Risiken nennt die FINMA sodann verschiedene Massnahmen zu deren Adressierung, eingeteilt in sieben Bereiche. An diesen beispielhaft aufgezählten Massnahmen können sich die Finanzintermediäre bei der Festlegung der Massnahmen im Bereich der KI-Compliance orientieren:

Governance

• Aufnahme der Nutzung von KI in das interne Kontrollsystem (d.h. Risiken erkennen, in einem zentralen Inventar führen und klassifizieren, Massnahmen ableiten, Zuständigkeiten und Verantwortlichkeiten festlegen sowohl für Entwicklung, Implementierung als auch für Überwachung und Nutzung sowie Definition von Vorgaben zu Modell-Tests und unterstützenden Systemkontrollen, Dokumentationsstandards sowie breite Schulungsmassnahmen)
  
  
• Bei Outsourcing-Verhältnissen das Implementieren von zusätzlichen Tests, Kontrollen und Vertragsklauseln, welche die Verantwortlichkeiten und Haftungsfragen regeln sowie die Sicherstellung der genügend vorhandenen Fähigkeiten und Erfahrungen beim Delegationsnehmer
  
  

Inventar und Risikoklassifizierung

• Definition von KI (die FINMA weist hier auf den Definitionsansatz der OECD hin)
  
  
• Führen von KI-Inventaren inkl. Sicherstellung deren Vollständigkeit sowie Risiko-Klassifizierung von KI-Anwendungen
  
  

Datenqualität

• Erstellen von internen Weisungen und Richtlinien mit Vorgaben für die Sicherstellung von Vollständigkeit, Korrektheit, Integrität und die Verfügbarkeit von Daten sowie des Zugangs zu den Daten
  
  
• Implementierung von entsprechenden Kontrollen
  
  

Tests und laufende Überwachung

• Vorsehen von Tests, um Leistung und Ergebnisse einer KI-Anwendung beurteilen zu können. Dazu gehören u.a.:
  • "Backtesting" oder "Out-of-Sample Testing": Tests, bei denen die Anwendenden das korrekte Ergebnis kennen und prüfen, ob die Anwendung es liefert
  • Sensitivitätsanalysen oder "Stress-Testing": Konstruierte Tests, um zu verstehen, wie sich die Anwendung in bestimmten Grenzfällen verhält
  • "Adversarial Testing": Tests mit falschen Input-Daten
    
    
• Setzen von vorab festgelegten Performance-Indikatoren, um beurteilen zu können, wie gut eine KI-Anwendung die festgelegten Ziele erreicht
  
  
• Anstellen von Überlegungen zu Fallback-Mechanismen, für den Fall, dass sich die KI in eine unerwünschte Richtung entwickelt und die definierten Ziele nicht mehr erfüllen würde
  
  
• Definition von Schwellenwerten oder anderen Validierungsmethoden, um die Korrektheit und fortlaufende Qualität der Outputs einer KI-Anwendung zu gewährleisten (bspw. unter Zuhilfenahme von Stichproben, Backtesting, vordefinierten Testfällen oder Benchmarking)
  
  

Dokumentation

• Dokumentation von Zweck der Anwendung, Datenauswahl und -aufbereitung, Modellauswahl, Performance-Masse, Annahmen, Limitierungen, Testing und Kontrollen sowie Fallback-Lösungen
  
  
• Dokumentation der Datenquellen und Prüfungen der Datenqualität inkl. Integrität, Korrektheit, Zweckmässigkeit, Relevanz, Bias und Stabilität
  
  
• Sicherstellen der Robustheit und Zuverlässigkeit sowie Nachvollziehbarkeit der Anwendungen
  
  
• Vornahme einer angemessenen Risikoeinstufung inkl. Begründung und Prüfung
  
  

Erklärbarkeit

• Sicherstellen, dass Ergebnisse von KI-Anwendungen nachvollzogen, erklärt und reproduziert werden können. Zu diesem Zweck sollte verstanden werden, was die Treiber der Anwendungen sind und wie sich die Anwendung unter verschiedenen Bedingungen verhält, um die Plausibilität und Robustheit der Ergebnisse beurteilen zu können.
  
  

Unabhängige Überprüfung

• Sicherstellen, dass bei wesentlichen KI-Anwendungen die unabhängige Überprüfung eine objektive, versierte und unvoreingenommene Meinung über die Angemessenheit und Zuverlässigkeit eines Verfahrens für einen bestimmten Anwendungsfall umfasst und dass die Erkenntnisse der Überprüfung bei der Entwicklung der Anwendung berücksichtigt werden.
  
  

Fazit

Durch die mit der Aufsichtsmitteilung 08/2024 geschaffene Transparenz der FINMA im Bereich der KI-Regulierung sollten Finanzintermediäre, welche KI einsetzen oder dies beabsichtigen, ihr Risikoverständnis in diesem Bereich schärfen und ihre Governance und ihr Risikomanagement entsprechend ausrichten. KI-Risiken sollten demnach zusätzlich zu den anderen operativen Risiken in die Risikoanalyse aufgenommen werden, mit anschliessender Definition von risikomitigierenden Massnahmen und Kontrollen zur Wirksamkeit. Die FINMA wird ihre diesbezüglichen Erwartungen gestützt auf ihre Erfahrungen aus der Aufsichtstätigkeit sowie in Anlehnung an internationale Regulierungsansätze weiterentwickeln und bei Bedarf im Markt weitere Transparenz schaffen. Bis Ende 2026 wird das EJPD zusammen mit dem UVEK und dem EDA zudem eine Vernehmlassungsvorlage erstellen, mit welcher die gesetzlichen Massnahmen zur Umsetzung der KI-Konvention des Europarats festgelegt werden. Bis zu diesem Zeitpunkt soll zudem ein Plan für die weiteren, rechtlich nicht verbindlichen Massnahmen erarbeitet werden, welche weitere Klarheit über die Stossrichtung der Schweiz im Bereich der Regulierung von künstlicher Intelligenz schaffen werden.

Haben Sie Fragen zur KI-Regulierung? Gerne unterstützen Sie unsere Spezialisten vom Regulatory & Compliance FS Team. Wir freuen uns auf Ihre Kontaktaufnahme.