KI im Finanzsektor: BaFin verschärft Aufsicht bei Milliardenmarkt
Die deutsche Finanzaufsichtsbehörde BaFin verschärft ihre Aufsicht über den schnell wachsenden Markt für künstliche Intelligenz im Finanzbereich und verweist auf Risiken wie Intransparenz, Diskriminierung und übermäßige Abhängigkeit von externen Technologieanbietern. Finanzinstitute müssen robuste Governance-Strukturen aufbauen, die menschliche Kontrolle bei kritischen KI-Entscheidungen sicherstellen und bei Nichteinhaltung strenge Sanktionen verhängen.
Der Markt für künstliche Intelligenz im Finanzwesen entwickelt sich zu einem bedeutenden Wirtschaftsfaktor. Laut Expertenprognosen könnte der globale Markt für generative KI jährlich einen wirtschaftlichen Wert zwischen 2,6 und 4,4 Billionen US-Dollar erreichen. Eine aktuelle Umfrage zeigt: 64 Prozent der befragten Unternehmen erwarten durch KI-Einsatz Produktivitätssteigerungen. Gleichzeitig äußern 40 Prozent der Geschäftsführer Bedenken über die wachsende Technologieabhängigkeit.
Die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) beobachtet diese Entwicklung mit zunehmender Aufmerksamkeit. Zwar biete der KI-Einsatz Vorteile beim Kundenservice und Risikomanagement, berge jedoch auch erhebliche Risiken, wie die Aufsichtsbehörde mitteilt. Besonders kritisch sehen die Experten den Umgang mit sensiblen Kundendaten sowie die steigende Abhängigkeit von externen Technologieanbietern. "Diese Faktoren könnten das Systemrisiko im Finanzsektor deutlich erhöhen", warnt die BaFin in ihrer jüngsten Risikoanalyse.
BaFin warnt vor Risiken bei KI-Finanzanwendungen
Die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) sieht erhebliche Risiken beim Einsatz künstlicher Intelligenz im Finanzsektor. Laut BaFin-Exekutivdirektorin Julia Wiens stelle besonders die mangelnde Transparenz von KI-Systemen eine zentrale Herausforderung dar. "Diese Fragen sind bei generativer Künstlicher Intelligenz gar nicht so einfach zu beantworten", erklärt die Exekutivdirektorin.
Wie die Aufsichtsbehörde mitteilt, bestehe vor allem bei automatisierten Entscheidungsprozessen die Gefahr der Diskriminierung. "Solche Diskriminierung müssen Finanzdienstleister vermeiden", stellt Wiens klar. Die BaFin verweist darauf, dass KI-gestützte Systeme bestehende Benachteiligungen verstärken und bestimmten Personengruppen den Zugang zu Finanzprodukten erschweren könnten.
Ein weiteres Kernproblem sei laut BaFin die Datenqualität. Die Behörde fordert eine "zuverlässige und transparente Daten-Governance und Datenverwaltung", da KI-Anwendungen zwischen umfangreichen Datenmengen und Datenschutzanforderungen balancieren müssten.
Die Aufsichtsbehörde identifiziert zudem drei weitere zentrale Risikobereiche:
- Wachsende Abhängigkeit von externen Technologieanbietern mit möglichen Know-how-Defiziten
- Gefährdung der Cybersicherheit bei KI-Systemen
- Unzureichende menschliche Kontrolle der KI-Anwendungen
Die BaFin erwartet von Finanzinstituten einen "verantwortungsvollen Einsatz von KI-Modellen unter Berücksichtigung ihrer Limitationen". Daneben müssten die Institute "Überprüfungsprozesse zur Identifizierung möglicher Diskriminierungsquellen einrichten".
Wie die Behörde weiter mitteilt, bereite man sich intensiv auf die Überwachung von Hochrisiko-KI-Systemen bei Banken und Versicherungen vor. Dies betreffe insbesondere KI-Anwendungen, die direkt mit erlaubnispflichtigen Finanzdienstleistungen verbunden seien.
BaFin entwickelt Regulierungsrahmen für KI im Finanzsektor
Die BaFin plant laut eigenen Angaben die Übernahme der Marktaufsicht für KI-Systeme bei deutschen Finanzdienstleistern. Die EU-Verordnung fordere dabei eine "unabhängige" Aufsichtsbehörde, weshalb die BaFin möglicherweise eine eigenständige Einheit schaffen müsse.
Der Regulierungsansatz der Behörde orientiert sich an vier Risikokategorien:
- Unannehmbares Risiko: Verbotene KI-Systeme wie soziale Bewertungssysteme
- Hochrisiko: Kreditwürdigkeitsprüfungen und Bonitätsbewertungen
- Begrenztes Risiko: Chatbots und ähnliche Anwendungen
- Kein Regulierungsbedarf: Einfache Systeme wie Spamfilter
Für Finanzdienstleister seien besonders die Vorgaben für Hochrisiko-KI-Systeme relevant. Die Aufsichtsbehörde fordert bereits jetzt von Instituten die Anpassung ihrer Governance-Prozesse sowie klare Verantwortlichkeiten unter der Wohlverhaltensaufsicht.
Die BaFin verlangt zudem von den Finanzinstituten die Einrichtung von "Überprüfungsprozessen zur Identifizierung möglicher Diskriminierungsquellen" sowie die Gewährleistung "menschlicher Aufsicht für einen verantwortungsvollen Betrieb".
Bei Regelverstößen drohen laut BaFin empfindliche Strafen. Das dreistufige Sanktionssystem sieht vor:
- Besonders schwere Verstöße: Bis zu 35 Millionen Euro oder sieben Prozent des Jahresumsatzes
- Schwere Verstöße: Bis zu 15 Millionen Euro oder drei Prozent des Jahresumsatzes
- Leichtere Verstöße: Bis zu 7,5 Millionen Euro oder ein Prozent des Jahresumsatzes
Die Durchsetzung erfolge auf zwei Ebenen: Das neue EU-Büro für Künstliche Intelligenz übernehme die europäische Koordination, während die BaFin die nationale Aufsicht für den Finanzsektor verantworte.
Die Behörde stuft KI als "maßgebliches Digitalisierungsrisiko" für 2024 ein. Finanzinstitute müssten sich zeitnah mit KI-Governance befassen und entsprechende Prozesse aufbauen, betont die BaFin.
BaFin verlangt neue KI-Kontrollstrukturen von Finanzinstituten
Finanzinstitute müssen laut BaFin robuste Kontrollstrukturen für KI-Systeme aufbauen. Die Aufsichtsbehörde betont dabei die zentrale Rolle des Vorstands: Die Gesamtverantwortung für KI-Anwendungen müsse bei der Geschäftsleitung liegen.
Wie die BaFin mitteilt, müssten Institute zunächst umfassende Richtlinien für ihre KI-Systeme entwickeln. Diese müssten detaillierte Vorgaben zur Dokumentation von KI-Modellen, Prozessen und Kontrollen enthalten. "Besonders bei Hochrisiko-Systemen wie automatisierten Kreditvergabemodellen ist eine lückenlose Dokumentation unerlässlich", erklärt die Behörde.
Die menschliche Kontrolle steht laut Aufsicht im Zentrum der neuen Governance-Anforderungen. Die BaFin unterscheidet dabei drei Konzepte:
- "Human-in-the-Loop": Menschliche Eingriffe im Entscheidungsprozess
- "Human-on-the-Loop": Kontrolle während der Entwicklungsphase
- "Human-in-Control": Menschliche Letztentscheidung bei kritischen Fragen
Die Teams der Institute müssten dafür entsprechend qualifiziert sein, um die komplexen Systeme zu überwachen.
Daneben fordert die Aufsichtsbehörde regelmäßige unabhängige Tests der KI-Modelle. Für kritische Geschäftsprozesse seien zudem Notfallpläne bei Systemausfällen vorzuhalten. "Ein Mangel an Erklärbarkeit von KI-Modellen kann ein erhöhtes Modellrisiko zur Folge haben", warnt die BaFin.
Die Institute müssten außerdem ihre Mitarbeiter gezielt schulen - sowohl vor KI-Einführungen als auch im laufenden Betrieb. Ein Schwerpunkt liege dabei auf der Vermeidung von Diskriminierung gefährdeter Gruppen.
BaFin-Exekutivdirektorin Julia Wiens betont die Komplexität der Aufgabe: "Eine angemessene Governance zu entwickeln ist keine triviale Aufgabe. Sie muss alle aufsichtlich relevanten Risiken erfassen".
BaFin sieht Handlungsbedarf bei KI-Regulierung
Die Aufsichtsbehörde zeichnet ein differenziertes Bild der KI-Entwicklung im Finanzsektor. Laut BaFin stehen Finanzinstitute vor der Herausforderung, die neuen Technologien regelkonform zu implementieren. Die detaillierten Regulierungsanforderungen der Behörde böten dafür einen klaren Orientierungsrahmen.
Die von der BaFin identifizierten Risiken - besonders mangelnde Transparenz und Diskriminierungspotenzial - erfordern laut Experten umfassende Kontrollmechanismen. "Die menschliche Überwachung der KI-Systeme wird zum entscheidenden Erfolgsfaktor", betont BaFin-Exekutivdirektorin Wiens.
Die Aufsichtsbehörde erwartet von den Instituten die zeitnahe Umsetzung der neuen Vorgaben. Deutsche Finanzdienstleister müssten dabei zwei Anforderungen erfüllen: Einerseits die strengen regulatorischen Standards der BaFin einhalten, andererseits ihre Wettbewerbsfähigkeit im internationalen Vergleich sichern.