Hochrisiko-KI-Systeme sind im Sinne des EU AI Act KI-Anwendungen, die in sensiblen Bereichen eingesetzt werden und erhebliche Auswirkungen auf Grundrechte, Sicherheit oder gesellschaftliche Teilhabe haben können und daher besonders strengen regulatorischen Anforderungen unterliegen.
Rubrik: GenAI & Content Creation · Unterrubrik: KI-Ethik · Niveau: Fortgeschritten Synonyme / Auch bekannt als: High-Risk AI Systems, Annex III AI Systems, risikoreiche KI
Was ist ein Hochrisiko-KI-System?
Der EU AI Act klassifiziert KI-Systeme nach einem risikobasierten Ansatz in vier Kategorien: verbotene Praktiken, Hochrisiko-Systeme, begrenzte Risiken und minimale Risiken. Hochrisiko-Systeme bilden dabei die zentrale Regulierungskategorie – sie sind nicht verboten, müssen aber umfangreiche Konformitätsanforderungen erfüllen, bevor sie in der EU in Verkehr gebracht werden dürfen. Die Klassifikation richtet sich nach Anhang III des AI Act sowie nach sicherheitsrelevanten Produkten im Sinne bestehender EU-Produktsicherheitsrichtlinien.
Erklärung
Der EU AI Act (Verordnung EU 2024/1689), der im August 2024 in Kraft getreten ist und ab August 2026 weitgehend angewendet wird, definiert Hochrisiko-KI-Systeme über zwei Wege: Erstens KI-Komponenten in Produkten, die bereits unter EU-Produktsicherheitsrecht fallen (z. B. Medizinprodukte, Kraftfahrzeuge, Spielzeug), und zweitens eigenständige KI-Systeme in kritischen Bereichen gemäß Anhang III.
Zu den Bereichen in Anhang III zählen: biometrische Identifikation und Kategorisierung von Personen, Management kritischer Infrastruktur (Verkehr, Wasser, Gas, Strom), allgemeine und berufliche Bildung, Beschäftigung und Personalmanagement (z. B. Bewerberscreening, KI-gestützte Kreditvergabe-Systeme), Zugang zu wesentlichen privaten und öffentlichen Diensten sowie Sozialleistungen, Strafverfolgung, Migrationskontrolle und Asylverfahren sowie die Rechtspflege.
Anbieter von Hochrisiko-KI-Systemen sind verpflichtet, umfangreiche technische Dokumentation zu erstellen und aktuell zu halten, Risikomanagementsysteme einzurichten, die während des gesamten Lebenszyklus gepflegt werden, Daten-Governance-Mechanismen für Trainingsdaten sicherzustellen, automatische Protokollierungs- und Logging-Funktionen zu implementieren, transparente Nutzerinformationen bereitzustellen, eine menschliche Aufsicht zu ermöglichen sowie Genauigkeit, Robustheit und Cybersicherheit zu gewährleisten. Darüber hinaus ist eine Konformitätsbewertung (durch Dritte oder in Eigenverantwortung, je nach System) erforderlich, bevor das System in der EU vermarktet werden darf.
Anwender von Hochrisiko-Systemen (Deployer) tragen ebenfalls Pflichten: Sie müssen die Gebrauchsanweisungen des Anbieters befolgen, eine menschliche Aufsicht gewährleisten und bei biometrischer Identifikation in bestimmten Fällen Datenschutzbehörden informieren.
Die Sanktionen bei Verstößen sind erheblich: Für Verstöße gegen Verbote (verbotene KI-Praktiken) drohen Bußgelder bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes; für Verstöße bei Hochrisiko-Anforderungen bis zu 15 Millionen Euro oder 3 % des Umsatzes.
Beispiele
- Bewerbermanagementsystem einer großen Versicherung: Ein KI-Tool, das Lebensläufe scannt und Bewerber vorsortiert, gilt als Hochrisiko-System nach Anhang III und muss vollständig dokumentiert, auf Bias geprüft und mit menschlichem Überprüfungsschritt versehen werden.
- Kreditscoring-Modell einer Neobank: Automatisierte Kreditentscheidungen für Privatkunden fallen unter den Hochrisiko-Bereich; die Bank muss dem abgelehnten Kunden auf Nachfrage erklären können, warum die KI abgelehnt hat.
- KI-gestützte Diagnose-Software (MedTech): Eine App, die Hautkrebsbilder auswertet und als KI-Komponente in einem Medizinprodukt der Klasse IIa gilt, muss sowohl CE-Zertifizierung als auch AI-Act-Konformität nachweisen.
- Biometrische Zugangskontrolle am Flughafen: Gesichtserkennung zur Passagierkontrolle ist Hochrisiko; Betreiber müssen Protokolldaten 6 Monate aufbewahren und auf Abruf den Behörden bereitstellen.
- Algorithmus zur Schülerleistungsbewertung: Ein KI-Tool, das Bildungseinrichtungen zur Bewertung von Lernerfolgen nutzen, fällt unter Anhang III; es muss menschliche Lehrkräfte als finale Entscheidungsinstanz vorsehen.
In der Praxis
Für Unternehmen, die KI-Systeme entwickeln oder einsetzen, bedeutet die Hochrisiko-Klassifikation erheblichen Compliance-Aufwand. Schon in der Entwicklungsphase müssen Risikoabschätzungen und Bias-Tests eingeplant werden. Viele mittelständische Unternehmen unterschätzen, ob ihre internen HR- oder Credit-Scoring-Tools unter Anhang III fallen.
Für Medienunternehmen und Kreativagenturen sind vor allem Systeme relevant, die Redaktionsentscheidungen treffen (z. B. KI-gestützte Nachrichtenpriorisierung), Bewerber oder Freelancer bewerten oder personalisierte Inhalte in einem Maß steuern, das Zugang zu Informationen beschränkt. Journalistische Tools zum reinen Schreiben oder Bildgenerieren fallen in der Regel nicht unter Hochrisiko, solange sie keine autonomen Entscheidungen mit Rechtsfolge treffen.
Recommended Practice: Unternehmen sollten frühzeitig ein internes KI-Inventar anlegen und alle KI-Systeme einer Risikoklassifizierung unterziehen, bevor August 2026 die Anforderungen vollständig greifen.
Vergleich & Abgrenzung
| Risikoklasse | Beispiele | Anforderungen |
|---|---|---|
| Verboten | Social Scoring, Real-time biometrische Massenüberwachung | Vollständiges Verbot |
| Hochrisiko | HR-Systeme, Kreditscoring, Bildungs-KI | Konformitätsbewertung, Dokumentation, menschliche Aufsicht |
| Begrenztes Risiko | Chatbots, Deepfakes | Transparenzpflichten |
| Minimales Risiko | KI-Spam-Filter, Videospiele | Keine regulatorischen Pflichten |
Im Unterschied zu allgemeinen KI-Modellen (GPAI, z. B. GPT-4) gelten für Hochrisiko-Systeme spezifische Use-Case-bezogene Anforderungen, während GPAI-Modelle eigene, weniger strenge Transparenz- und Dokumentationspflichten haben.
Häufige Fragen (FAQ)
Was muss ich als Kreativer bei Hochrisiko-KI-Systemen beachten? Wenn Sie KI-Tools lediglich für kreative Aufgaben wie Texterstellung, Bildgenerierung oder Videobearbeitung nutzen, sind Sie in der Regel nicht von den Hochrisiko-Anforderungen betroffen. Relevant wird es, wenn Ihr Unternehmen KI einsetzt, um Mitarbeiter zu bewerten, Zugangsentscheidungen zu treffen oder Inhalte in einer Weise zu personalisieren, die grundrechtliche Relevanz hat. Im Zweifel empfiehlt sich eine rechtliche Einschätzung.
Wie entwickelt sich die Regulierung von Hochrisiko-KI rechtlich weiter? Der EU AI Act ist ein dynamisches Instrument: Die Europäische Kommission kann Anhang III durch delegierte Rechtsakte erweitern, wenn neue risikoreiche Anwendungsfelder entstehen. Zudem arbeiten EU-Behörden und das AI Office an konkreten technischen Standards und Leitlinien, die 2025 und 2026 veröffentlicht werden sollen. Unternehmen sollten die Arbeit des EU AI Office und harmonisierte Normen von CEN/CENELEC verfolgen.
Weiterführend
- Europäisches Parlament / Rat: Verordnung (EU) 2024/1689 (EU AI Act), Amtsblatt der EU, 2024
- Bitkom: „Leitfaden EU AI Act für Unternehmen", 2024
- Veale, M. & Zuiderveen Borgesius, F.: „Demystifying the Draft EU Artificial Intelligence Act", Computer Law Review International, 2021
- EU AI Office: ai-act.eu, 2024/2025
