Legal Insights
AI Act – EU Mitgliedstaaten einigen sich auf Regelungen zu KI
2. Februar 2024
Am 2. Februar 2024 wurde der AI Act beschlossen. In Kraft treten die Regelungen des AI Act gestaffelt, wobei die Regelungen zu verbotener KI nach sechs Monaten, bestimmte Regelungen für Hochrisiko-KI und KI mit allgemeinem Zweck nach einem Jahr und die restlichen Regelungen zwei Jahre ab Veröffentlichung im Amtsblatt der EU andwendbar sind.
Wer ist vom AI Act betroffen?
Der AI Act schafft Regeln für die Herstellung und Nutzung von künstlicher Intelligenz und richtet sich daher sowohl an Provider als auch an Nutzer von KI-Systemen und KI-Modellen mit allgemeinem Zweck. Erfasst werden sowohl Akteure, die ihren Sitz in der EU haben, als auch (unter bestimmten Voraussetzungen) Akteure, deren KI-System sich auf die EU auswirkt. Ähnlich wie im Anwendungsbereich der DSGVO soll eine reine Privatnutzung nicht vom AI Act geregelt werden.
KI-Komponenten, die unter Open-Source-Lizenzen zur Verfügung gestellt werden, genießen Erleichterungen.
Regelungsstruktur des AI Act
Der vom AI Act verfolgte risikobasierte Ansatz sieht eine nach der Risikogeneigtheit des Systems gestaffelte Regulierung bis hin zum Verbot bestimmter KI-Systeme vor. Neben dem risikobasierten Ansatz werden für bestimmte KI-Systeme zusätzliche Regelungen geschaffen, die insbesondere auf Transparenz abzielen. Für bereits am Markt befindliche KI-Systeme werden teils Übergangsbestimmungen geschaffen.
Definition der KI
KI wird wie folgt definiert (übersetzt aus dem Englischen):
„Ein KI-System ist ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und nach seiner Einführung eine Anpassungsfähigkeit aufweist, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können.“
Verbotene KI
Verboten sind im Wesentlichen das Inverkehrbringen und das Nutzen von KI-Systemen zu den folgenden verbotenen Zwecken:
- Social Scoring, Vorhersagen über kriminelles Verhalten
- Ausnutzung vulnerabler Personen, unterschwellige Techniken zur Entscheidungsmanipulation
- Biometrische Erkennung in öffentlichen Bereichen in Echtzeit durch Strafverfolgungsbehörden (hier gibt es Ausnahmen)
- Biometrische Kategorisierung zur Ableitung sensibler Daten
- Emotionserkennung am Arbeitsplatz und in der Schule
- Internet-Scraping zur Fütterung von Gesichts-Datenbanken
Hochrisiko-KI
Ob ein KI-System als hochriskant einzustufen ist, hängt insbesondere von seinem Verwendungszweck ab. Der AI Act bezieht sich für die Risikoeinstufung einerseits auf bestehende EU-Produktsicherheitsvorschriften (diese werden in Annex II aufgezählt). Ein Hochrisiko-KI-System ist ein KI-System, das entweder:
- selbst ein Produkt ist, das unter die aufgezählten EU-Produktsicherheitsvorschriften fällt und nach dem bisherigen Recht vor Inverkehrbringen oder Inbetriebnahme zur Durchführung eines externen Konformitätsbewertungsverfahrens verpflichtet war oder
- zur Verwendung als Sicherheitsbestandteil eines solchen Produkts bestimmt ist, das nach dem bisherigen Recht vor Inverkehrbringen oder Inbetriebnahme zur Durchführung eines externen Konformitätsbewertungsverfahrens verpflichtet war.
Annex III des AI Act nennt jedoch auch zusätzlich verschiedene kritische Bereiche, in deren Zusammenhang das betreffende KI-System ebenfalls als Hochrisiko-KI-System einzustufen sein kann, wobei es Ausnahmen für eher niederschwellige Tätigkeiten einer KI gibt. Die folgenden kritischen Bereiche werden in Annex III angeführt und näher beschrieben:
- Biometrische Systeme
- Kritische Infrastruktur
- Bildung und Berufsbildung
- Arbeitsumfeld
- Essenzielle private und öffentliche Dienste (z. B. Gesundheitsdienstleistungen, Bonitätsbewertung)
- Strafverfolgung
- Migration, Asylwesen, Grenzkontrolle
- Justizverwaltung und demokratische Prozesse
Hoch-Risiko-KI-Systeme dürfen zwar entwickelt und genutzt werden, es werden aber zahlreiche Anforderungen an sie gestellt, damit dies rechtmäßig geschehen kann. Kommt man bei der Prüfung der Risikostufe in den Hochrisikobereich, kommen auf das betroffene KI-System insbesondere Regeln zu folgenden Aspekten zur Anwendung:
- Einrichtung eines Risiko- und Qualitätsmanagementsystems
- Qualitätsanforderungen an Trainingsdaten
- Technische Dokumentation vor Inverkehrbringen/ Inbetriebnahme
- Protokolle (Logging von Events)
- Transparenz und Informationsbereitstellung („Explainable AI“, Gebrauchsanweisung)
- Menschliche Kontrolle
- Genauigkeit, Robustheit und Cybersicherheit
- Grundrechtefolgenabschätzung (nur für bestimmte Nutzer)
Provider von Hochrisiko-KI müssen für die von ihnen entwickelten KI-Systeme vor Inbetriebnahme bzw. vor Inverkehrbringen ein Konformitätsbewertungsverfahren der EU durchlaufen und bestimmte Hochrisiko-KI-Systeme in einer Datenbank registrieren.
KI-Modelle mit allgemeinem Verwendungszweck
Spezielle Regeln sind für KI-Modelle mit allgemeinem Verwendungszweck vorgesehen. Insbesondere für solche KI-Modelle, die systemische Risiken bergen.
Minimal-Risiko-KI
Provider und Nutzer bestimmter KI-Systeme unterliegen außerdem bestimmten Transparenzpflichten. Sofern ein KI-System mit einer natürlichen Person interagiert, ist beispielsweise sicherzustellen, dass dieser Umstand der betroffenen Person offengelegt wird. Zudem müssen KI-generierte Inhalte und Deep Fakes unter bestimmten Voraussetzungen als solche gekennzeichnet werden.
Durchsetzung und Sanktionen
Auf nationaler Ebene werden Behörden geschaffen, die Konformitätsbewertungsstellen notifizieren. Für die Einhaltung der Bestimmungen des AI Act werden daneben nationale Marktüberwachungsbehörden geschaffen. In Österreich ist aktuell eine KI-Servicestelle (bei der RTR GmbH) in Planung, die bereits vor Geltung des AI Act ihre Tätigkeit aufnehmen soll. Betroffene Personen haben ein Beschwerderecht, wenn sie der Ansicht sind, dass ein KI-System gegen den AI Act verstößt.
Auf EU-Ebene wird es ein Artificial Intelligence Board geben, das unter anderem die Durchsetzung des AI Act in den einzelnen Mitgliedstaaten unterstützen soll. Bei der EU-Kommission wurde bereits ein European Artificial Intelligence Office eingerichtet, das unter anderem die Durchsetzung des AI Act im Hinblick auf KI mit allgemeinem Zweck übernehmen soll. Ferner wird es eine EU-Datenbank für Hochrisiko-KI-Systeme geben. Daneben sieht der AI Act auch Innovationsförderungsmaßnahmen, wie Regulatory Sandboxes, vor.
Verstöße gegen die Verpflichtungen im AI Act sind gestaffelt sanktioniert. Maximal kommt ein Strafrahmen für Geldbußen von bis zu EUR 35 Mio. oder 7 % des weltweiten Vorjahresumsatzes zur Anwendung, je nachdem, welcher Betrag höher ist.
Haftung und KI
Neben dem AI Act existiert aktuell ein Entwurf für eine EU-Richtlinie zur Regelung bestimmter Aspekte von deliktischer Haftung in Zusammenhang mit KI-Systemen. Die Richtlinie soll die Beschaffung von Beweismitteln erleichtern und spezielle Beweislastregeln für den Fall der gerichtlichen Geltendmachung eines deliktischen Schadenersatzanspruchs schaffen.
Was müssen Unternehmen nun tun? Wie können wir Sie unterstützen?
In einem ersten Schritt sind die in Entwicklung bzw. in Betrieb befindlichen KI-Systeme hinsichtlich ihrer Risikoeinstufung zu qualifizieren. Eine Fehleinstufung ist sanktioniert. Entsprechend der Risikoeinstufung sollte im Hinblick auf die damit einhergehenden Pflichten, die teilweise schon ab diesem Jahr zur Anwendung kommen, rasch mit der Umsetzung begonnen werden. Nutzer von KI-Systemen sollten in einem ersten Schritt vorrangig prüfen, welche der von ihnen verwendeten Systemen unter den Begriff der KI fallen, da dies oft bei bereits in Verwendung befindlichen Systemen nicht bewusst ist. In einem weiteren Schritt ist eine Risikoeinstufung vorzunehmen bzw. zu prüfen und sicherzustellen, dass nur AI-Act-konforme KI-Systeme entwickelt und genutzt werden.
Wir unterstützen Sie bei der Abklärung und Umsetzung Ihrer Pflichten aus dem AI Act, wie insbesondere bei der Risikoeinstufung der KI, der Erfüllung der Transparenz- und Informationspflichten und beraten Sie in Zusammenhang mit allen überschneidenden rechtlichen Fragestellungen, wie insbesondere zu Fragen im Bereich IT-, IP- und Datenschutzrecht. Insbesondere gilt es zu prüfen, unter welchen Voraussetzungen KI im Unternehmen rechtmäßig eingesetzt werden kann und ob für die mit der KI vorgenommenen Datenverarbeitungen eine Rechtsgrundlage vorhanden ist.
