Der AI Act (AIA)

Mit der Verordnung (EU) 2024/1689 (AI Act; KI-VO) hat die Europäische Union (EU) den weltweit ersten umfassenden verbindlichen Rechtsrahmen für Künstliche Intelligenz (KI) geschaffen. Ihr Zweck ist die Förderung einer humanzentrierten und vertrauenswürdigen KI mit einem hohen Schutzniveau in Bezug auf Gesundheit, Sicherheit und Grundrechte. Sie verweist ebenso auf den Schutz der Demokratie, der Rechtsstaatlichkeit und der Umwelt. Gleichzeitig zielt die KI-VO darauf ab, den digitalen Binnenmarkt zu verbessern und Innovationen zu fördern.

Die KI-VO ist zwar als horizontaler Rechtsakt ausgestaltet. Das bedeutet, dass sie grundsätzlich in allen Lebensbereichen Anwendung findet. Sie beinhaltet jedoch auch vielfache Elemente des Produktsicherheitsrechts. Dazu verweist die KI-VO in ihrem Anhang I auf die harmonisierten Produktsicherheitsvorschriften der EU, die sektoral ausgeprägt sind. Mit dem Produktsicherheitsansatz kommen klassische Elemente wie Konformitätsbewertung, Marktüberwachung und CE-Kennzeichnung zum Tragen.

Daneben verfolgt die KI-VO einen risikobasierten Ansatz, indem sie die Pflichten für die Bereitstellung eines bestimmten KI-Systems mit dessen Risiko für die Gesundheit und Sicherheit von Personen sowie dessen Geeignetheit für Eingriffe in Grund- und Menschenrechte in Relation setzt und daraus unterschiedliche Verpflichtungen für die Anbieter und Betreiber von KI-Systemen generiert.

Adressaten des AI Acts

Der Rechtsrahmen gilt für öffentliche und private Akteure innerhalb der EU sowie auch ausserhalb der EU, sofern ein KI-System auf dem EU-Binnenmarkt bereitgestellt oder von Personen im EU-Raum genutzt wird (sog. Marktortprinzip). Vom persönlichen Anwendungsbereich umfasst sind insbesondere:

1.   Anbieter, die ein KI-System in der EU in Verkehr bringen oder in Betrieb nehmen (unabhängig vom Sitz     des Unternehmens);
2.   Betreiber, die KI-Systeme im eigenen Betrieb verwenden;
3.   Anbieter und Betreiber mit Sitz in einem Drittland, wenn die Ergebnisse des KI-Systems in der EU verwendet werden;
4.   Einführer und Händler von KI-Systemen;
5.   Produkthersteller, wenn sie das KI-System zusammen mit ihrem Produkt unter eigenem Namen in Verkehr bringen oder in Betrieb nehmen;
6.   Bevollmächtigte von Anbietern, die nicht in der EU niedergelassen sind.

Private, nicht-berufliche Nutzungen sind ausgenommen. Ebenso gilt die KI-VO nicht für KI-Systeme oder KI-Modelle, die eigens und ausschliesslich für wissenschaftliche Zwecke verwendet werden. Auch für bestimmte Open-Source-KI-Systeme gibt es Ausnahmen vom Geltungsbereich.

Risikobasierter Ansatz

Die KI-VO unterscheidet KI-Systeme nach ihrem Risiko und knüpft daran verschiedene Pflichten vor allem für Anbieter und Betreiber solcher KI-Systeme. Zu beachten ist aber, dass unabhängig von der Risikokategorie die allgemeinen Bestimmungen der KI-VO für alle KI-Systeme gelten (so z.B. die Pflicht zur KI-Kompetenz).

1. Verbotene KI-Anwendungen

Die KI-VO untersagt KI-Systeme, die ein unannehmbares Risiko für die Gesellschaft oder die Grundrechte darstellen. Dazu gehören:

• Systeme zur manipulativen Beeinflussung, wie z.B. sprachgesteuerte Spielzeuge, die gefährliches Verhalten bei Kindern fördern könnten;
• Soziale Bewertungssysteme (Social Scoring), bei denen Menschen basierend auf ihrem Verhalten, sozioökonomischem Status oder persönlichen Merkmalen klassifiziert werden;
• Biometrische Erfassung und Kategorisierung von Personen in Echtzeit im öffentlichen Raum (z.B. Gesichtserkennung).
  
  Ausnahmen gelten nur für bestimmte Zwecke der Strafverfolgung und unter strengen Auflagen.

2. Hochrisiko-KI-Systeme

Die KI-VO definiert bestimmte KI-Anwendungen als „hochrisikobehaftet“. Dies betrifft zwei Hauptkategorien:

• Produkte unter EU-Sicherheitsvorschriften wie z.B. in der Medizin (medizinische Geräte), im Verkehr (z.B. autonome Fahrzeuge) oder in der Spielzeug- und Aufzugstechnik;
• KI-Anwendungen in sensiblen Bereichen, etwa bei der Verwaltung kritischer Infrastrukturen, im Bildungs- und Beschäftigungsbereich, bei der Strafverfolgung oder im Asyl- und Grenzmanagement.

Solche Systeme unterliegen einer strengen Prüfung vor und während ihrer Nutzung. Die Anbieter solcher Systeme haben verschiedenste Voraussetzungen etwa im Bereich Risikomanagement, Datengovernance, technische Dokumentation, menschliche Aufsicht und Robustheit und Cybersicherheit zu erfüllen. Entsprechen die KI-Systeme diesen Standards, wird eine EU-Konformitätserklärung ausgestellt. Sie müssen im Anschluss daran eine CE-Kennzeichnung tragen. Aber auch nach dem Inverkehrbringen sind diese Systeme vom Anbieter zu überwachen.

3. Begrenztes Risiko

KI-Systeme mit begrenztem Risiko, wie z.B. einfache Chatbots, benötigen keine spezielle Konformitätsprüfung. Sie unterliegen aber spezifischen Transparenzvorgaben. Dazu gehören: 

• Offenlegung, dass die Inhalte durch KI erzeugt wurden,
• technische Vorkehrungen zur Verhinderung illegaler Inhalte,
• Veröffentlichung von Informationen über genutzte urheberrechtlich geschützte Trainingsdaten.

Zudem müssen KI-generierte oder veränderte Inhalte (z.B. Deepfakes) klar als solche erkennbar sein. Hochentwickelte Modelle, die potenziell systemische Risiken bergen, müssen zusätzlichen Prüf- und Meldepflichten nachkommen.

Verpflichtungen aus dem AI Act

Grundsätzlich fallen jegliche KI-Systeme (mit Ausnahme jener, die ausdrücklich in Art. 2 KI-VO genannt sind) in den Anwendungsbereich der KI-VO. Es gibt jedoch nur wenige Pflichten, die für alle KI-Systeme – unabhängig vom Risiko – gelten. Eine Pflicht, die alle Anbieter und Betreiber trifft, ist jene der KI-Kompetenz.

Art. 4 KI-VO schreibt Anbietern und Betreibern von KI-Systemen vor, dass ihr Personal und in ihrem Auftrag mit dem KI-System befasste Personen ein ausreichendes Mass an KI-Kompetenz vorzuweisen haben. Die Beurteilung, welches Mass im konkreten Fall ausreichend ist, kommt auf das jeweilige KI-System an. Die Bestimmung enthält daher einen Verhältnismässigkeitsgrundsatz. Zudem schreibt sie keine speziellen Massnahmen vor, sondern überlässt den Unternehmen und auch der öffentlichen Hand einen Ermessensspielraum. Das bei der EU-Kommission angesiedelte AI Office arbeitet derzeit an weiteren Auslegehilfen und einer Auflistung von Best Practices im Zusammenhang mit der KI-Kompetenz («AI Literacy»).

Verpflichtungen für Anbieter von Hochrisiko-KI-Systemen

Vor allem Anbieter von Hochrisiko-KI-Systemen unterliegen weitgehenden Verpflichtungen, die bereits in der Entwicklungsphase des Hochrisiko-KI-Systems ansetzen. Sie umfassen insbesondere folgende Punkte:

• Risikomanagement: Gemäss Art. 9 KI-VO müssen Anbieter von Hochrisiko-KI-Systemen ein Risikomanagementsystem einrichten und über den gesamten Lebenszyklus hinweg anwenden. Dieses dient der systematischen Erkennung, Bewertung und Minderung potenzieller Risiken und muss regelmässig überprüft und aktualisiert werden, um ein vertretbares Gesamtrisiko sicherzustellen.
• Daten-Governance: Art. 10 KI-VO verpflichtet Anbieter dazu, bei der Entwicklung von Hochrisiko-KI-Systemen ausschliesslich Trainings-, Validierungs- und Testdaten zu verwenden, die definierte Qualitätsanforderungen erfüllen. Hierzu müssen geeignete Daten-Governance- und Verwaltungsverfahren etabliert werden, um unter anderem Verzerrungen (Bias), Diskriminierung und Qualitätsmängel zu vermeiden und die Eignung, Herkunft, Aufbereitung und Repräsentativität der Daten systematisch zu prüfen.
• Technische Dokumentation: Nach Art. 11 KI-VO sind Anbieter verpflichtet, vor dem Inverkehrbringen oder der Inbetriebnahme eines Hochrisiko-KI-Systems eine technische Dokumentation zu erstellen und laufend aktuell zu halten. Diese muss nachvollziehbar darlegen, wie die Anforderungen der Verordnung erfüllt werden, und den zuständigen Behörden in verständlicher Form zur Verfügung stehen. Für KMU kann eine vereinfachte Dokumentationsform vorgesehen werden. Die technische Dokumentation dient als zentrale Grundlage für die Konformitätsbewertung.
• Aufzeichnungspflichten: Gemäss Art. 12 KI-VO müssen Hochrisiko-KI-Systeme über technische Funktionen verfügen, die eine automatische Protokollierung von Ereignissen während des gesamten Lebenszyklus ermöglichen. Diese Aufzeichnungen dienen der Rückverfolgbarkeit, etwa zur Erkennung von Risiken, zur Beobachtung nach dem Inverkehrbringen und zur Überwachung des Betriebs. 
• Transparenz und Information: Anbieter müssen gemäss Art. 13 KI-VO sicherstellen, dass Hochrisiko-KI-Systeme für Betreiber transparent nutzbar sind. Hierzu sind verständliche und barrierefreie Betriebsanleitungen bereitzustellen, die u.a. Zweck, Leistungsgrenzen, Risiken und Nutzungshinweise klar beschreiben.
• Menschliche Aufsicht: Nach Art. 14 KI-VO müssen Hochrisiko-KI-Systeme so gestaltet sein, dass sie während der Nutzung unter wirksamer menschlicher Aufsicht stehen. Die menschliche Aufsicht dient der Erkennung und Begrenzung von Risiken und muss entweder technisch in das System integriert oder organisatorisch durch den Betreiber sichergestellt sein. Natürliche Personen müssen das System und dessen Grenzen verstehen, Fehlfunktionen erkennen und Ausgaben korrekt interpretieren können.
• Genauigkeit, Robustheit und Cybersicherheit: Art. 15 KI-VO verpflichtet Anbieter, Hochrisiko-KI-Systeme so zu entwickeln, dass sie ein angemessenes Mass an Genauigkeit, Robustheit und Cybersicherheit erreichen und über den gesamten Lebenszyklus zuverlässig funktionieren. Dies umfasst u.a. technische und organisatorische Vorkehrungen gegen Fehler, Manipulationen, Rückkopplungseffekte sowie Angriffe auf Trainingsdaten oder Modelle.
• Qualitätsmanagementsystem: Anbieter müssen gemäss Art. 17 KI-VO ein Qualitätsmanagementsystem einrichten, dokumentieren und betreiben, das die Einhaltung aller Vorgaben der Verordnung sicherstellt. Dieses System umfasst u.a. Verfahren zur Entwicklung, Prüfung, Datenverarbeitung, Risikomanagement, Vorfallsmeldung und Kommunikation mit Behörden. 
• Dokumentation: Gemäss Art. 18 KI-VO müssen Anbieter technische Unterlagen (inkl. Qualitätsmanagement, Änderungen, Entscheidungen, EU-Konformitätserklärung) zehn Jahre lang aufbewahren.

Die Pflichten erstrecken sich über den gesamten Lebenszyklus des Hochrisiko-KI-Systems hinweg – von der Entwicklung über das Inverkehrbringen bis zur Nutzung und schliesslich zur Ausserbetriebnahme. Zusätzlich zu den oben genannten Pflichten hat der Anbieter das Hochrisiko-KI-System einem geeigneten Konformitätsbewertungsverfahren gemäss Art. 43 KI-VO zu unterziehen, eine Konformitätserklärung gemäss Art. 47 KI-VO auszustellen sowie die CE-Kennzeichnung gemäss Artikel 48 KI-VO anzubringen.

Ausserdem sind automatisch erzeugte Protokolle gemäss Art. 12 KI-VO ebenfalls mindestens sechs Monate lang vorzuhalten, sofern sie unter der Kontrolle des Anbieters stehen (Art. 19 KI-VO). Stellt sich heraus, dass ein System nicht mit der Verordnung übereinstimmt, müssen Anbieter unverzüglich geeignete Korrekturmassnahmen ergreifen, das System gegebenenfalls vom Markt nehmen und die relevanten Akteure informieren (Art. 20 KI-VO).

Zusätzlich besteht eine umfassende Zusammenarbeitspflicht mit den zuständigen Behörden. Auf Anfrage sind sämtliche Informationen bereitzustellen, einschliesslich des Zugangs zu relevanten Protokollen – unter Wahrung geltender Vertraulichkeitsvorgaben (Art. 21 KI-VO). Anbieter mit Sitz ausserhalb der EU müssen darüber hinaus einen in der Union niedergelassenen Bevollmächtigten benennen, der u.a. die Konformitätsunterlagen bereithält, Behördenanfragen beantwortet und die Einhaltung der Registrierungspflichten sicherstellt (Art. 22 KI-VO).

Verpflichtungen für Betreiber von Hochrisiko-KI-Systemen (Art. 26 KI-VO)

Auch Betreiber von Hochrisiko-KI-Systemen unterliegen umfassenden Pflichten, die den sicheren, rechtskonformen und verantwortungsvollen Einsatz der Systeme sicherstellen sollen. Darunter fallen u.a. folgende Verpflichtungen:

• Betreiber verwenden Hochrisiko-KI-Systeme nur gemäss den beigefügten Betriebsanleitungen sowie den sonstigen für sie relevanten Vorgaben des nationalen und des Unionsrechts (z.B. DSGVO, Urheberrecht). Sie bewahren darüber hinaus die automatisch erzeugten Protokolle des KI-Systems für mindestens sechs Monate auf (Art. 26 Abs. 1 i.V.m. Abs. 3 und 6 KI-VO).
• Die menschliche Aufsicht ist ausschliesslich qualifizierten, geschulten und befugten Personen zu übertragen; diese sind mit angemessener Unterstützung auszustatten (Art. 26 Abs. 2 KI-VO).
• Betreiber sind – sofern sie die Kontrolle über die Eingabedaten haben – verpflichtet, deren Übereinstimmung mit der Zweckbestimmung des Systems sowie deren Repräsentativität sicherzustellen (Art. 26 Abs. 4 KI-VO).
• Der Betrieb des Systems ist aktiv zu überwachen. Bei begründetem Risiko (Art. 79 Abs. 1) oder schwerwiegendem Vorfall sind Anbieter, Händler und die zuständige Marktüberwachungsbehörde unverzüglich zu informieren und die Systemnutzung auszusetzen (Art. 26 Abs. 5 KI-VO).
• Betreiber haben – sofern erforderlich – eine Datenschutz-Folgenabschätzung gemäss Art. 35 DSGVO bzw. Art. 27 der Richtlinie (EU) 2016/680 durchzuführen. Hierbei sind die gemäss Art. 13 bereitgestellten Systeminformationen zu verwenden (Art. 26 Abs. 9 KI-VO).
• In Art. 26 Abs. 10 KI-VO werden ergänzende Regelungen für den Einsatz von Hochrisiko-KI-Systemen zur nachträglichen biometrischen Fernidentifizierung zu Strafverfolgungszwecken festgeschrieben. Eine Nutzung ist nur bei konkretem Personenbezug zulässig und bedarf einer behördlichen Genehmigung, die spätestens binnen 48 Stunden einzuholen ist. Ungezielte oder anlasslose Anwendungen sind untersagt. Bei Ablehnung der Genehmigung ist der Einsatz sofort zu beenden und die betreffenden Daten zu löschen.

Transparenz- und Informationspflichten (Art. 50 KI-VO)

Für KI-Systeme mit beschränktem Risiko werden vor allem Transparenz- und Informationspflichten vorgeschrieben. So verpflichtet Art. 50 KI-VO Anbieter und Betreiber zu spezifischen Transparenzmassnahmen gegenüber betroffenen natürlichen Personen. KI-Systeme, die für die Interaktion mit Menschen bestimmt sind, müssen so gestaltet sein, dass die Nutzer darüber informiert werden, dass sie mit einem KI-System interagieren (Abs. 1). Anbieter von KI-Systemen, die synthetische oder manipulierte Inhalte erzeugen (z. B. Text, Bild, Audio, oder Video), müssen diese klar kennzeichnen, sofern keine gesetzliche Ausnahme vorliegt (Abs. 2, 4). Betreiber von Emotions- oder biometrischer Kategorisierungssystemen müssen betroffene Personen informieren und die Datenschutzanforderungen der DSGVO bzw. der Richtlinie (EU) 2016/680 einhalten (Abs. 3).

Die Bereitstellung dieser Informationen muss spätestens bei der ersten Interaktion erfolgen und barrierefrei zugänglich sein (Abs. 5). Die EU-Kommission wird zur Unterstützung der Umsetzung dieser Pflichten Leitlinien und ergänzende Durchführungsvorschriften erlassen.

General Purpose AI (GPAI)

Gemäss Art. 3 Nr. 63 KI-VO handelt es sich bei einem KI-Modell mit allgemeinem Verwendungszweck (General Purpose AI), wie grosse Sprachmodelle (sog. Large Language Models, LLMs), um ein Modell, das – etwa durch Training mit grossen Datenmengen unter umfassender Selbstüberwachung – eine erhebliche Allgemeinverwendbarkeit aufweist. Es ist in der Lage, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen und kann in verschiedenste nachgelagerte Systeme oder Anwendungen integriert werden. Ausgenommen sind Modelle, die ausschliesslich für Forschungs- und Entwicklungszwecke oder als Prototypen eingesetzt werden.

KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI), wie grosse Sprachmodelle (sog. Large Language Models, LLMs), müssen gemäss Art. 53 KI-VO:

• technische Dokumentationen und Anleitungen bereitstellen,
• Urheberrechte beachten und
• Informationen über genutzte Trainingsdaten offenlegen.

KI-Modelle mit systemischen Risiken unterliegen zusätzlichen Pflichten, wie Risikoanalysen und Meldepflichten.

Ein systemisches Risiko liegt dann vor, wenn ein KI-Modell mit allgemeinem Verwendungszweck aufgrund seiner hohen Wirkstärke und weiten Verbreitung erhebliche Auswirkungen auf die öffentliche Gesundheit, Sicherheit, die Grundrechte oder die Gesellschaft als Ganzes entfalten kann. Gemäss Art. 51 KI-VO gilt ein solches Modell als systemisch risikobehaftet, wenn es entweder a) besonders leistungsstark ist – also eine nachweislich hohe Wirkstärke aufweist, gemessen anhand technischer Benchmarks – oder b) eine qualifizierte wissenschaftliche Warnung vorliegt bzw. die Kriterien gemäss Anhang XIII KI-VO erfüllt sind.

Das Verfahren zur Einstufung ist in Art. 52 KI-VO geregelt: Anbieter müssen die Kommission über eine mögliche Einstufung informieren. Gleichzeitig können sie begründet darlegen, warum keine systemischen Risiken bestehen. Die Kommission prüft dies und kann Modelle entsprechend einstufen oder auf Antrag des Anbieters eine Neubewertung vornehmen. Eine öffentliche Liste systemischer Modelle wird geführt – unter Beachtung von Geschäftsgeheimnissen und geistigem Eigentum.

Die EU-Kommission kann weitere Kriterien wie Modellfähigkeiten, Nutzerzahl, Skalierung oder Zugänglichkeit heranziehen (vgl. Anhang XIII KI-VO) und Schwellenwerte künftig anpassen. Für die Überwachung von GPAI ist das mit der KI-VO eingerichtete AI Office bei der EU-Kommission direkt zuständig.

Innovationsförderung – KI-Reallabore (AI Regulatory Sandboxes)

Zur Förderung von Innovation und Wettbewerbsfähigkeit sieht die KI-VO sogenannte «Regulatory Sandboxes» vor. Diese Testumgebungen ermöglichen es Unternehmen – insbesondere Start-ups und KMU – neue KI-Anwendungen unter realitätsnahen Bedingungen zu entwickeln und zu erproben. Dabei wird der regulatorische Rahmen simuliert und gleichzeitig Unterstützung durch die zuständigen Behörden geboten. Ziel ist es, innovative KI-Lösungen schneller und sicherer auf den Markt zu bringen und zugleich die Einhaltung der gesetzlichen Vorgaben zu erleichtern.

Zentrale Merkmale der Sandboxes gemäss Art. 57 ff. KI-VO:

Aufsicht und Begleitung: Nationale Behörden stellen sicher, dass ausreichend Ressourcen bereitstehen. Sie begleiten die Projekte mit Anleitung, Aufsicht und Risikoabschätzung, insbesondere in Bezug auf Grundrechte, Sicherheit und Gesundheit (Art. 57 Abs. 4, 6).

Leitlinien, Nachweise und Abschlussbericht: Reallabor-Teilnehmende erhalten regulatorische Leitlinien zu Pflichten nach der KI-VO. Auf Antrag wird ein schriftlicher Nachweis über erfolgreich durchgeführte Tätigkeiten ausgestellt. Zusätzlich erstellen Behörden Abschlussberichte (Exit Reports), die zur späteren Konformitätsbewertung herangezogen werden können (vgl. Art. 57 Abs. 7 KI-VO).

Haftung: Anbieter haften weiterhin nach Unions- und nationalem Recht für Schäden gegenüber Dritten. Bei Befolgung des Reallabor-Plans in gutem Glauben sind jedoch keine Geldbussen nach der KI-VO vorgesehen (Art. 57 Abs. 12 KI-VO).

Grenzüberschreitende Zusammenarbeit und Koordination: KI-Reallabore fördern die grenzüberschreitende behördliche Zusammenarbeit (Art. 57 Abs. 13 KI-VO), die im Rahmen des AI Boards koordiniert wird. Nationale Behörden informieren zudem das AI Office, welches eine öffentliche Liste geplanter und bestehender Reallabore führt (Art. 57 Abs. 13-15 KI-VO).

Zeitplan und Umsetzung auf EU-Ebene

Die KI-VO trat am 2. August 2024 in Kraft. Ihre Anwendung ist zeitlich gestaffelt. Der Hauptteil der Regelungen kommt 24 Monate nach Inkrafttreten zur Anwendung, also am 2. August 2026. Erste Regelungen – etwa das Verbot bestimmter KI-Anwendungen sowie Vorgaben zur „AI-Literacy“ – gelten jedoch bereits seit dem 2. Februar 2025. Die Vorschriften für KI-Modelle mit allgemeinem Verwendungszweck (GPAI) folgen ab dem 2. August 2025. Zu diesem Zeitpunkt müssen auch die EU-Mitgliedstaaten ihre Aufsichtsstruktur etabliert haben. Die Bestimmungen zu Hochrisiko-KI-Systemen sind 36 Monate nach Inkrafttreten, am 2. August 2027, anwendbar.

Die EU-Kommission wird zu verschiedensten Bereichen der KI-VO delegierte und Durchführungsrechtsakte sowie begleitende Leitlinien und Standards zu erlassen. Alleine an delegierten und Durchführungsrechtsakten sind in Summe rund 40 vorgesehen. Unverbindliche Erläuterungen und Leitlinien soll es zusätzlich geben.

Bisher wurden bereits Leitlinien zur Begriffsdefinition von KI-Systemen und zu verbotenen Praktiken nach Art. 5 KI-VO veröffentlicht.

Dr. iur. Judith Sild

Judith.Sild@llv.li
+423 236 76 48