Rechts-FAQ: Die KI-Verordnung

Die KI-Verordnung ist am 1. August 2024 in Kraft getreten. Für einzelne Pflichten gelten unterschiedliche Zeitpunkte.

02.02.2025: KI-Kompentenz-Pflicht für Mitarbeiter / verbotene KI-Praktiken 

02.08.2025:  Inkrafttreten der Regelungen zu allgemeinen KI-Modellen und Governance-Vorgaben

02.08.2026:  (Fast) die restlichen Normen der KI-VO treten in Kraft

02.08.2027: Regelungen für Hochrisiko-KI-Systeme werden wirksam

[zurück]

Die KI-Verordnung gilt für alle Unternehmen, die innerhalb der EU ein KI-System in Betrieb nehmen oder einsetzen oder Ergebnisse aus KI-Tools verwenden. Es gibt keinen unteren Schwellwert, d.h. auch Einzelunternehmer oder Kleinstunternehmen müssen die KI-VO beachten.

Reine Privatpersonen fallen nicht unter die KI-VO.  

[zurück]

Die KI-VO klassifiziert KI-Systeme basierend auf ihrem Risiko in vier Hauptkategorien: 

1. Verbotene KI-Systeme (Art. 5 KI-VO):
Diese Systeme gelten als besonders gefährlich und sind grundsätzlich verboten. 

Beispiele: 
Manipulative KI: Systeme, die menschliches Verhalten unbewusst beeinflussen und Schaden verursachen können. 

Soziale Bewertung (Social Scoring): KI-Systeme, die Menschen basierend auf ihrem Verhalten oder persönlichen Merkmalen bewerten. 

Echtzeit-Gesichtserkennung im öffentlichen Raum (mit wenigen Ausnahmen für Strafverfolgung). 

KI für unfaire biometrische Kategorisierung, die z. B. politische oder religiöse Überzeugungen erfasst. 

2. Hochrisiko-KI-Systeme (Art. 6-29 KI-VO):
Diese KI-Systeme sind nicht verboten, unterliegen aber strengen Anforderungen, darunter Transparenz, Risikomanagement und menschliche Kontrolle. Sie sind in zwei Gruppen unterteilt: 

a) KI-Systeme in sicherheitskritischen Bereichen 

Beispiele: Medizinische Geräte (z.B. KI-gestützte Diagnosesysteme) Kritische Infrastruktur (z.B. Energieversorgung, Wasserwerke) Automatisierung im Transportwesen (z.B. selbstfahrende Fahrzeuge)

b) KI-Systeme mit Auswirkungen auf Grundrechte 

Beispiele: KI im Personalwesen (z.B. automatisierte Bewerbungsfilter), KI im Bildungsbereich (z. B. Prüfungssysteme) KI in der Strafverfolgung (z.B. Gesichtserkennung durch Polizei), KI für Sozialleistungen oder Kreditvergabe 

3. KI mit begrenztem Risiko (Art. 50 KI-VO):
Hierbei handelt es sich um Systeme, die bestimmte Transparenzanforderungen erfüllen müssen, um eine informierte Nutzung zu ermöglichen. 

Beispiele KI-gestützte Chatbots (Kennzeichnungspflicht, dass der Nutzer mit einer KI interagiert), KI-generierte oder manipulierte Inhalte (Deepfakes), Empfehlungssysteme in sozialen Medien oder Online-Plattformen

4. KI mit minimalem oder keinem Risiko:
Diese KI-Systeme unterliegen keinen besonderen Regulierungspflichten, weil sie als ungefährlich gelten. 

Beispiele: Spam-Filter, KI-gestützte Rechtschreibprüfung, Videospiel-KI  

[zurück]

Es gibt zwei Pflichten, die alle Unternehmen treffen, die KI in irgendeiner Form einsetzen:

1. Pflicht zur Schulung
2. Transparenz

Daneben gibt es noch speziellere Pflichten für Hochrisiko-KI-Systeme, die hier nicht weiter besprochen werden sollen. Wenn Sie eine Beratung für solche besonderen KI-Systeme wünschen, sprechen Sie uns an.

[zurück]

Nach Art. 4 KI-Verordnung besteht die Pflicht, den Einsatz von KI nur mit entsprechender “KI-Kompetenz” der eigenen Mitarbeiter oder beauftragter Dritter zu gewährleisten. Diese Pflicht gilt seit dem 02.02.2025.

Art. 4 KI-Verordnung lautet

“Die Anbieter und Betreiber von KI‑Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI‑Systemen befasst sind, über ein ausreichendes Maß an KI‑Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI‑Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI‑Systeme eingesetzt werden sollen, zu berücksichtigen sind.”

KI-Kompetenz definiert die KI-Verordnung in Art. 3 Nr. 56 KI-VO: 

"KI‑Kompetenz“ die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI‑Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden."

Weitere Angaben macht die KI-Verordnung nicht. Insbesondere stellt sie keine weitergehenden, konkreten Pflichten zum Umfang und Inhalt auf. Ob und wie genau diese Pflichten einzuhalten sind, ist also stets eine konkrete Frage des Einzelfalls und des eingesetzten KI-Tools.

Praxis-Tipp: Sie sollten sich vor dem Einsatz eines jeden KI-Tools genau die konkreten Ziele überlegen und dies in einer entsprechenden KI-Richtlinie festhalten. Die einzelnen Schulungen der Mitarbeiter sollten stets aus Gründen der Rechtssicherheit schriftlich festgehalten werden. 

[zurück]

Werden KI-Tools gegenüber natürlichen Menschen eingesetzt, besteht nach Art. 51 KI-VO eine ausdrückliche Transparenzpflicht. Diese Pflicht gilt aber erst ab dem 02.08.2026.

Art. 50 KI-Verordnung lautet:

“(1) Die Anbieter stellen sicher, dass KI‑Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI‑System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten zugelassene KI‑Systeme, wenn geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen, es sei denn, diese Systeme stehen der Öffentlichkeit zur Anzeige einer Straftat zur Verfügung.
(2) Anbieter von KI‑Systemen, einschließlich KI‑Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI‑Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind. Die Anbieter sorgen dafür, dass – soweit technisch möglich – ihre technischen Lösungen wirksam, interoperabel, belastbar und zuverlässig sind und berücksichtigen dabei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann. Diese Pflicht gilt nicht, soweit die KI‑Systeme eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern oder wenn sie zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.
(3) Die Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung informieren die davon betroffenen natürlichen Personen über den Betrieb des Systems und verarbeiten personenbezogene Daten gemäß den Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680. Diese Pflicht gilt nicht für gesetzlich zur Aufdeckung, Verhütung oder Ermittlung von Straftaten zugelassene KI‑Systeme, die zur biometrischen Kategorisierung und Emotionserkennung im Einklang mit dem Unionsrecht verwendet werden, sofern geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen.
Betreiber eines KI‑Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die ein Deepfake sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
(4) Betreiber eines KI‑Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, müssen offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde. Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
(5) Die in den Absätzen 1 bis 4 genannten Informationen werden den betreffenden natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt. 2Die Informationen müssen den geltenden Barrierefreiheitsanforderungen entsprechen.
(6) Die Absätze 1 bis 4 lassen die in Kapitel III festgelegten Anforderungen und Pflichten unberührt und berühren nicht andere Transparenzpflichten, die im Unionsrecht oder dem nationalen Recht für Betreiber von KI‑Systemen festgelegt sind.
(7) Das Büro für Künstliche Intelligenz fördert und erleichtert die Ausarbeitung von Praxisleitfäden auf Unionsebene, um die wirksame Umsetzung der Pflichten in Bezug auf die Feststellung und Kennzeichnung künstlich erzeugter oder manipulierter Inhalte zu erleichtern. Die Kommission kann Durchführungsrechtsakte zur Genehmigung dieser Praxisleitfäden nach dem in Artikel 56 Absatz 6 festgelegten Verfahren erlassen. Hält sie einen Kodex für nicht angemessen, so kann die Kommission einen Durchführungsrechtsakt gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen, in dem gemeinsame Vorschriften für die Umsetzung dieser Pflichten festgelegt werden.”

Dies bedeutet:

Grundsatz: Anbieter von KI-Systemen müssen sicherstellen, dass Nutzer wissen, dass sie mit einer KI interagieren. Gleiches gilt bei mittels KI erzeugten Inhalten (z.B. Bilder, Texte usw.). Beispielsweise müssen sogenannte Deepfakes eindeutig als solche gekennzeichnet werden. 

Ausnahmen: 

a) wenn eine informierte und aufmerksame Person dieser Umstand ohnehin offensichtlich ist oder

b) KI-Systeme, die von Behörden zur Strafverfolgung eingesetzt werden

[zurück]

Frage: Sind ein eigenes Verfahrensverzeichnis für KI-Tools und eine eigene KI-Richtlinie sinnvoll?  Antwort: Ein klares Ja.

Werden mit der KI in irgendeiner Weise personenbezogene Daten verarbeitet, ergibt sich bereits aus der DSGVO (Art. 30 DSGVO) die Pflicht, ein entsprechendes Verzeichnis von Verarbeitungstätigkeiten zu erstellen.

Aber auch wenn keine personenbezogenen Daten verarbeitet werden, empfiehlt sich eine entsprechende schriftliche Dokumentation, damit das Unternehmen nachweisen kann, dass es seinen Pflichten stets nachgekommen ist.

Ebenso sinnvoll ist es, im Unternehmen eine eigene KI-Richtlinie zu erlassen, damit jeder Mitarbeiter weiß, welche Pflichten ihn treffen und was erlaubt und was verboten ist.

Beide Dokumente - sowohl das KI-Verarbeitungsverzeichnis als auch die KI-Richtlinie - müssen regelmäßig überprüft und an die technischen Gegebenheiten angepasst werden. Die Entwicklung der letzten Jahre hat gezeigt, wie schnelllebig der Entwicklungszyklus in diesem Bereich ist. So kann ein Tool bereits nach wenigen Monaten komplett anders aussehen und auch gänzlich andere Funktionen haben. Insofern ist eine ständige und regelmäßige Überprüfung unerlässlich.

Als ersten Einstieg zum Thema KI und KI-VO empfehlen wir die Webseite des Bayerischen Landesamtes für Datenschutz. Dort steht gerade für Anfänger eine gute, neutrale Einführung zum Abruf bereit. 

 Hochrisiko-KI-Systeme werden hier nicht weiter besprochen. Wenn Sie eine Beratung für solche besonderen KI-Systeme wünschen, sprechen Sie uns an.

[zurück]

Der KI-Verordnung ist der Begriff des “AI Officers” vollkommen fremd. Er ist eine Erfindung der Marketing- und Beratungsindustrie. Siehe dazu den Punkt “Kritik an der Marketing- und Beratungsindustrie”.

Es besteht also auch keine gesetzliche Pflicht für die Bestellung eines AI Officers.

Auch wenn eine solche Verpflichtung gesetzlich nicht besteht, sollte ein Unternehmen dennoch erwägen, grundsätzlich einen zentralen Ansprechpartner für KI im Unternehmen zu benennen, der die entsprechenden Maßnahmen bündelt und für die Einhaltung aller Verpflichtungen sorgt. 

[zurück]

Die spezifischen Sanktionen für Verstöße gegen die KI-VO sind in Art. 99 festgelegt. Dieser Artikel beschreibt die verschiedenen Arten von Verstößen und die entsprechenden Höchststrafen. Die Höhe der Geldbuße hängt von der Schwere des Verstoßes ab und kann bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes eines Unternehmens betragen, je nachdem, welcher Betrag höher ist.

Darüber hinaus können Verstöße gegen die KI-VO zugleich Wettbewerbsverstöße darstellen (umstritten). Zusätzlich sind auch individuelle Unterlassungs- und Schadensersatzansprüche denkbar.  

[zurück]

Die KI-VO enthält kaum eigene Regelungen für bereits geregelte Rechtsgebiete. Insbesondere die Vorschriften zum Datenschutzrecht, Urheberrecht, Arbeitsrecht und zum Allgemeinen Persönlichkeitsrecht bleiben vollkommen unberührt und gelten weiterhin.

Beispiele: Die KI-VO regelt nicht, wann ein Anbieter für fremde KI-Inhalte haftet oder unter welchen Bedingungen er fremde, urheberrechtlich geschützte Werke verwenden darf. Die KI-VO regelt ebenso wenig, was Arbeitgeber bei der Einführung in puncto Arbeitrsecht berücksichtigen müssen. 

[zurück]

Die Kritik an der Marketing- und Beratungsindustrie und deren Werbeaussagen im Zusammenhang mit der KI-VO wird immer lauter.

So wird nicht selten die falsche Behauptung aufgestellt, es sei zwingend notwendig, dass jedes Unternehmen einen AI-Officer bestellen muss. Überteuerte Schulungs- und Beratungsleistungen für mehrere tausend Euro werden mit dem Hinweis auf ansonsten drohende hohe Bußgelder angepriesen. Gleiches gilt für überteuerte Mitarbeiterschulungen.

In der Praxis dürfte ein solcher finanzieller Aufwand für die meisten Unternehmen in keinem vernünftigen wirtschaftlichen Verhältnis zum Nutzen stehen. Dies gilt umso mehr, als für die meisten Unternehmen, die KI-Tools einsetzen, mit Ausnahme der Schulungs- und Transparenzpflichten kaum neue Pflichten entstehen, sondern sich diese bereits aus anderen Rechtsquellen (insbesondere der DSGVO) ergeben.

Wir empfehlen daher dringend, die kritische Überprüfung derartiger Angebote. Als unerlässlich hingegen bewerten wir die Erstellung eines KI-Verfahrensverzeichnis und einer KI-Richtlinie.

Als ersten Einstieg zum Thema KI und KI-VO empfehlen wir die Webseite des Bayerischen Landesamtes für Datenschutz. Dort steht gerade für Anfänger eine gute, neutrale Einführung zum Abruf bereit. 

[zurück]