Verpflichtung zur KI-Kompetenz

Für jeden, der KI-Systeme anbietet oder betreibt, wird KI-Kompetenz ab dem 2. Februar 2025 zur Pflicht. Das heißt, Unternehmen und Behörden müssen sicherstellen, dass ihre Mitarbeitenden die eingesetzte Technologie verstehen. Die geforderte Kompetenz bezieht sich dabei direkt darauf, zu welchem spezifischen Zweck die künstliche Intelligenz eingesetzt wird. Wenn ein Online-Händler personalisierte Kundenempfehlungen mit KI erstellt, erfordert das andere Kompetenzen als beim Einsatz eines KI-gestützten Bewerber:innenmanagements durch einen Konzern. Entscheidend ist die verantwortungsbewusste Bewertung von Eignung, Risiken und Auswirkungen jedes KI-Systems. Das Ziel ist, ein Bewusstsein für die Chancen und Risiken von KI in Unternehmen und Behörden zu schaffen und künstliche Intelligenz mit Bedacht einzusetzen.

Verbotene KI-Praktiken

Eine wichtige Regelung betrifft KI-Praktiken, die in der EU nun verboten sind. Diese konkreten Verbote gelten für jedes KI-System. Im Fokus stehen vor allem bestimmte staatliche Überwachungspraktiken; aber auch manipulative Beeinflussungen von Betroffenen und besonders schutzbedürftigen Personen wie Kindern und Jugendlichen, zum Beispiel im Kontext sozialer Medien.

Staatliche Überwachungspraktiken

Die Verbote formen einen umfassenden Rahmen zum Schutz vor missbräuchlicher staatlicher KI-Nutzung, der über das klassische Datenschutzrecht hinausgeht. Besonders weitreichend ist das Social Scoring-Verbot: Behörden dürfen keine KI-Systeme nutzen, die etwa das Verhalten in sozialen Medien oder die Zahlungsmoral auswerten, um daraus Konsequenzen für Verwaltungsentscheidungen abzuleiten.

In Behörden und Schulen sind KI-Systeme verboten, die Emotionen der Mitarbeitenden oder Schüler:innen analysieren – etwa zur Leistungskontrolle oder Verhaltenssteuerung, wobei Ausnahmen für medizinische oder sicherheitsrelevante Gründe vorgesehen sind.

Die Polizei darf keine KI einsetzen, die allein aufgrund von Persönlichkeitsmerkmalen oder Verhaltensmustern vorhersagt, ob jemand Straftaten begehen könnte (sogenanntes Predictive Policing). Auch untersagt ist es, massenhaft Gesichtsbilder aus dem Internet oder von Überwachungskameras zu sammeln, um damit Erkennungsdatenbanken zu erstellen.

Die KI-VO verbietet zudem den KI-Einsatz, um Menschen mithilfe ihrer biometrischen Daten nach ihrer politischen Einstellung oder sexuellen Orientierung zu kategorisieren; enge Ausnahmen gelten für die Strafverfolgung.

Ähnlich ist es bei der KI-gestützten Echtzeit-Fernbiometrie in öffentlichen Räumen. Der Einsatz von Gesichtserkennung zum Beispiel bei Demonstrationen ist grundsätzlich verboten. Ausnahmen für Strafverfolgung und Gefahrenabwehr bedürfen einer zusätzlichen gesetzlichen Grundlage. Die KI-VO sieht vor, dass ein solches Gesetz zwingend Genehmigungsvorbehalte enthalten muss und die Datenschutzbehörden vor dem Einsatz solcher Systeme einbezogen werden müssen.

KI-Verbote und soziale Medien

Auch für Unternehmen zeigt die KI-VO rote Linien auf: Für sie gilt das Verbot der Emotionsanalyse bei Mitarbeitenden. Außerdem sind manipulative KI-Praktiken, die menschliche Schwächen ausnutzen, nun verboten. Besonders der Schutz vulnerabler Gruppen wie Kinder und Jugendliche vor KI-gesteuerten Beeinflussungsversuchen steht im Fokus. Diese Verbote zielen darauf ab, die Autonomie und Integrität von Betroffenen zu schützen.

Eine KI-gestützte Content-Empfehlung in sozialen Medien kann verboten sein, wenn sie die typischen Schwächen von Minderjährigen wie Unerfahrenheit oder fehlende Impulskontrolle ausnutzt, um deren Nutzungsverhalten zu intensivieren – vorausgesetzt, diese längere Verweildauer führt zu erheblichen Schäden; etwa durch die vermehrte Anzeige von Inhalten, die zu gesundheitsschädlichem oder riskantem Verhalten animieren. Die KI-VO geht dabei weiter als das Datenschutzrecht oder der Digital Services Act und untersagt solche Praktiken präventiv und absolut.

Durchsetzung und Konsequenzen

Diese Verbote für Staat und Wirtschaft markieren eine klare Grenze: KI soll das Leben erleichtern und Prozesse optimieren, aber nicht zur Manipulation oder zur Ausnutzung von Schwächen eingesetzt werden. Verstöße können nicht nur zu Sanktionen nach der KI-VO führen, sondern auch die Datenschutzbehörden auf den Plan rufen. Auf verbotene Praktiken gerichtete Datenverarbeitungen sind mangels legitimen Zwecks niemals datenschutzkonform.

Für die KI-Kompetenz gilt Art. 4 KI-VO, die Verbote sind in Art. 5 KI-VO geregelt.