AI law
Recht auf Erklärbarkeit von Hochrisiko-KI-Systemen vor dem EuGH
by Redaktion
Dem bulgarischen Bezirksgericht Sofia (Sofiyski rayonen sad, vergleichbar mit einem Amtsgericht) wird nachgesagt, am 25. November 2024 das allererste Vorabentscheidungsersuchen beim EuGH betreffend der KI-Verordnung (VERORDNUNG (EU) 2024/168, kurz: KI-VO) eingereicht zu haben. In der Rechtssache C-806/24 (YETTEL BULGARIA) begehrt das vorlegende Gericht neben der Klärung von Fragen zum europäischen Verbraucherrecht eine Auslegung des Art. 86 Abs. 1 KI-VO. Nach Art. 86 Abs. 1 KI-VO stet den Betroffenen einer auf Grundlage der Ausgabe eines Hochrisiko-KI-Systems getroffenen Entscheidung, welche sie in erheblicher Weise beeinträchtigt, das Recht zu, vom Betreiber des KI-Systems eine klare und aussagekräftige Erläuterung über die Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten.
Höchst bemerkenswert dabei ist, dass besagter Artikel, wie weite Teile der KI-VO – im Gegensatz zu einigen anderen Vorschriften – erst mit dem 2. August 2026 verbindlich werden, vgl. Art. 113 KI-VO.
Sachverhalt (gekürzt)
Dem Fall liegt eine Rechtsstreitigkeit zwischen einem Verbraucher und einem Mobilfunkunternehmen zugrunde, in dem die Höhe der Zahlungsansprüche streitig ist. Dem Gericht stellt sich die Problematik, dass dem Verbraucher und Gericht zwar die vertragliche vereinbarte Berechnungsgrundlage für durch Roaming zusätzlich verbrauchte Mobile Daten bekannt ist, aber der konkrete, vom Mobilfunkunternehmen verwendete Algorithmus nicht offengelegt wurde. Das Gericht erhofft sich durch eine mögliche Offenlegung eine Klärung dahingehend, ob die Höhe des Zahlungsanspruchs, welche auf die automatisierten Berechnungen des Algorithmus gestützt wird, korrekt ist.
Vorlagefrage
Der EuGH soll dazu unter anderem beantworten, ob ein Verbraucher nach Art. 86 Abs. 1 KI-VO das Recht hat, vom Dienstleistungserbringer zu erfahren, welcher Algorithmus die automatisiert erstellten Rechnungen berechnet und welche Elemente und Parameter in den Algorithmus einfließen.
Der Entscheidung darf mit Spannung entgegengesehen werden. Transparenzpflichten im Kontext von Algorithmen bewegen sich stets in einem Spannungsfeld, bei dem die Interessen der Verwender von Algorithmen (bspw. kommerzielle Geheimnisinteressen) in einen angemessenen Ausgleich mit den berechtigten Erwartungen an die Nachvollziehbarkeit von Betroffenen Algorithmen-basierter Entscheidungen gebracht werden müssen.
Seitenblick
Im Datenschutzrecht haben Fragen zur Transparenz von Algorithmen-basierten Entscheidungen bereits vielfach Gerichte beschäftigt. In einem Fall betreffend automatisierter Entscheidungsfindungen zu Zwecken des Scorings für die Erteilung von Bonitätsauskünften entschied der EuGH erst kürzlich (Urt. V. 27. Februar 2025, Rechtssache C-2023/22) über die Reichweite des Auskunftsrechts nach Art. 15 DSGVO. Im Falle einer Verarbeitung personenbezogener Daten, die eine automatisierte Entscheidung im Einzelfall iSv Art. 22 DSGVO darstellt, besteht nach Art. 15 Abs. 1 lit. h DSGVO Anspruch auf Auskunft über „aussagekräftige Informationen über die involvierte Logik“. Der EuGH hat nun konkretisiert, dass dem Betroffenen die Verfahren und Grundsätze der Funktionsweise der automatisierten Datenverarbeitung offenzulegen sind. Eine Offenlegung des Algorithmus sei davon insoweit nicht erfasst, als dass der Gerichtshof davon ausgeht, dass Betroffene aus einer „komplexen mathematischen Formel“ gerade nicht die zu bezweckende Nachvollziehbarkeit gewinnen würden.
Fazit
Aufgrund der ähnlichen Schutzrichtung des Rechts auf Erklärbarkeit nach Art. 86 Abs. 1 KI-VO und dem Auskunftsrecht nach Art. 15 Abs. 1 lit. h DSGVO einerseits und der ähnlichen Formulierung in Bezug auf die Anspruchsvoraussetzungen und Rechtsfolgen beider Vorschriften andererseits kann man vorsichtig davon ausgehen, dass eine Offenlegung des Algorithmus gegenüber dem Betroffenen nach Art. 86 Abs. 1 KI-VO nicht verlangt werden kann.
Warum das Bezirksgericht Sofia in dem Ausgangsrechtsstreit gar nicht erst auf Art. 15 Abs. 1 lit. h DSGVO abgestellt hat, wobei diese Vorschrift aufgrund der automatisierten Verarbeitung von Abrechnungsdaten (mit Personenbezug) einschlägig sein dürfte, bleibt das Geheimnis das Geheimnis des Gerichts. Bei einem sorgfältigen Studium der Vorlegungsgründe verbleiben dahingegen sogar große Zweifel, ob der eingesetzte Algorithmus zur Berechnung der Roaminggebühren überhaupt ein KI-System im Sinne der KI-VO darstellt oder es sich um einen schlichten, einfachen regelbasierten Algorithmus handelt.
Umso wichtiger erscheint der Bedarf von KI-Kompetenz in Behörden und Gerichten. Nach Art. 4 KI-VO trifft jedenfalls jeden Anbieter sowie Betreiber von KI-Systemen die Pflicht, das mit KI-Systemen in Kontakt kommende Personal in ausreichendem Umfang zu schulen. Hierbei ist Eile geboten: Diese Pflicht gilt bereits seit dem 2. Februar 2025!