Automatisierte Entscheidungssysteme halten Einzug in den schweizerischen Alltag. Ob als Filtermechanismus in sozialen Netzwerken oder als Selektionshilfe im Bewerbungsprozess. Dabei stellen sich Fragen bezüglich Diskriminierung, systematischer Benachteiligung, Manipulationspotential und gesellschaftlicher Bedeutung. Die Digitale Gesellschaft veröffentlicht ihr ausführliches Positionspapier, inklusive einem konkreten Vorschlag für einen rechtlichen Rahmen.
Systeme für automatisierte Entscheidungen sind in unserem Alltag angekommen. Die Algorithmen sozialer Medien und der Newsportale entscheiden etwa, welche Nachrichten wir sehen. Risikobewertungen haben einen Einfluss darauf, ob und zu welchen Konditionen wir Kredite und Versicherungsleistungen bekommen. Die Vorhersagen eines Predictive-Policing-Systems können angeben, wo Polizeistreifen patrouillieren sollen und wo nicht.
Diese ADM-Systeme haben somit einen signifikanten Einfluss auf den Alltag und das Leben von Menschen. Sie können unter Umständen Entwicklungschancen von Individuen beeinträchtigen und sogar ihre Grundrechte verletzen. Darüber hinaus können ADM-Systeme einen gesellschaftlichen Einfluss haben, beispielsweise aufgrund einer algorithmischen Verzerrung («Bias»), welche unter Umständen bestimmte Personen oder Gruppen benachteiligt.
ADM-Systeme (Automated Decision-Making Systeme, ADMS)
Dies ist jede Software, jedes Systeme oder jeder Prozess, der darauf zielt, menschliches Entscheidungsfinden zu automatisieren, zu unterstützen oder zu ersetzen. Automatisierte Entscheidungssysteme können zum einen aus Werkzeugen zum Analysieren von Datensets bestehen, welche (numerische) Bewertungen, Vorhersagen, Klassifikationen oder Handlungsempfehlungen erstellen. Sie können zum Fällen von Entscheidungen benutzt werden, die einen Einfluss auf das Wohlergehen von Menschen haben. Dieses Wohlergehen umschliesst (nicht abschliessend) Entscheide zu sensiblen Lebensbereichen, wie Ausbildungsmöglichkeiten, Gesundheitsentscheide, Arbeitsleistung, Job-Möglichkeiten, Mobilität, Interessen, Verhalten und persönliche Autonomie. Zum anderen können unter automatischen Entscheidungssystemen auch die Prozesse verstanden werden, welche derartige Werkzeuge implementieren. (Nach AI Now, Richardson et al. 2019, S. 20; unsere Übersetzung)
Da ADM-Systeme neben dem positiven Nutzen auch negative Auswirkungen auf Individuen und die Gesellschaft haben können, ergeben sich eine Reihe von Fragen. Sind die von ADM-Systemen gefällten Entscheidungen fair und chancengerecht, oder diskriminieren sie bestimmte Individuen oder Personengruppen? Wie können automatisiert getroffene Entscheidungen nachvollzogen werden? Wie kann überprüft werden, ob die getroffene Entscheidung gerechtfertigt ist? Gibt es einzelne Entscheidungen oder ganze Bereiche (z.B. Gerichtsurteile), die wir nicht Algorithmen überlassen sollten – sondern die nur von Menschen gefällt werden sollten?
Aus diesen Überlegungen schliessen wir, dass die möglichen Einflüsse von ADM-Systemen auf Individuen wie auf die Gesellschaft einer kritischen Reflexion unterzogen werden müssen, und dass sich unsere Gesellschaft Regeln geben muss, in welchen Bereichen und auf welche Art ADM-Systeme eingesetzt werden sollten. Dies ist der gesellschaftliche Kontext, in dem sich der Vorschlag der Digitalen Gesellschaft für einen rechtlichen Rahmen bewegt. Eine Regulierung soll zudem sicherstellen, dass Nutzen und Risiken in einem guten Verhältnis zueinander stehen.
Vorgeschlagener Rechtsrahmen
In den Anwendungsbereich unseres Vorschlags fallen ADM-Systeme, die Entscheidungen mit Hilfe von technischen Systemen vollständig automatisiert treffen oder zumindest unterstützen. ADM-Systeme benutzen für die Entscheidungsfindung Algorithmen und/oder Techniken der Künstlichen Intelligenz und sind oft (aber nicht immer) datengetrieben.
Dies bedeutet jedoch nicht, dass jeder Algorithmus bzw. jedes KI- oder Big-Data-System unter den Geltungsbereich diesen vorgeschlagenen Rechtsrahmen fallen sollte. Weiterhin ist die Aussage, dass fast jedes Computerprogramm ständig Entscheidungen trifft, zwar prinzipiell richtig, aber aus der Sicht der Regulierung nicht zielführend. Die unter die Regulierung fallenden Entscheidungen müssen als einzelne, diskrete Entscheidungen wahrnehmbar und von einer gewissen Signifikanz sein. Weiterhin müssen sie potentielle Auswirkungen auf Individuen und/oder die Gesellschaft haben, um in den Geltungsbereich des Gesetzes zu fallen.
Der vorgeschlagene rechtliche Rahmen folgt einer Mischform zwischen schadens- und risikobasiertem Ansatz. Beim ersten Ansatz werden Sanktionen erst nachträglich im Schadensfall verhängt, während beim zweiten Ansatz risikoreiche Anwendungen von vornherein bestimmten Auflagen unterliegen. Wer ein ADM-System einsetzt, muss dessen Risiko für die Gesundheit, Sicherheit und Grundrechte von Individuen und der Gesellschaft einschätzen und kategorisieren.
Der Rechtsrahmen stellt dazu drei Kategorien zur Verfügung: «tiefes Risiko», «hohes Risiko» und «inakzeptables Risiko». Grundsätzlich richten sich die Kategorien nach dem vom System ausgehenden Risiko für Einzelpersonen sowie für die Gesellschaft als Ganzes. So geht von «Systemen mit tiefem Risiko» ein geringes Risiko für Individuen aus und keines für die Gesellschaft, während «Systeme mit inakzeptablem Risiko» ein unvertretbar hohes Risiko für Individuen oder die Gesellschaft darstellen. Dazwischen finden sich die «Systeme mit hohem Risiko». Für diese Systeme gilt eine weitgehende Transparenz- und Sorgfaltspflicht, welche für die Öffentlichkeit die Einschätzung des Risikos und damit deren Nutzen ermöglichen sollen. Denn im Gegenzug zu Systemen mit einem inakzeptablen Risiko werden jene mit einem hohen Risiko nicht verboten. Der Rechtsrahmen trägt auch dem Umstand Rechnung, dass sich das Risiko eines Systems mit der Zeit verändern kann.
In erster Linie betrachten wir die Auswirkung von ADM-Systemen auf Individuen. Jedoch kann bei breitem Einsatz von einfach skalierenden Systemen auch ein Risiko für die Gesellschaft entstehen, das nur mit Blick auf Individuen nicht ausreichend messbar oder sanktionierbar ist. ADM-Systeme, die individualisierte, politische Werbung in sozialen Netzwerken massenhaft verteilen, sind ein Beispiel für ein derartiges gesellschaftliches Risiko. Im Einzelfall kann das Risiko mit Verweis auf die individuelle Souveränität vernachlässigbar sein. Im Mittel über viele Menschen können solche ADM-Systeme jedoch merkliche Auswirkungen, etwa auf Wahlresultate, haben und somit der Demokratie Schaden zufügen. Die bisherige auf Individuen fokussierte Schweizer Rechtsprechung, wie beispielsweise jene zum Datenschutzgesetz, greift in solchen Fällen zu kurz. Unser Vorschlag geht dieses Defizit an, in dem er das Risiko für die Gesellschaft anerkennt und mit kollektiven Rechtsbehelfen, wie Sammelklagen und einem Verbandsklagerecht, Abhilfe schafft.
Kontrolle, Massnahmen und Sanktionen
Die neu zu schaffende ADM-Aufsicht soll Reklamationen sammeln, auf Verdacht den Einsatz von ADM-Systemen in Unternehmen und staatlichen Stellen überprüfen sowie erstinstanzlich umsatzabhängige Verwaltungssanktionen verhängen können. Als diverses Fachgremium, zusammengesetzt aus Personen mit sozialwissenschaftlicher, technischer und juristischer Expertise, soll sie finanziell und personell unabhängig und frei von Weisungen agieren.
Der Rechtsrahmen unterscheidet zwischen ADM-Systemen, welche in der Privatwirtschaft eingesetzt werden, und solchen, die in Erfüllung öffentlicher Aufgaben verwendet werden. Für beide fordern wir ein Beschwerde-, resp. Klagerecht für betroffene Individuen, die staatliche ADM-Aufsichtsbehörde und berechtige NGOs, um die korrekte Risiko-Klassifizierung und die Durchsetzung der damit verbundenen Pflichten zu garantieren.
Die genaue Funktionsweise eines ADM-Systems unterliegt meist dem Geschäftsgeheimnis. Entsprechend schwierig ist es für Aussenstehende, Beweise für das Risiko eines Systems zu beschaffen. Daher soll eine Beweislastumkehr gelten. Das heisst, ein Unternehmen muss die korrekte Klassifizierung nachweisen, sofern ein Gericht auf eine Klage eintritt. Für Systeme in Erfüllung eines öffentlichen Auftrags fordern wir weitgehende Transparenz und Veröffentlichung der Systeme und Daten, ganz im Sinne der Forderung «Public Money? Public Code!». Ausnahmen, beispielsweise für Personendaten, werden in unserem Positionspapier aufgelistet.
Die staatliche ADM-Aufsicht unterstützt die Verantwortlichen bei der Risiko-Einschätzung von ADM-Systemen durch Checklisten und Good-Practices-Anleitungen, um für Sensibilisierung und adäquate Handhabung zu sorgen. Wer sein eingesetztes System falsch einschätzt und dadurch seinen Pflichten nicht nachkommt oder ein verbotenes, mit inakzeptablem Risiko behaftetes ADM-System betreibt, dem sollen empfindliche und umsatzabhängige Strafen drohen. Dabei soll es sich um Verwaltungssanktionen handeln, die explizit nicht auf die Bestrafung einzelner Mitarbeiter:innen durch das Strafrecht abzielen, da es sich in der Regel nicht um ein individuelles, sondern um ein Organisationsverschulden handelt. Diese Sanktionen sollen jedoch das letzte Mittel bleiben.
Unser Vorschlag ist technologieneutral und folgt einem «human-centered» Ansatz: ADM-Systeme sollen dem Menschen nutzen. Das heisst, es soll dem Menschen durch den Einsatz von ADM-Systemen besser gehen. Um Innovation nicht zu verhindern, setzen wir auf Selbstdeklaration, statt die Unternehmen und die öffentliche Verwaltung mit bürokratischen Prüfprozessen zu belasten. Dies erlaubt den betroffenen Branchen und Akteuren, die konkrete Umsetzung zur Einhaltung der Regeln innerhalb der durch den Rechtsrahmen definierten Parameter selbst zu gestalten.
Eine zunehmende Anzahl an international bedeutenden Institutionen, wie die Europäische Union oder der amerikanische Berufsverband der Informatiker:innen (Association for Computing Machinery, ACM), beschäftigt sich mittlerweile mit der Notwendigkeit einer Regulierung von ADM-Systemen. Wir sind überzeugt, dass der vorgeschlagene rechtliche Rahmen dazu beiträgt, die existierenden Regulierungslücken in der Schweiz zu schliessen.