Automatisierte Entscheidungssysteme (ADMS, KI)

FotoRobynne Hu, Unsplash-Lizenz

Automatisierte Entscheidungssysteme (engl. automated decision-making system, ADMS) sind technische Systeme, die unterstützend oder auch vollständig autonom komplexe Entscheide treffen. Obwohl die Konsequenzen für die betroffenen Menschen erheblich sein können, wissen sie oft nicht, dass ein ADMS zum Einsatz kam und können den Prozess der Entscheidungsfindung weder nachvollziehen noch anfechten. Die Digitale Gesellschaft fordert deshalb eine Regulierung für ADMS, welche sicherstellt, dass der Einsatz dieser Systeme transparent sowie nachvollziehbar geschieht und ADMS nicht eingesetzt werden dürfen, wenn das damit verbundene Risiko inakzeptabel hoch ist.

Published documents including translations to English can be found at the end of this dossier.

Die Algorithmen sozialer Medien entscheiden darüber, welche Informationen wir zu sehen bekommen und welche nicht. Bewerbungsportale erstellen automatisiert Persönlichkeitsprofile von Kandidat:innen. Die Vorhersagen eines Predictive-Policing-Systems lenken den Einsatz von Polizeistreifen. Diese und weitere Beispiele verdeutlichen die wachsende Bedeutung automatisierter Entscheidungssysteme in unserem Leben. Aber auch die Gesellschaft als Ganzes wird davon beeinflusst, beispielsweise wenn ADMS aufgrund systematischer Tendenzen (engl. bias) bestimmte Personengruppen benachteiligen oder bevorzugen. Eine kritische Reflexion, ob und wie ADMS eingesetzt werden sollen, ist deshalb dringend nötig: Sind die von ADMS gefällten Entscheidungen fair und chancengerecht? Wie können automatisiert getroffene Entscheidungen nachvollzogen und begründet werden? Gibt es einzelne Entscheidungen oder ganze Bereiche (z.B. Gerichtsurteile), die wir nicht Algorithmen überlassen sollten, sondern von Menschen gefällt werden müssen?

Trotz der damit verbundenen Risiken geschieht der Einsatz von ADMS bis jetzt weitgehend unkontrolliert. Die Digitale Gesellschaft fordert deshalb eine wirksame Regulierung, welche den Menschen und nicht die Technik ins Zentrum stellt, Transparenz beim Einsatz von ADMS schafft und sorgfältig zwischen Nutzen und Risiken abwägt. Wir haben einen Regulierungsvorschlag ausgearbeitet, welcher technologieneutral ist und sich stattdessen an dem vom ADMS ausgehenden Risiko für Einzelpersonen sowie für die Gesellschaft orientiert. So sollen für Systeme mit «tiefem oder keinem Risiko» keine Einschränkungen gelten. Der Einsatz von Systemen mit «inakzeptablem Risiko» (wie z.B. die biometrische Massenüberwachung) hingegen soll verboten sein. Dazwischen befinden sich die Systeme mit «mittlerem oder hohem Risiko», für die weitgehende Transparenz- und Sorgfaltspflichten gelten sollen.

Die Klassifizierung des Risikos soll per Selbstdeklaration durch die Organisation geschehen, welche das ADMS einsetzt, wobei eine zu niedrige Einschätzung empfindliche und umsatzabhängige Strafen nach sich zieht. So kann vermieden werden, dass Unternehmen und öffentliche Verwaltung mit aufwändigen Prüfprozessen belastet werden. Der Regulierungsvorschlag unterscheidet dabei zwischen ADMS in der Privatwirtschaft und solchen in Erfüllung öffentlich-rechtlicher Aufgaben. Für betroffene Individuen, die neu zu schaffende ADM-Aufsicht und für berechtige NGO ist ein Beschwerde- bzw. Klagerecht vorgesehen, um die korrekte Risiko-Klassifizierung und die Durchsetzung der damit verbundenen Pflichten sicherzustellen. Bei einem ADMS, dessen genaue Funktionsweise dem Geschäftsgeheimnis unterliegt, soll eine Beweislastumkehr gelten. Für Systeme in Erfüllung eines öffentlich-rechtlichen Auftrags ist hingegen eine weitgehende Veröffentlichung der technischen Implementierung und der dafür verwendeten Daten (falls es sich um ein datengetriebenes ADMS handelt) vorgesehen.

Die Digitale Gesellschaft hat im Februar 2022 eine erste Version ihres Positionspapiers zur Regulierung von ADMS publiziert. Mitglieder der Fachgruppe ADM konnten seither an mehreren Veranstaltungen den Regulierungsvorschlag vorstellen, nehmen an öffentlichen Debatten teil und engagieren sich national sowie international in relevanten Gremien.

Seit Januar 2023 ist die Digitale Gesellschaft offiziell Observer beim Committee on Artificial Intelligence (CAI) des Europarats und engagiert sich zusammen mit den Mitgliedsstaaten sowie weiteren Akteuren in der Debate um einen Regulierungsrahmen zur künstlichen Intelligenz, welcher auch für die Schweiz von Bedeutung ist.

Wichtige Dokumente


Zivilgesellschaft fordert

Kein Abwarten bei der Regulierung von KI und ADM-Systemen

Kein Abwarten bei der Regulierung von KI und ADM-Systemen

Die Digitale Gesellschaft, Pour Demain, AlgorithmWatch CH, CH++ und opendata.ch fordern, dass es mit der Regulierung von Künstlicher Intelligenz und automatisierten Entscheidungssystemen in der Schweiz voran geht. Gemäss den Organisationen braucht es einen gesetzlichen Rahmen, um Rechtssicherheit und gemeinwohlorientierte Innovation dieser neuen Technologien sicherzustellen.

Digitale Gesellschaft goes Europarat

Regulierung künstlicher Intelligenz

Regulierung künstlicher Intelligenz

Die Digitale Gesellschaft wurde im Januar als Observer in das Committee on Artificial Intelligence (CAI) des Europarats aufgenommen. Entsprechend werden wir die Verhandlungen verfolgen und den stimmberechtigten Mitgliedsstaaten Verbesserungsvorschläge unterbreiten. Wir fordern ausreichende Transparenzbestimmungen, griffige Verwaltungssanktionen sowie eine staatliche Aufsichts- und Beratungsbehörde.

Künstliche Intelligenz und internationales Regelwerk

Bund engagiert sich zu KI- und ADM-Systemen

Bund engagiert sich zu KI- und ADM-Systemen

Der Bericht an den Bundesrat «Künstliche Intelligenz und internationales Regelwerk» hat am 13. April 2022 das Licht der Öffentlichkeit erblickt. Neben den internationalen Entwicklungen im Bereich KI-Regulierung gibt er einen Ausblick auf die Regulierungsbestrebungen in der Schweiz und zeigt die Prozesse innerhalb der Bundesverwaltung auf. Die Digitale Gesellschaft beteiligt sich aktiv an der Diskussion und hat bereits ein ausführliches Positionspapier zum Thema ADM-Systeme in der Schweiz veröffentlicht. In diesem Blog-Post vergleichen wir den Bericht an den Bundesrat mit unserer Position und fordern eine schnellere Progression.

Automatisierte Entscheidungssysteme

Digitale Gesellschaft veröffentlicht Positionspapier mit einem konkreten Vorschlag für einen rechtlichen Rahmen

Digitale Gesellschaft veröffentlicht Positionspapier mit einem konkreten Vorschlag für einen rechtlichen Rahmen

Automatisierte Entscheidungssysteme halten Einzug in den schweizerischen Alltag. Ob als Filtermechanismus in sozialen Netzwerken oder als Selektionshilfe im Bewerbungsprozess. Dabei stellen sich Fragen bezüglich Diskriminierung, systematischer Benachteiligung, Manipulationspotential und gesellschaftlicher Bedeutung. Die Digitale Gesellschaft veröffentlicht ihr ausführliches Positionspapier, inklusive einem konkreten Vorschlag für einen rechtlichen Rahmen.

Positionspapier Digital Society Initiative (DSI)

Rechtsrahmen für Künstliche Intelligenz in der Schweiz

Rechtsrahmen für Künstliche Intelligenz in der Schweiz

Die Anwendungen von «Künstlicher Intelligenz» nehmen auch in der Schweiz immer mehr zu. Sie reichen vom Staubsaugerroboter über Newsfeed-Algorithmen bis zur biometrischen Massenüberwachung. Entsprechend unterschiedlich sind Chancen und Risiko für die betroffenen Menschen und die Gesellschaft insgesamt. Die nötige Diskussion für eine Regulierung stösst das kürzlich veröffentlichte Positionspapier der Digital Society Initiative (DSI) nun an.

Wichtiger Kampf für ein Verbot der biometrischen Massenüberwachung

EU-Vorschlag zur Regulierung der künstlichen Intelligenz geht nicht weit genug

EU-Vorschlag zur Regulierung der künstlichen Intelligenz geht nicht weit genug

Die EU-Kommission hat heute einen Vorschlag für die Regulierung der künstlichen Intelligenz veröffentlicht. Die Digitale Gesellschaft begrüsst den Schritt, da er die Gefährlichkeit biometrischer Massenüberwachung anerkennt. Allerdings sind wir gemeinsam mit der Koalition «Reclaim Your Face» enttäuscht, dass der heutige Vorschlag nicht weit genug geht, um die Menschen vor dem breiten Spektrum der biometrischen Massenüberwachung effektiv zu schützen.

Entscheidende Gefahren nicht benannt

Machine-Learning-Leitlinien des Bundes

Machine-Learning-Leitlinien des Bundes

Der Bund will sich klare Leitplanken beim Einsatz künstlicher Intelligenz in der Verwaltung setzen. Dies ist erfreulich und könnte eine dringend notwendige Regulierung dieser Technologie befördern. Doch bei näherer Betrachtung wird deutlich, dass offenbar der Mut fehlt, entscheidende Zielkonflikte klar zu benennen. So werden die wesentlichen Gefahren, etwa des Einsatzes neuronaler Netze oder der Kompetenzauslagerung an private Dienstleister, nicht näher behandelt.