Sortieren von Bewerbungen, Kreditvergabe, Verhaltensprognosen, Anträge für Sozialleistungen oder vorhersagende Polizeiarbeit: Immer mehr Institutionen und Unternehmen verlassen sich auf automatisierte oder teilautomatisierte Entscheidungen. Damit geht ein steigendes Risiko für Diskriminierung einher.
Mit einem eigens geschaffenen Meldeformular gibt AlgorithmWatch nun Menschen die Möglichkeit, solche Fälle zu melden. „Wir möchten dazu ermutigen, potenzielle Diskriminierungen durch algorithmische Systeme zu melden, um gemeinsam Veränderungen herbeizuführen und das Bewusstsein für das Problem zu schärfen. Auch wenn man sich nicht sicher ist, ob eine algorithmische Diskriminierung vorliegt: Wir bekommen lieber fünf Meldungen zu viel als eine zu wenig. Oft ist es nicht einfach festzustellen, ob eine solche Diskriminierung stattgefunden hat, und es sind weitere Recherchen nötig“, erklärt Pia Sombetzki, Senior Policy Managerin bei AlgorithmWatch, das Ziel des Vorhabens.
Denn eine unfaire Behandlung stellt sich oft erst heraus, wenn mehrere Personen mit demselben System unterschiedliche Erfahrungen gemacht haben. Wenn zwei Menschen für die gleiche Versicherungsleistung einen unterschiedlichen Preis zahlen sollen, könnte das darauf zurückzuführen sein, dass eine automatisierte Risikobewertung Daten unterschiedlich bewertet und beispielsweise für Menschen mit bestimmten Nachnamen einen höheren Preis ansetzt.
„Algorithmische Systeme sind weder neutral noch objektiv. Sie reproduzieren dieselben Muster, die in der Gesellschaft existieren. Denn die Daten, die zum Maschinellen Lernen der Systeme verwendet werden, spiegeln bestehende gesellschaftliche Verhältnisse und auch Zerrbilder wider. Algorithmische Systeme neigen dazu, diskriminierende Muster zu reproduzieren und zu verstärken“, sagt Pia Sombetzki.
Den eingehenden Meldungen wird AlgorithmWatch nachgehen, um unsichtbare Diskriminierung aufzudecken und so Druck auf Anbieter entsprechender Systeme und die Politik auszuüben. Die Fallsammlung mit dem Meldeformular ist der Auftakt der Kampagne „Algorithmische Diskriminierung“. Im Laufe des Sommers wird AlgorithmWatch über algorithmische Diskriminierung im Zusammenhang mit Arbeit, Migration und Feminismus aufklären.