Streit um den AMS-Algorithmus geht in die nächste Runde

In Österreich hält der politische Streit um den Einsatz eines algorithmischen Systems zur Sortierung von Arbeitslosen weiter an. Jetzt haben Forscher*innen das System aus wissenschaftlicher Sicht scharf kritisiert. Der Fall könnte zum Beispiel dafür werden, wie die öffentliche Hand mit der Technologie nicht umgehen sollte.

Zumindest rechtlich ist es beschlossen: Das Arbeitsmarktservice Österreich (AMS) darf einen Algorithmus einsetzen, um die Arbeitsmarktchancen von Jobsuchenden zu bewerten. Das System läuft bereits in einem Testbetrieb, ab 2020 soll es landesweit seine Arbeit aufnehmen – gefüttert mit den echten Daten echter Arbeitsloser.

Noch lange nicht abgeschlossen sind hingegen die politischen Auseinandersetzungen rund um den Einsatz des Systems. Seit mehr als einem Jahr kritisieren Wissenschaftler*innen und Bürgerrechtsorganisationen den Algorithmus und ebenso lange schon verteidigt der Leiter des AMS Johannes Kopf die Entscheidung mit bemerkenswerter Energie.

Das neueste Kapitel der Auseinandersetzung eröffneten diese Woche fünf Wissenschaftler*innen, die an verschiedenen Wiener Universitäten zum AMS-Algorithmus forschen und in einem Gastbeitrag die Probleme aus wissenschaftlicher Sicht aufzählen.

Das System arbeite anders als vom AMS suggeriert nicht transparent. So seien etwa die Fehlerquoten des Algorithmus auf Basis der zur Verfügung gestellten Informationen von externen Forscher*innen nicht nachzuprüfen. „Wissenschaft lebt von einer kritischen Auseinandersetzung mit einer gemeinsamen Informationsgrundlage“, schreiben die fünf Autotor*innen. Diese gemeinsame Informationsgrundlage existiere im Moment beim AMS-Algorithmus nicht – trotz der medialen Debatte, die seit mehr als einem Jahr schwelt.

Die Fehlerquote ist bei einem System von solcher Tragweite entscheidend, da selbst bei einer hohen Trefferquote noch Tausende falsch kategorisiert werden und in der Folge zu Unrecht von Weiterbildungen ausgeschlossen werden könnten.

Kein Nachteil für Frauen? Wissenschaftlich nicht belegt

Auch die Frage der potentiellen Diskriminierung sprechen die Wissenschaftler*innen an. Expert*innen hatten in der Vergangenheit darauf hingewiesen, dass der Algorithmus etwa Frauen offen benachteilige, da sie aufgrund ihres Geschlechts niedrigere Chancen prognostiziert bekommen, wieder Arbeit zu finden. Kommen weitere Faktoren wie Betreuungspflichten oder so genannter Migrationshintergrund hinzu, führe dies im System zu einem kumulativen Nachteil. AMS-Leiter Kopf hatte dieser Kritik stets widersprochen: Frauen würden schließlich nach der neuen Sortierung überdurchschnittlich oft in der Gruppe der Arbeitssuchenden mit mittleren Chancen landen: der Gruppe, die viele teure Weiterbildungen finanziert bekommt.

Die Mathematikerin Paola Lopez von der Universität Wien, die den aktuellen Beitrag mitverfasst hat, wies jedoch darauf hin, dass sich die Behauptung, Frauen würden nicht benachteiligt, nicht wissenschaftlich überprüfen lässt. Entscheidend sei dafür nämlich nicht, wie viele Frauen in welchen Kategorie landeten, sondern ob sich das Ergebnis ändern würde, wenn der Faktor Geschlecht keine Rolle spielte. Diese Modellvariante stelle das AMS aber nicht zur Verfügung, so dass die Behauptungen wissenschaftlich nicht belegt werden könnten.

Auch das Dauer-Argument des AMS, die Entscheidungen würden nach wie vor nicht automatisiert vom Algorithmus getroffen, sondern von den Vermittler*innen, lassen die Forscher*innen nicht gelten: „Seit dem offiziellen Einsatzstarts des Systems werden Entscheidungen des AMS jetzt gemeinsam von Betreuer*innen und einem System, welches Empfehlungen in Form von Gruppenzuweisungen macht, getroffen.“ Aus wissenschaftlicher Sicht sei erwiesen, dass allein die Existenz eines solchen Systems die Entscheidung der Betreuer*innen beeinflussen wird. Studien haben gezeigt, dass Menschen die von automatisierten Systemen vorgeschlagenen Resultate selten in Frage stellen und in der Regel übernehmen.

Sachlicher Durchblick, aber kein Verständnis

Johannes Kopf, der seit mehr als zehn Jahren im Vorstand des AMS sitzt, hat die Ehrrettung des AMS-Algorithmus – und damit des AMS selbst – offenbar zur Chefaufsache erklärt. Seit mehr als einem Jahr verteidigt er den Einsatz des Systems in Interviews, auf öffentlichen Panels oder auch seinem privaten Twitter-Account. Ein bemerkenswertes Engagement für jemanden, der als Leiter eines staatlichen Dienstleistungsunternehmens für Tausende von Mitarbeiter*innen und die Vermittlung von noch mehr Arbeitslosen verantwortlich ist.

Auch auf die Kritik der Wissenschaftler*innen hat er binnen Tagen reagiert. Zuvor hatte er bereits auf einen Beitrag der Ethik-Forscherin Sarah Spiekermann ähnlich schnell öffentlich geantwortet. Er ist dabei immer verbindlich, geht konkret auf die Kritikpunkte ein und kontert sie mit Informationen, die erkennen lassen: Hier spricht jemand, der die statistischen Modelle und die Probleme, die diese mit sich bringen, sehr wohl gut versteht. Allerdings bewegt er sich auch keinen Zentimeter von seinem Standpunkt weg, dass das System insgesamt eine sinnvolle Unterstützung für das AMS sei – und letztlich auch für die Jobsuchenden.

Mehr Transparenz zur Funktionsweise der Modelle? Zu aufwändig. Diskriminierung? Die gebe es nun mal am Arbeitsmarkt, das System bilde sie lediglich ab. Fehlerquoten? Entscheidend sei nur, ob das System die persönliche Einschätzung der Berater*innen unterstützen und „noch treffsicherer“ machen könne.

So dreht sich die Diskussion inzwischen weitgehend im Kreis. Auf die immer wieder vorgetragenen Kritikpunkte von Wissenschaft und Digitalexpert*innen reagiert Kopf mit den immer selben Erwiderungen.

Das AMS als Fallbeispiel

Das Hauptproblem an der ganzen Geschichte mit dem AMS-Algorithmus ist wohl ein anderes. Die Digital-Expertin Ingrid Brodnig hat es im Gespräch mit futurezone.at treffend zusammengefasst. „Ich schlage vor, dass gerade die öffentliche Hand, ehe sie Algorithmen für so wichtige Entscheidungen einsetzt, eine verpflichtende ethische Evaluierung durchführen soll.“ Ähnliches empfiehlt auch Katharina Zweig, die an der TU Kaiserslautern zur Verantwortlichkeiten beim Einsatz von Algorithmen forscht.

In Österreich hat so eine Evaluierung der Auswirkungen nicht stattgefunden, bevor entschieden wurde, das System einzusetzen. Die Folgen dieser Entscheidung tragen jetzt nicht nur die Betroffenen, sondern auch das AMS selbst, dessen Leiter die Entscheidung in Dauerschleife verteidigen muss.

Vielleicht wird das AMS so zum Fallbeispiel. Womöglich werden die Auseinandersetzungen auch deswegen so vehement geführt, weil das allen Beteiligten bewusst ist. Wenn der Widerstand anhält, die Debatte nicht abebbt und das System womöglich doch wieder auf dem Betrieb genommen werden muss, wäre das ein Argument, solche Projekte in Zukunft nicht mehr auf die harte Tour einzuführen. Wenn das AMS hingegen Erfolg hat mit seiner Strategie, schafft es damit einen Präzedenzfall.