Partner von:
Anzeige

Die Software als Rassist: wie Journalisten Algorithmus-Missstände aufdecken können

Sonja Peteranderl
Sonja Peteranderl

Von Predictive Policing bis zu dynamischer Preisgestaltung: Algorithmen beeinflussen mittlerweile viele Lebensbereiche – doch sie können auch zu Diskriminierung führen und fehlerhaft sein. Algorithm Accountabity Reporting deckt Missstände auf. Darüber schreibt die "Spiegel"-Redakteurin Sonja Peteranderl in der Essay-Reihe Werteorientierte Digitalisierung von MEEDIA in Kooperation mit der Hamburg Meedia School.

Anzeige

Von Sonja Peteranderl

Ein Algorithmus soll in Chicago prognostizieren, welche Stadtbewohner zukünftig mit hoher Wahrscheinlichkeit an einer Schießerei beteiligt sind – als Täter oder Opfer. Kriterien wie Beteiligungen an Schießereien oder Verhaftungen in der Vergangenheit fließen in die Prognosen ein, bis zu 500 Punkte werden pro Person vergeben – die besonders gefährdeten Personen behält die Polizei mit einem Ranking, der sogenannten Strategic Subject List (SSL), im Visier.

Polizeieinheiten und Sicherheitsbehörden weltweit setzen auf Algorithmen, auch in Deutschland berechnen Ermittler die Wahrscheinlichkeit von Wohnungseinbrüchen oder versuchen, die zukünftige Gefahr einzuschätzen, die von Terrorverdächtigen ausgeht. In den USA beeinflussen Prognosen zur Rückfall-Wahrscheinlichkeit vor Gericht das Strafmaß.

Doch die genaue Funktionsweise solcher automatisierten Entscheidungssysteme nachzuvollziehen, ist schwer – obwohl sie gravierende Auswirkungen auf das Leben der betroffenen Personen haben. Das noch junge journalistische Feld des Algorithm Accountability Reporting versucht, den Einfluss von Algorithmen auf die Gesellschaft offenzulegen.

Automatisierte Diskriminierung und Fehler

“Die algorithmische Entscheidungsfindung wird im öffentlichen und privaten Bereich weiter zunehmen, und Journalisten müssen konzeptionell und methodisch gerüstet sein, um intensive Untersuchungen dieser Systeme durchzuführen”, sagt Nicholas Diakopoulos, der das Computational Journalism Lab (CJL) der Northwestern University School of Communication leitet und den Begriff des Algorithm Accountability Reporting 2014 geprägt hat.

Journalisten könnten Diakopoulos zufolge etwa recherchieren, inwieweit Algorithmen Diskriminierung und Ungerechtigkeit fördern, ob Fehler oder Irrtümer in Vorhersagen oder Klassifizierungen vorkommen, die Entscheidungssysteme Verstöße gegen gesetzliche oder soziale Normen den Weg ebnen – oder wie Personen und Organisationen Algorithmen missbrauchen – entweder absichtlich oder unabsichtlich.

In Chicago hat sich die datenbasierte Verbrechensbekämpfung längst in ein Massenüberwachungs-Tool verwandelt: Mehr als 1.400 besonders gefährdete Personen wurden auf der “Strategic Subject List” zwischenzeitlich als Risikopersonen geführt, insgesamt rund 400.000 Menschen waren 2017 veröffentlichten Daten zufolge mit einem Punktwert bedacht worden – darunter mehr als die Hälfte aller afro-amerikanischen jungen Männer aus Chicago zwischen 20 und 29 Jahren. Details zu den erfassten Daten veröffentlichte die Polizei von Chicago erst, nachdem die Tageszeitung “Chicago Sun-Times” sie dazu gezwungen hatte – mit einem Antrag nach dem Informationsfreiheitsgesetz (Freedom of Information Act) und einer Klage.

Das gemeinnützige US-Investigativmedium ProPublica hat mit der Serie “Machine Bias” aus dem Jahr 2016 demonstriert, wie sich der Einfluss von Algorithmen durch alle Lebensbereiche zieht und mit welchen Ansätzen sich Fehlentscheidungen oder Ungerechtigkeiten offenlegen lassen. “Unsichtbare und fast völlig unregulierte Algorithmen spielen eine immer wichtigere Rolle”, so ProPublica. “Sie fließen in große und kleine Entscheidungen ein, ob sich jemand für eine Hypothek qualifiziert bis zur Strafe für einen Verurteilten. Die Gewichtungen und Variablen, die diesen Gleichungen zugrunde liegen, sind oft streng gehütete Geheimnisse, die nur den Menschen in den Unternehmen bekannt sind, die sie entwickeln und verwenden.”

Blick in die Black Box

Die algorithmischen Entscheidungssysteme sind für Journalisten und andere Beobachter wie eine Black Box – und bei komplexeren, selbstlernenden Systemen, die eine Vielzahl von Datenquellen und Faktoren auswerten, verlieren häufig auch deren Entwickler den Überblick, welche Faktoren mit welcher Gewichtung zu welchen Ergebnissen (Outputs) führen. “Reverse Engineering”, eine Rekonstruktion der Algorithmen, ist in den meisten Fällen unmöglich.

Das Rechercheprojekt “OpenSchufa” von der Open Knowledge Foundation Deutschland und AlgorithmWatch hat Bürger zu Datenspenden aufgerufen, um den Kreditbewertungs-Algorithmus der Wirtschaftsauskunftei Schufa nachzubauen. Dem “OpenSchufa”-Projekt ist es nicht gelungen, genug aussagekräftige Daten zu sammeln, um den Schufa-Score zu rekonstruieren. Dennoch zeigte das Projekt und die Berichterstattung von Medien, die die Daten ausgewertet haben, Missstände bei Kreditwürdigkeitsbewertungen auf.

Viele Recherchen im Bereich des Algorithm Accountability Reporting setzen am Output, also an den sichtbaren Folgen der automatisierten Entscheidungssysteme an. ProPublica-Reporter haben etwa wochenlang 250 Bestseller-Produkte von Amazon beobachtet und verglichen, wie sie in den virtuellen Warenregalen platziert wurden – meist zum Vorteil von Amazon und den Händlern, statt nach günstigen Preisen.

Verstärker von Rassismus

Das ProPublica-Team konnte auch nachweisen, dass ein Algorithmus, der in den USA eingesetzt wird, um zukünftige Straftaten vorherzusagen, schwarze Angeklagte diskriminiert. Die “Compas”-Software wies schwarzen Kriminellen doppelt so häufig wie weißen Straftätern hohe Risikowerte zu. Zudem wurden nur bei 20 Prozent der Verurteilten künftige Gewaltverbrechen korrekt vorhergesagt. Um die Vorhersagen zu prüfen, haben die Journalisten Risikowerte von 7.000 Menschen damit kontrastiert, ob sie tatsächlich zwei Jahre nach dem Urteil erneut straffällig wurden oder eben nicht.

Rassistische Verzerrungen lassen sich bei zahlreichen Automatisierungsprozessen nachweisen – etwa dann, wenn algorithmische Entscheidungssysteme auf Basis von Foto-Datenbanken mit Gesichtern von weißen Personen trainiert worden sind oder Algorithmen sich auf rassistisch konnotierte Dynamiken wie eine ungerechte Wohn- und Ressourcenpolitik beziehen. “Gesichtserkennungsalgorithmen sind darauf trainiert, weiße Gesichter zu erkennen, Flughafen-Scanner verstehen schwarze Frisuren nicht, Kreditwürdigkeits-Scores sind mit segregierten Nachbarschaften korreliert und Daten für Predictive Policing, vorausschauende Polizeiarbeit, werden von rassistischen Vorurteilen geplagt”, kritisiert Mutale Nkonde, die am Berkman Klein Center for Internet & Society zu Künstlicher Intelligenz forscht. “Ohne eine bewusste Anstrengung, Rassismus in Technologie anzugehen, ist es unvermeidlich, dass neue Technologien alte Trennungen replizieren.”

Im Fall des Predictive Policing Systems aus Chicago war bereits das Kriterium der Gangzugehörigkeit, das anfangs in die Prognose einfloss, beispielhaft für das Prinzip “Garbage in, Garbage out”: Fehlerhafte oder unsinnige Eingabedaten führen auch zu unsinnigen Resultaten, also “Garbage” (Müll). Eine Untersuchung der “Gangdatenbank” durch eine Aufsichtskommission offenbarte, dass allein die Sammlung aus mehreren fehlerhaften, veralteten, teils widersprüchlichen Polizei-Datenbanken eine Fehlerquelle ist. Einige Einträge dokumentierten zudem den Rassismus im Polizeisystem: So hatten Polizisten zu bestimmten Personen Bemerkungen wie “Schwarzer”, “Abschaum” oder “Verlierer” in die Datenbank eingetragen.

An der Schnittstelle von Technologie und Journalismus

Algorithmen-Recherchen sind oft zeitaufwändig und komplex – und kollaborative Strategien sowie das Zusammenspiel von Wissen und Techniken von Datenjournalisten, Tech-Experten, Investigativjournalisten, aber auch Experten in dem jeweiligen Sachbereich sind gefragt, um die Wirkung von Algorithmen zu recherchieren. Zum Teil entwickeln die Algorithmic-Accountability-Teams sogar eigene Tools, mit denen sich etwa personalisierte Werbung nachvollziehen lässt.

Mit dem Political Ad Collector (PAC) hat ProPublica 2017 ein Browser-Plugin entwickelt, das Micro-Targeting auf Facebook offenbart, wie Wahlwerbung von Parteien, die nur ausgewählten Zielgruppen in deren personalisierten Facebook-Feeds ausgespielt werden. Erst durch die Bereitwilligkeit von Nutzern, sich das PlugIn herunterzuladen und ihre Daten ProPublica zur Auswertung zur Verfügung stellten, wurde in einer größeren Dimension ersichtlich, welche Anzeigen der Facebook-Algorithmus welchen Nutzern anzeigt. Ähnlich geht das Projekt “Facebook Tracking Exposed” (fbTREX) vor, das ebenfalls Datenspenden sammelt.

An der Schnittstelle von Technologie und Journalismus sind in den vergangenen Jahren neue Berufsbilder wie “Computational Journalist” oder “Algorithm Reporter” sowie eigene Organisationen entstanden, die sich auf Algorithmen-Recherchen spezialisieren. In Deutschland treibt etwa die gemeinnützige Organisation AlgorithmWatch Recherche- und Forschungsprojekte voran. Die ehemalige ProProPublica-Investigativjournalistin Julia Angwin baut mit The Markup in New York ein Startup mit Fokus auf datengetriebenen Journalismus und den Einfluss von Technologie auf.

Im Idealfall offenbart “Algorithm Accountability Reporting” nicht nur Fehlerquellen und Nebenwirkungen von Algorithmen, sondern zwingt deren Anwender auch zu Reformen oder trägt dazu bei, dass missbräuchliche Systeme eingestellt werden. In Chicago stehen die umstrittenen Predictive Policing-Algorithmen inzwischen offiziell auf dem Prüfstand: Eine polizeiliche Aufsichtskommission analysiert den Einsatz der “Strategic Subject List” und untersucht laut Projektbeschreibung, ob die “Daten auf eine Art und Weise genutzt werden, die den Bürgerrechten entspricht”.

Anzeige

Über die Autorin:

Sonja Peteranderl ist “Spiegel”-Redakteurin im Ressort Netzwelt und Gründerin des BuzzingCities Lab, eines Think Tanks, der den Einfluss von Technologie auf Sicherheit, Organisierte Kriminalität und urbane Gewalt erforscht – unter anderem in brasilianischen Favelas und im Drogenkrieg in Mexiko. Sie berichtet vor allem über Sicherheit, Technologie und Organisierte Kriminalität/Cybercrime und erforscht derzeit als Kellen Fellow des American Council on Germany KI/Scoring im Bereich von Polizeiarbeit/Sicherheit und ist Fellow des Global Diplomacy Lab (GDL). Außerdem ist sie Teilnehmerin des Digital Journalism Fellowships der Hamburg Media School. 

Über die Reihe: Dies ist der 18. Teil der von Stephan Weichert herausgegebenen mehrteiligen Essay-Reihe mit dem Titel “Werteorientierte Digitalisierung”, die MEEDIA im Rahmen des Digital Journalism Fellowships an der Hamburg Media School exklusiv veröffentlicht.

Bereits erschienen:

Teil 1: Brecht auf Speed: Plädoyer für eine digitale Medienkritik und werteorientierte Digitalisierung

Teil 2: Abschied von der Nachricht: Wie Medien ihrer sozialen Verantwortung gerecht werden

Teil 3: News zwischen Marslandung und Verlegenheitsmeldung: Befreit die Nachrichten aus der Linearität!

Teil 4: Entspannt Euch, Leute! Zehn Fragen, mit denen Sie sich vor überhitzten medialen Erregungsblasen schützen

Teil 5: Journalismus nach Relotius: Warum wir uns nicht auf den Täter, sondern auf die Frage der Haltung fixieren sollten

Teil 6: Lösung sucht Problem: fünf Schritte für eine produktive Innovationskultur der Medien

Teil 7: Weg mit dem Dringlichkeitsalgorithmus! Ein Sechs-Stufen-Plan für Bewältigungsstrategien in der New-Work-Welt

Teil 8: “Like Deine Freude, wie Du selbst geliked werden willst” – wie wir uns alle einer Digitalisierungsreligion unterwerfen

Teil 9: “Freie Presse” in Chemnitz auf Tuchfühlung mit Lesern: Warum der Lokaljournalismus besser wird

Teil 10: Ein Spotify für den Journalismus? Fünf Strategien zur Steigerung der Zahlungsbereitschaft im Netz

Teil 11: Warum wir Diversität im Medienbetrieb neu definieren müssen – die Hölle, das sind nicht die anderen

Teil 12: “So muss Lokaljournalismus aussehen”: Wie die Lüneburger “Landeszeitung” mit ihren Lesern ins Gespräch kommt

Teil 13: Wissen, wie der Hase läuft – Lokaljournalismus zwischen Klischees und digitaler Transformation

Teil 14: “Du bist auf dem neuesten Stand”: Warum die Medien ein besseres Gedächtnis brauchen

Teil 15: Bauchgefühl plus Daten plus Community: Wie Lokalmedien wieder Autorität erlangen können

Teil 16: It’s the Spirit, Stupid! Wie Medien dem Nachwuchsmangel im Journalismus am besten begegnen

Teil 17: Vertrauen Sie mir, ich bin Journalistin! Warum sich Konstruktiver Journalismus für Medien lohnen kann

Keine Neuigkeiten aus der Medien-Branche mehr verpassen: Abonnieren Sie kostenlos die MEEDIA-Newsletter und bleiben Sie über alle aktuellen Entwicklungen auf dem Laufenden.

Anzeige

Mehr zum Thema

Anzeige
Anzeige

Alle Kommentare

  1. LOL…erinnert mich an die Vorwürfe von Datingalgorithmenprogrammierern.
    Denen hat man auch Rassismus und Diskriminierung vorgeworfen, weil gewisse Gruppen als weniger attraktiv wahrgenommen wurden, und der Algorithmus dadurch die Datingvorschläge entsprechend angepasst hat.

    Ob man den Algorithmus dahingehend angepasst hat, dass die Portalnutzer nun auch subjektiv unattraktive Menschen daten müssen um wieder die “passenden” zu bekommen ist mir nicht bewusst.

  2. Ich vermute mal die im Artikel genannten Algorithmen arbeiten daten basiert. Wenn aus den Polizei-Statistiken z.B. hervorgeht, daß in den letzen N Jahren eine Bevölkerungsgruppe an dem Großteil der Gewaltverbrechen beteiligt war, wird das entsprechend berücksichtigt. Deswegen die Algorithmen oder deren Entwickler rassistisch zu nennen ist lächerlich.

  3. Garantiert wird die Software Männer krimineller als Frauen einstufen. Da heult dann aber keiner auf. Tatsächlich sind nun einmal Männer häufiger straffällig aus Frauen. Da höre ich aber keine Gender-Betroffenheit.
    Wer alles Online macht, darf sich nicht wundern, dass er von Algorithmen beurteilt wird. So ja alles nichts kosten und ist so cool bzw. fortschrittlich.
    Wasch mir den Pelz, aber mach mich nicht nass, wird wird heute ganz modern mit Modewörtern wie Gender, Diskriminierung etc. propagiert.

    Bevor die Medien ständig andere anprangern, sollten sie erstmal zu einer eigenen Qualitätssicherung zurückfinden und sich Haltungsjournalismus abgewöhnen. Dann wäre der Gesellschaft schon viel geholfen. Besonders der Spiegel bräuchte dringend eine Qualitätssicherung.

  4. Medien handeln tagtäglich nach der Einstellung des Herrn Adenauer: “Was kümmert mich mein Geschwätz von gestern.”
    Polizisten können das leider nicht.
    Sie müssen tagtäglich dafür sorgen, dass die Menschen in ihrer Umgebung in Sicherheit leben können.
    Und wenn das nicht klappt, sind gerade (viele) Medien die allerersten, die sie dafür an den Pranger stellen.
    Warum nicht vorhergesehen… Hätten doch vorbeugen müssen… … sträflich vernachlässigt… Und tausende andere Formulierungen.
    Liebe Medienvertreter: Lasst doch zur Abwechslung einfach einmal ihr euch etwas einfallen und gebt den Polizisten das Handwerkszeug an die Hand, damit diese den Job so machen können, dass er so gemacht ist, dass sogar ihr nichts mehr daran auszusetzen habt!
    Die Polizisten und auch die ganze Gesellschaft wird es euch auf ewig danken…..

  5. Wenn die Compas-Software schwarzen Kriminellen “doppelt so häufig wie weißen Straftätern hohe Risikowerte” zuwies, dann vielleicht nicht aus Rassismus. Sondern weil z.B. 2016 im genannten Chicago 71% der Morde von Schwarzen begangen wurden und Mörder ein höheres Risiko darstellen als Einbrecher.

  6. Algorithmen sind so rassistisch oder sexistisch wie der- oder diejenige, der sie konzipiert. Das es schwer ist, die “genaue Funktionsweise solcher automatisierten Entscheidungssysteme nachzuvollziehen” und deshalb nun Journalisten aufgerufen sind, gesellschaftlich nicht korrekte Ein- oder Zuordnungen oder Bewertungen kann ich nicht nachvollziehen: eine rein datenbasierte Entscheidung für oder gegen einen Kredit oder eine Einstellung kann oftmals objektiver und fairer sein als die eines schlechtgelaunten Bankmitarbeiters oder Personalchefs. Das Algorithmen in den USA farbigen Amerikanern ein höheres Risiko zurechnen straffällig zu werden hat nichts mit diskrimierenden Algorithmen, sondern mit einer realen Diskriminierung in der Gesellschaft zu tun. Die Daten beschreiben nur die (traurige) Realität.

Die Kommentarfunktion für diesen Artikel ist deaktiviert.

Werben auf MEEDIA
Meedia

Meedia