MEEDIA

Publishing

*Von Sonja Peteranderl*

Ein Algorithmus soll in Chicago prognostizieren, welche Stadtbewohner zukünftig mit hoher Wahrscheinlichkeit an einer Schießerei beteiligt sind – als Täter oder Opfer. Kriterien wie Beteiligungen an Schießereien oder Verhaftungen in der Vergangenheit fließen in die Prognosen ein, bis zu 500 Punkte werden pro Person vergeben – die besonders gefährdeten Personen behält die Polizei mit einem Ranking, der sogenannten Strategic Subject List (SSL), im Visier.

Polizeieinheiten und Sicherheitsbehörden weltweit setzen auf Algorithmen, auch in Deutschland **[berechnen Ermittler die Wahrscheinlichkeit von Wohnungseinbrüchen](https://www.spiegel.de/netzwelt/netzpolitik/vorverurteilung-durch-algorithmen-warum-gefaehrder-prognosen-gefaehrlich-sind-a-1286995.html)** oder versuchen, die zukünftige Gefahr einzuschätzen, die von Terrorverdächtigen ausgeht. In den USA beeinflussen Prognosen zur Rückfall-Wahrscheinlichkeit vor Gericht das Strafmaß.

Doch die genaue Funktionsweise solcher automatisierten Entscheidungssysteme nachzuvollziehen, ist schwer – obwohl sie gravierende Auswirkungen auf das Leben der betroffenen Personen haben. Das noch junge journalistische Feld des Algorithm Accountability Reporting versucht, den Einfluss von Algorithmen auf die Gesellschaft offenzulegen.

##### **Automatisierte Diskriminierung und Fehler**

"Die algorithmische Entscheidungsfindung wird im öffentlichen und privaten Bereich weiter zunehmen, und Journalisten müssen konzeptionell und methodisch gerüstet sein, um intensive Untersuchungen dieser Systeme durchzuführen", sagt Nicholas Diakopoulos, der das Computational Journalism Lab (CJL) der Northwestern University School of Communication leitet und den Begriff des Algorithm Accountability Reporting 2014 geprägt hat.

Journalisten könnten Diakopoulos zufolge etwa recherchieren, inwieweit Algorithmen Diskriminierung und Ungerechtigkeit fördern, ob Fehler oder Irrtümer in Vorhersagen oder Klassifizierungen vorkommen, die Entscheidungssysteme Verstöße gegen gesetzliche oder soziale Normen den Weg ebnen – oder wie Personen und Organisationen Algorithmen missbrauchen – entweder absichtlich oder unabsichtlich.

In Chicago hat sich die datenbasierte Verbrechensbekämpfung längst in ein Massenüberwachungs-Tool verwandelt: Mehr als 1.400 besonders gefährdete Personen wurden auf der "Strategic Subject List" zwischenzeitlich als Risikopersonen geführt, insgesamt rund 400.000 Menschen waren 2017 veröffentlichten Daten zufolge mit einem Punktwert bedacht worden – darunter mehr als die Hälfte aller afro-amerikanischen jungen Männer aus Chicago zwischen 20 und 29 Jahren. Details zu den erfassten Daten veröffentlichte die Polizei von Chicago erst, nachdem die Tageszeitung "Chicago Sun-Times" sie dazu gezwungen hatte – mit einem Antrag nach dem Informationsfreiheitsgesetz (Freedom of Information Act) und einer Klage.

Das gemeinnützige US-Investigativmedium ProPublica hat mit **[der Serie "Machine Bias"](https://www.propublica.org/series/machine-bias/p3)** aus dem Jahr 2016 demonstriert, wie sich der Einfluss von Algorithmen durch alle Lebensbereiche zieht und mit welchen Ansätzen sich Fehlentscheidungen oder Ungerechtigkeiten offenlegen lassen. "Unsichtbare und fast völlig unregulierte Algorithmen spielen eine immer wichtigere Rolle", so ProPublica. "Sie fließen in große und kleine Entscheidungen ein, ob sich jemand für eine Hypothek qualifiziert bis zur Strafe für einen Verurteilten. Die Gewichtungen und Variablen, die diesen Gleichungen zugrunde liegen, sind oft streng gehütete Geheimnisse, die nur den Menschen in den Unternehmen bekannt sind, die sie entwickeln und verwenden."

##### **Blick in die Black Box**

Die algorithmischen Entscheidungssysteme sind für Journalisten und andere Beobachter wie eine Black Box – und bei komplexeren, selbstlernenden Systemen, die eine Vielzahl von Datenquellen und Faktoren auswerten, verlieren häufig auch deren Entwickler den Überblick, welche Faktoren mit welcher Gewichtung zu welchen Ergebnissen (Outputs) führen. "Reverse Engineering", eine Rekonstruktion der Algorithmen, ist in den meisten Fällen unmöglich.

Das Rechercheprojekt "**[OpenSchufa](https://openschufa.de/)**" von der Open Knowledge Foundation Deutschland und AlgorithmWatch hat Bürger zu Datenspenden aufgerufen, um den Kreditbewertungs-Algorithmus der Wirtschaftsauskunftei Schufa nachzubauen. Dem "OpenSchufa"-Projekt ist es nicht gelungen, genug aussagekräftige Daten zu sammeln, um den Schufa-Score zu rekonstruieren. Dennoch zeigte das Projekt und die Berichterstattung von Medien, die die Daten ausgewertet haben, Missstände bei Kreditwürdigkeitsbewertungen auf.

Viele Recherchen im Bereich des Algorithm Accountability Reporting setzen am Output, also an den sichtbaren Folgen der automatisierten Entscheidungssysteme an. ProPublica-Reporter haben etwa wochenlang 250 Bestseller-Produkte von Amazon beobachtet und verglichen, wie sie in den virtuellen Warenregalen platziert wurden – meist zum Vorteil von Amazon und den Händlern, statt nach günstigen Preisen.

##### **Verstärker von Rassismus**

Das ProPublica-Team konnte auch nachweisen, dass ein Algorithmus, der in den USA eingesetzt wird, um zukünftige Straftaten vorherzusagen, schwarze Angeklagte diskriminiert. Die "Compas"-Software wies schwarzen Kriminellen doppelt so häufig wie weißen Straftätern hohe Risikowerte zu. Zudem wurden nur bei 20 Prozent der Verurteilten künftige Gewaltverbrechen korrekt vorhergesagt. Um die Vorhersagen zu prüfen, haben die Journalisten Risikowerte von 7.000 Menschen damit kontrastiert, ob sie tatsächlich zwei Jahre nach dem Urteil erneut straffällig wurden oder eben nicht.

Rassistische Verzerrungen lassen sich bei zahlreichen Automatisierungsprozessen nachweisen – etwa dann, wenn algorithmische Entscheidungssysteme auf Basis von Foto-Datenbanken mit Gesichtern von weißen Personen trainiert worden sind oder Algorithmen sich auf rassistisch konnotierte Dynamiken wie eine ungerechte Wohn- und Ressourcenpolitik beziehen. "Gesichtserkennungsalgorithmen sind darauf trainiert, weiße Gesichter zu erkennen, Flughafen-Scanner verstehen schwarze Frisuren nicht, Kreditwürdigkeits-Scores sind mit segregierten Nachbarschaften korreliert und Daten für Predictive Policing, vorausschauende Polizeiarbeit, werden von rassistischen Vorurteilen geplagt", kritisiert Mutale Nkonde, die am Berkman Klein Center for Internet & Society zu Künstlicher Intelligenz forscht. "Ohne eine bewusste Anstrengung, Rassismus in Technologie anzugehen, ist es unvermeidlich, dass neue Technologien alte Trennungen replizieren."

Im Fall des Predictive Policing Systems aus Chicago war bereits das Kriterium der Gangzugehörigkeit, das anfangs in die Prognose einfloss, beispielhaft für das Prinzip "Garbage in, Garbage out": Fehlerhafte oder unsinnige Eingabedaten führen auch zu unsinnigen Resultaten, also "Garbage" (Müll). Eine Untersuchung der "Gangdatenbank" durch eine Aufsichtskommission offenbarte, dass allein die Sammlung aus mehreren fehlerhaften, veralteten, teils widersprüchlichen Polizei-Datenbanken eine Fehlerquelle ist. Einige Einträge dokumentierten zudem den Rassismus im Polizeisystem: So hatten Polizisten zu bestimmten Personen Bemerkungen wie "Schwarzer", "Abschaum" oder "Verlierer" in die Datenbank eingetragen.

##### **An der Schnittstelle von Technologie und Journalismus**

Algorithmen-Recherchen sind oft zeitaufwändig und komplex – und kollaborative Strategien sowie das Zusammenspiel von Wissen und Techniken von Datenjournalisten, Tech-Experten, Investigativjournalisten, aber auch Experten in dem jeweiligen Sachbereich sind gefragt, um die Wirkung von Algorithmen zu recherchieren. Zum Teil entwickeln die Algorithmic-Accountability-Teams sogar eigene Tools, mit denen sich etwa personalisierte Werbung nachvollziehen lässt.

Mit dem Political Ad Collector (PAC) hat ProPublica 2017 ein Browser-Plugin entwickelt, das Micro-Targeting auf Facebook offenbart, wie Wahlwerbung von Parteien, die nur ausgewählten Zielgruppen in deren personalisierten Facebook-Feeds ausgespielt werden. Erst durch die Bereitwilligkeit von Nutzern, sich das PlugIn herunterzuladen und ihre Daten ProPublica zur Auswertung zur Verfügung stellten, wurde in einer größeren Dimension ersichtlich, welche Anzeigen der Facebook-Algorithmus welchen Nutzern anzeigt. Ähnlich geht das Projekt "**[Facebook Tracking Exposed](https://facebook.tracking.exposed)**" (fbTREX) vor, das ebenfalls Datenspenden sammelt.

An der Schnittstelle von Technologie und Journalismus sind in den vergangenen Jahren neue Berufsbilder wie "Computational Journalist" oder "Algorithm Reporter" sowie eigene Organisationen entstanden, die sich auf Algorithmen-Recherchen spezialisieren. In Deutschland treibt etwa die gemeinnützige Organisation AlgorithmWatch Recherche- und Forschungsprojekte voran. Die ehemalige ProProPublica-Investigativjournalistin Julia Angwin baut mit The Markup in New York ein Startup mit Fokus auf datengetriebenen Journalismus und den Einfluss von Technologie auf.

Im Idealfall offenbart "Algorithm Accountability Reporting" nicht nur Fehlerquellen und Nebenwirkungen von Algorithmen, sondern zwingt deren Anwender auch zu Reformen oder trägt dazu bei, dass missbräuchliche Systeme eingestellt werden. In Chicago stehen die umstrittenen Predictive Policing-Algorithmen inzwischen offiziell auf dem Prüfstand: Eine polizeiliche Aufsichtskommission analysiert den Einsatz der "Strategic Subject List" und untersucht laut Projektbeschreibung, ob die "Daten auf eine Art und Weise genutzt werden, die den Bürgerrechten entspricht".

***Über die Autorin:***

*Sonja Peteranderl ist "Spiegel"-Redakteurin im Ressort Netzwelt und Gründerin des BuzzingCities Lab, eines Think Tanks, der den Einfluss von Technologie auf Sicherheit, Organisierte Kriminalität und urbane Gewalt erforscht – unter anderem in brasilianischen Favelas und im Drogenkrieg in Mexiko.* *Sie berichtet vor allem über Sicherheit, Technologie und Organisierte Kriminalität/Cybercrime und erforscht derzeit als Kellen Fellow des American Council on Germany KI/Scoring im Bereich von Polizeiarbeit/Sicherheit und ist Fellow des Global Diplomacy Lab (GDL). Außerdem ist sie Teilnehmerin des Digital Journalism Fellowships der Hamburg Media School.*

***Über die Reihe:** Dies ist der 18. Teil der von Stephan Weichert herausgegebenen mehrteiligen Essay-Reihe mit dem Titel “Werteorientierte Digitalisierung”, die MEEDIA im Rahmen des **[Digital Journalism Fellowships](https://www.hamburgmediaschool.com/weiterbildung/digitaljournalismfellowship)** an der Hamburg Media School exklusiv veröffentlicht.*

*Bereits erschienen:*

[**Teil 1: Brecht auf Speed: Plädoyer für eine digitale Medienkritik und werteorientierte Digitalisierung**](/article/brecht-auf-speed-plaedoyer-fuer-eine-digitale-medienkritik-und-werteorientierte-digitalisierung-4d91f4981744002251d7e82d9e7f28ae)

[**Teil 2: Abschied von der Nachricht: Wie Medien ihrer sozialen Verantwortung gerecht werden**](/article/abschied-von-der-nachricht-wie-medien-ihrer-sozialen-verantwortung-gerecht-werden-1e46a20b2fc4875f222391a6b6af577b)

[**Teil 3: News zwischen Marslandung und Verlegenheitsmeldung: Befreit die Nachrichten aus der Linearität!**](/article/news-zwischen-marslandung-und-verlegenheitsmeldung-befreit-die-nachrichten-aus-der-linearitaet-074cf1c85e949d789d09e518b968656a)

[**Teil 4: Entspannt Euch, Leute! Zehn Fragen, mit denen Sie sich vor überhitzten medialen Erregungsblasen schützen**](/article/entspannt-euch-leute-zehn-fragen-mit-denen-sie-sich-vor-ueberhitzten-medialen-erregungsblasen-schuetzen-149e59f84e5422d4bc48796e767fc180)

[**Teil 5: Journalismus nach Relotius: Warum wir uns nicht auf den Täter, sondern auf die Frage der Haltung fixieren sollten**](/article/journalismus-nach-relotius-warum-wir-uns-nicht-auf-den-taeter-sondern-auf-die-frage-der-haltung-fixieren-sollten-f4256098c614efe2ed36387e5701a409)

[**Teil 6: Lösung sucht Problem: fünf Schritte für eine produktive Innovationskultur der Medien**](/article/loesung-sucht-problem-fuenf-schritte-fuer-eine-produktive-innovationskultur-der-medien-28e0e389b3a40b2dce7b587678406bb4)

[**Teil 7: Weg mit dem Dringlichkeitsalgorithmus! Ein Sechs-Stufen-Plan für Bewältigungsstrategien in der New-Work-Welt**](/article/weg-mit-dem-dringlichkeitsalgorithmus-ein-sechs-stufen-plan-fuer-bewaeltigungsstrategien-in-der-new-work-welt-b9d65bb9ff14ec135e66f047aa2631a2)

[**Teil 8: “Like Deine Freude, wie Du selbst geliked werden willst” – wie wir uns alle einer Digitalisierungsreligion unterwerfen**](/article/like-deine-freude-wie-du-selbst-geliked-werden-willst-wie-wir-uns-alle-einer-digitalisierungsreligion-unterwerfen-1d3233aae1b48f6f8fbf75369c9e7f84)

**[Teil 9: “Freie Presse” in Chemnitz auf Tuchfühlung mit Lesern: Warum der Lokaljournalismus besser wird](/article/freie-presse-in-chemnitz-auf-tuchfuehlung-mit-lesern-warum-der-lokaljournalismus-besser-wird-6aed9ba9b6d4b4154b812edb76091c47)**

**[Teil 10: Ein Spotify für den Journalismus? Fünf Strategien zur Steigerung der Zahlungsbereitschaft im Netz](/article/ein-spotify-fuer-den-journalismus-fuenf-strategien-zur-steigerung-der-zahlungsbereitschaft-im-netz-08e9ddea7e641eee76e6444233ecb6f2)**

**[Teil 11: Warum wir Diversität im Medienbetrieb neu definieren müssen – die Hölle, das sind nicht die anderen](/article/warum-wir-diversitaet-im-medienbetrieb-neu-definieren-muessen-die-hoelle-das-sind-nicht-die-anderen-c117c72bdb94855626d3497976102238)**

**[Teil 12: “So muss Lokaljournalismus aussehen”: Wie die Lüneburger “Landeszeitung” mit ihren Lesern ins Gespräch kommt](/article/so-muss-lokaljournalismus-aussehen-wie-die-lueneburger-landeszeitung-mit-ihren-lesern-ins-gespraech-kommt-fa16ea187bf4c14219e5083cbfae7cd0)**

[**Teil 13: Wissen, wie der Hase läuft – Lokaljournalismus zwischen Klischees und digitaler Transformation**](/article/wissen-wie-der-hase-laeuft-lokaljournalismus-zwischen-klischees-und-digitaler-transformation-499ce17a6474432bc3d16ea487fe811d)

[**Teil 14: “Du bist auf dem neuesten Stand”: Warum die Medien ein besseres Gedächtnis brauchen**](/article/du-bist-auf-dem-neuesten-stand-warum-die-medien-ein-besseres-gedaechtnis-brauchen-85d906bbbc54eaaa6eac1286d4153225)

[**Teil 15: Bauchgefühl plus Daten plus Community: Wie Lokalmedien wieder Autorität erlangen können**](/article/bauchgefuehl-plus-daten-plus-community-wie-lokalmedien-wieder-autoritaet-erlangen-koennen-06141d282234dad0e7c57f8cf6166bf2)

**[Teil 16: It’s the Spirit, Stupid! Wie Medien dem Nachwuchsmangel im Journalismus am besten begegnen](/article/its-the-spirit-stupid-wie-medien-dem-nachwuchsmangel-im-journalismus-am-besten-begegnen-3c7b7d488c147e8f949c161e76457a50)**

[**Teil 17: Vertrauen Sie mir, ich bin Journalistin! Warum sich Konstruktiver Journalismus für Medien lohnen kann**](/article/vertrauen-sie-mir-ich-bin-journalistin-warum-sich-konstruktiver-journalismus-fuer-medien-lohnen-kann-a1cf3808215407ad8218ff8556c20f99)

Die Software als Rassist: wie Journalisten Algorithmus-Missstände aufdecken können