Partner von:
Anzeige

Kritik an Botswatch: Warum die Debatte um die Social Bot-Studie zum Migrationspakt für Medien wichtig ist

Eine Analyse der Firma Botswatch zum Social Bot-Anteil bei der Twitter-Diskussion um den Migrationspakt sorgt für Kritik
Eine Analyse der Firma Botswatch zum Social Bot-Anteil bei der Twitter-Diskussion um den Migrationspakt sorgt für Kritik

Stammen 28 Prozent der Tweets zum UN-Migrationspakt von Social Bots oder nicht? Die Kritik an einer Analyse der Berliner Firma Botswatch zeigt, wie kompliziert der Umgang mit den automatisierten Twitter-Konten ist. Und sie macht deutlich, wie leichtfertig sich Medien in die Debatte stürzen. Die Firma verteidigt sich.

Anzeige

Viel größer hätte die Aufregung nicht sein können: 28 Prozent der Tweets über den UN-Migrationspakt, der am Montag verabschiedet wurde, stammen von Social Bots – deutlich mehr als bei sonstigen politischen Debatten (10-15 Prozent). Das behauptet die Berliner Analysefirma Botswatch, die knapp 800.000 Tweets zum Migrationspakt ausgewertet hat. Und so berichten es zahlreiche Medien, unter ihnen die Welt (Paid), die die Auszüge der Analyse von der Firma als erstes bekommen hatte.

Eine politisch hoch relevante Diskussion: Social Bots, das sind Programme, mit denen etwa Twitter-Konten automatisiert gesteuert werden. In einigen Fällen verfolgen ihre Macher eine klare Agenda. Ihr Einfluss ist umstritten. Würden aber tatsächlich 28 Prozent der Tweets zum insbesondere in rechten Kreisen viel kritisierten Migrationspakt von Bots stammen – das Potenzial zur Manipulation des gesellschaftlichen Diskurses wäre enorm.

Angesichts dessen verwundert es kaum, dass sich in Folge der Studie auch die Politik einschaltete: Bundesjustizministerin Katarina Barley (SPD) rief Plattformbetreiber auf, entschieden gegen solche Accounts vorzugehen. Auch die stellvertretende Vorsitzende der Unionsfraktion, Nadine Schön, rief zu mehr Transparenz auf.

Ihr Ziel hat die Botswatch-Analyse also erreicht. Nur: Wie kam es überhaupt zu dem Ergebnis?

“Unmöglich zu interpretieren”

Schon kurz nach der Veröffentlichung durch die Welt kritisierten Experten die Studie. “Weil weder die Studie noch die Methode veröffentlicht wurden, ist es unmöglich die Zahlen zu interpretieren”, sagte etwa der Analyst Luca Hammer gegenüber MEEDIA am Montag.

Das Problem: Welche Kriterien Botswatch bei der Erkennung der Social Bots anlegt, ist öffentlich nicht nachvollziehbar. Dabei ist gerade das wichtig, um Vergleichbarkeit zu schaffen und – vor allem – um die Ergebnisse einordnen zu können. Wie soll man einen Bot-Anteil von 28 Prozent bewerten, wenn nicht einmal klar ist, welche Kriterien bei der Erkennung der Bots zugrunde liegen?

Die Kritiker halten es zudem für nicht machbar, dass ein Computerprogramm einen Bot von einem normalen Nutzer unterscheiden kann – das aber verspricht Botswatch. Sie sehen die Gefahr, dass dadurch auch normale Twitter-Accounts als Bots eingestuft werden und andersherum. Das Ergebnis wäre dann verfälscht.

Definition nicht transparent

Das Unternehmen hielt sich zunächst mit einer Offenlegung der Kriterien zurück – und verweist auf die Webseite. Dort heißt es, Botswatch sei “in der Lage, automatisiert und in Echtzeit Social Bots und manipulative Netzwerke in sozialen Medien und auf digitalen Plattformen zu finden”.

Weiter unten ist zu lesen: “Unsere Auswertungen sind ein Ergebnis aus der automatisierten Erkennung und den Analysen unserer Analysten” – sprich: Die Ergebnisse der Maschine werden durch einen menschlichen Analysten geprüft. Zur Definition steht auf der Seite, man verstehe Social Bots “als Accounts, die mit einem überdurchschnittlich hohen Grad an Automation im Social Web arbeiten”.

Auf MEEDIA-Nachfrage erklärt die Geschäftsführerin Tabea Wilke zur Methode: “Wenn wir Analysen zu aktuellen Ereignissen auf unserem Twitterkanal oder manchmal auch auf unserer Website veröffentlichen, lehnen wir den Botindex zugunsten der Nachvollziehbarkeit immer an die Kriterien der Oxford University an.” Die besagen, dass ein Twitter-Account dann als Bot zählt, wenn er mehr als 50 Tweets am Tag veröffentlicht. Einige Experten halten das Oxford-Kriterium für nicht valide.

Anzeige

Das Kriterium spielt laut eigenen Angaben aber nur bei einigen Botswatch-Analysen eine Rolle. Bei anderen, wie etwa der Analyse zum Migrationspakt, hat Botswatch einen “eigenen Kriterienkatalog für das automatisierte Finden von Social Bots” entwickelt, so Wilke weiter. Dieser werde ständig weiter entwickelt.

Botswatch verteidigt sich: Kriterien sind Geschäftsgeheimnis

Und hier kommt der strittige Punkt: Den Kriterienkatalog öffentlich machen will Botswatch aus Geschäftsgründen nicht. “Wir sind ein privatwirtschaftlich organisiertes Unternehmen”, betont sie. “Die Bot-Detektion gehört zum Kern unseres Geschäftsmodells. So wie große Unternehmen wie Marktforschungsinstitute, Plattformanbieter, Limonadenhersteller und Maschinenbauer ihre Erfindungen und ihre Geschäftsgeheimnisse schützen, halten wir es als junges Technologie-Startup auch.” Wilke moniert, dass bei großen Unternehmen der Verweis auf das Geschäftsgeheimnis akzeptiert wird, während “uns als Startup die Frage sehr viel deutlicher gestellt” werde.

Die Geschäftsführerin vergleicht ihre Arbeit mit der eines Marktforschers: “Marktforscher legen die Art, wie sie arbeiten und die Zahlen, die sie interpretieren, auch nicht offen.” Ähnlich wie in der Marktforschung gebe es auch in der Analyse von Social Bots unterschiedliche Datengrundlagen und unterschiedliche Berechnungen und Gewichtungen.

Komplizierte Analyse

Eine Begründung, die Kritiker kaum beruhigen dürfte. Zwar ist es das gute Recht von Botswatch, als privatwirtschaftliches Unternehmen das Geschäft zu schützen. Aus journalistischer Sicht spielt aber eine große Rolle, dass sich der Wahrheitsgehalt der Analyse weder prüfen noch nachvollziehen lässt.

Hinzu kommt die Tatsache, dass Social Bots per se schwer zu erkennen sind. Die Programme sind schon lange nicht mehr so einfach gestrickt wie man denkt. Sie können Diskussionen führen, sich vertippen und verifiziert sein. Auch halten Bots zum Teil sogar Tag- und Nachtzeiten ein. Kurzum: Sie wirken menschlicher. Das macht die Analyse kompliziert. Umso notwendiger ist es, die Analyse zu erklären.

Medien haben über die Erhebung ungeachtet dessen berichtet – ohne Angaben zu Hintergründen und damit ohne Einordnung. Der Spiegel hat seinen Artikel nach der Kritik erweitert und einen Halbsatz ergänzt (von uns fett markiert):

Für seine Analyse hat das Unternehmen knapp 800.000 zwischen dem 24. November und dem 2. Dezember auf Twitter veröffentlichte Kurzbotschaften ausgewertet – wie genau, wird aus den Analyse-Auszügen nicht im Detail klar.

Spiegel-Autor Markus Böhm erklärt auf Twitter:

Die Autoren des Welt-Artikels schrieben auf Nachfrage, dass sie es für “nachvollziehbar” halten, dass “die Methodik einer Untersuchung bei Unternehmen nicht veröffentlicht wird”. Weiter heißt es: “Wir haben ein ausführliches Telefoninterview mit Botswatch über die Methodik und Ergebnisse der Analyse geführt. Es ist bekannt, dass Botswatch den Ansatz der Bot Detection der Oxford University verwendet und darüber hinaus eigene Werkzeuge und Kriterien zur Analyse von Bots entwickelt hat.”

Hinterfragt wurden diese aber offenbar nicht.

 

 

Keine Neuigkeiten aus der Medien-Branche mehr verpassen: Abonnieren Sie kostenlos die MEEDIA-Newsletter und bleiben Sie über alle aktuellen Entwicklungen auf dem Laufenden.

Anzeige

Mehr zum Thema

Anzeige
Anzeige
Werben auf MEEDIA
 
Meedia

Meedia