#Demokratie

Der Roboterstaat: warum die Angst vor KI unsere Demokratie gefährdet

Demokratische Staaten legitimieren sich nicht über ihre Wirksamkeit, sie können sich aber durch Unwirksamkeit delegitimieren. Mit dem Gefühl, Regierungen seien nicht mehr in der Lage, gesellschaftliche Probleme zu bewältigen oder die öffentliche Ordnung konsequent durchzusetzen, erodiert auch die Identifikation mit der Demokratie.

von , 11.7.21

Lernende Maschinen können nicht ersetzen, was menschliche Urteile zu leisten imstande sind. »Künstliche Intelligenz« sollte daher gleichermaßen demokratisch und humanistisch eingehegt werden.

Im chinesischen Daye werden Fußgänger:innen bei dem Versuch, eine rote Ampel zu überqueren, mit Wasser bespritzt. Nicht von Menschen, sondern von gelben Pollern. Die kniehohen Automaten sind mit Lasersensoren und Wasserdüsen ausgestattet, die jeden unrechtmäßigen Überquerungsversuch sofort feststellen und prompt mit einer Wolke Sprühnebel ahnden. Man müsse sich jedoch keine Sorgen machen, so die örtliche Polizei: Das Wasser werde täglich ausgetauscht und die Temperatur stets bei 26 Grad gehalten, um gesundheitliche Folgewirkungen zu vermeiden. 

Als lauwarmer Dampf kündigt sich in Daye der Umbau der chinesischen Gesellschaft zum vollautomatisierten Roboterstaat an. Nicht mehr Menschen sollen prüfen, entscheiden, urteilen und richten, sondern Algorithmen und Automaten. Mit jeder neuen Gerätegeneration verdichtet sich das Netz aus Sendern und Sensoren in Mobiltelefonen, Überwachungskameras und smarten Heimgeräten, das jedes Gespräch, jeden Einkauf, jede Bewegung seiner Nutzer aufzeichnet — nicht nur in China. Daraus entsteht ein Informationsreservoir, das zunehmend auch für die Politik interessant wird. 

Durch Algorithmen aufbereitet, ergeben diese Daten ein hochauflösendes Bild der aktuellen gesellschaftlichen Lage. Stimmungen, Interessen und Verhalten der Bürger, Wirtschaftswachstum oder den Erfolg und Misserfolg aktueller Regierungsmaßnahmen, können von Computern in Echtzeit berechnet werden. Damit ließen sich Verordnungen und Gesetze tagesaktuell anpassen aber auch Verstöße und Fehlverhalten automatisch ahnden. 

Was in westlichen Staaten aus Gründen von Privatsphäre und Datenschutz undenkbar wäre, ist für China kein Problem. Der Regierung stehen dort nicht nur die Daten eigener Überwachungstechnologien zur Verfügung, sie kann außerdem vollumfänglich auf die Nutzerdaten seiner privaten Unternehmen zurückgreifen. Damit registrieren die Staatsalgorithmen auch Chats und E-Mails, Einkaufsverhalten sowie Informationen über die Freizeitgestaltung der Bürger. 

Nicht nur Rechtsverstöße sollen so unterbunden werden, sondern auch unerwünschtes Verhalten: Unfreundliche Äußerungen gegenüber Staatsdienern beispielsweise, regimekritische Äußerungen in den sozialen Medien oder aber auch nur übermäßiges Computerspielen werden automatisch sanktioniert. Millionen Chinesen wurden auf diese Weise schon von Flug- oder Zugreisen ausgeschlossen, aber auch der Zugang zu Krediten, bestimmten Berufen oder sozialen Medien werden beschränkt. Das alles ganz ohne menschlichen Eingriff.

Die Möglichkeit, Recht und Ordnung durch Algorithmen zu automatisieren, scheint wie gemacht für totalitäre Systeme. Jeder Einzelne lässt sich bis in den privatesten Raum, in das persönlichste Wort hinein überwachen und sanktionieren. Doch hier zeigt sich auch: Es ist nicht nur das politische System, dass die Technologie instrumentalisiert. Es ist die Technologie der Automatisierung selbst, die totalitär ist. 

Egal auf welcher politischen Grundlage regulierende Algorithmen eingesetzt werden, sie bringen ihre eigenen Strukturen und Imperative mit. Beispielsweise funktionieren sie genauer und zuverlässiger, je größer der Datensatz ist, auf den sie zurückgreifen können. Die Tendenz also, Daten nicht nur aus staatlichen Stellen, sondern auch aus der Wirtschaft und selbst aus der privaten Kommunikation abzuziehen — Privatsphäre und Datenschutz zu übergehen —, ist im Versuch der Automatisierung von Recht und Ordnung bereits angelegt.

Doch auch innerhalb des rechtsstaatlichen Rahmens, der die Bürger vor den Übergriffen des Staates schützen soll, ließen sich Regeln, Verordnungen und Gesetze nicht automatisieren, ohne ins Totalitäre abzudriften. Paradoxerweise genau deshalb, weil Algorithmen das Recht bedingungslos umsetzen würden. Zwar gehört es zu den Grundsätzen des Rechtsstaats, dass das Gesetz für jeden, zu jeder Zeit, immer gleich und ohne Ausnahme gilt. In der Praxis müsste dieser Grundsatz jedoch ins Unrecht führen.

Man stelle sich vor, jede Überquerung einer roten Ampel würde geahndet. Nicht mit einem lauwarmen Spritzer Wasser sondern mit einem automatischen Bußgeldbescheid. Technisch wäre das durch einen Abgleich der Standortdaten des Mobiltelefons mit Ampelschaltungsrythmen problemlos möglich. Das Geld wäre abgebucht, noch bevor die Delinquentin die andere Straßenseite erreicht hätte. Doch was, wenn es einen guten Grund für die Ordnungswiedrigkeit gab, einen Unfall, eine ausgefallene Birne im Ampelkasten oder ein Kind, dass man aus dem anfahrenden Verkehr retten möchte? Vielleicht aber auch einfach weil nachts um vier weit und breit kein Auto zu sehen war?

Jedes Gesetz kennt seine Ausnahmen, sie sind jedoch algorithmisch nicht abbildbar, weil sie keinen festen Regeln gehorchen, weil sie beliebig viele sind — nämlich all jene Fälle, die im Gesetz nicht vorgesehen sind. Das Gesetz kann nur generalisierte Sachverhalte regeln, die Wirklichkeit kennt jedoch keine Systematik, sie besteht lediglich aus einer Ansammlung von Einzelfällen. Deshalb muss es immer eine Abweichung zwischen Regel und Realität geben. Diesen Unterschied zu bestimmen, liegt im Ermessen der ahndenden Behörden und Beamt:innen. Sie bestimmen: War der Regelübertritt notwendig war oder nicht — oder wenigstens verzeihlich?

Der »Ermessensspielraum« soll die Lücke zwischen formalem Regelwerk und unformalisierbarer, diffuser Realität schließen. Doch oft genug ist selbst dieser juristisch vorgesehene Spielraum zu schmal bemessen, um zweckdienliche Entscheidungen zu treffen. Anders als sprichwörtlich suggeriert sind Behörden keine stumpfen Abarbeitungsapparate für Vorschriften und Formulare, sondern organische Institutionen der Regeldehnung und -umgehung.

So werden Sachverhalte nachkorrigiert, um doch noch einen Unterstützungsanspruch zu ermöglichen, unbedachte Äußerungen mutwillig überhört, um kein Verfahren auslösen zu müssen oder Ausschreibungen auf bestimmte Firmen hin optimiert, um nicht den günstigsten, sondern den zuverlässigsten Dienstleister beauftragen zu können. Natürlich zeigen nicht nur die Beschaffungsverfahren für Corona-Schutzausrüstung, wie leicht diese Spielräume zum persönlichen Vorteil missbraucht werden können. 

Den Rahmen der Ermessensentscheidungen so weit zu stecken, dass er praktisch anwendbar ist und ihn gleichzeitig soweit zu beschränken, dass er Korruption und Missbrauch verhindert, ist ein historischer Aushandlungsprozess, der in keiner Gesellschaft je abschließend gelungen ist. Deshalb ist eine gelegentliche Regelbeugung — solange sie nicht der Bereicherung der Verantwortlichen dient, sondern im Sinne der Gesellschaft ist — notwendig, um eine Behörde in Betrieb zu halten. Denn »Dienst nach Vorschrift« gilt unter Beamten nicht als Arbeitsmantra, sondern offiziell als Streikandrohung. Rein regelorientiertes Handeln muss mittelfristig mit den Notwendigkeiten der informellen Realität kollidieren und droht so, jede Behördentätigkeit zum Stillstand zu bringen.

Diese Ermessensspielräume und notwendigen Regelbeugungen lassen sich jedoch nicht automatisieren. Denn solange Maschinen kein Bewusstsein entwickeln — und danach sieht es auf absehbare Zeit nicht aus —, sind sie nicht dazu in der Lage, die ihnen aufgetragenen Regeln auf Zweckmäßigkeit hin zu überprüfen und so ihre Anwendung im Einzelfall abzuwägen. Sie kennen keine übergeordneten Zweck ihres Handelns, sie kennen nur formale Anweisungen.

Vielleicht aber, so das Versprechen von Machine Learning, brauchen Computer gar kein Bewusstsein, müssen nicht reflektieren und verstehen, was sie tun, um auch regelunabhängig handeln zu können. Vielleicht reicht es, wenn Sie Menschen lange genug bei ihrer Arbeit beobachten und lernen, diese zu imitieren. Die Technologie hierzu ist längst da. Eine Maschine allerdings, die Beamte dabei beobachtet, wie sie ihren Ermessensspielraum ausschöpfen oder gar überdehnen und dieses erlernte Verhalten dann selbst anwendet, würde den Rechtsstaat ad absurdum führen. Die Rechtsdehnung würde damit technisch in den Verwaltungsapparat implementiert.

Doch warum dürfen Menschen Regeln kreativ auslegen und Maschinen nicht? Warum ist es weniger absurd, wenn Behörden durch gezielte Workarounds stabil gehalten werden, als wenn Computer diese Workarounds lernen und technisch fest implementieren würden? Hier verrät sich ein entscheidender Unterschied zwischen bewusstem Menschen und unbewusster Maschine: Menschen haben einen freien Willen, sie müssen eine Entscheidung fassen, eine Absicht, Regeln zu überschreiten. Nur so können sie für ihr Handeln auch verantwortlich gemacht und notfalls juristisch belangt werden. 

Sie gehen also ein Risiko ein, wenn sie die formalen Regeln aus Verordnungen und Gesetzen so dehnen, dass sie auf reale Sachverhalte passen. Sie befinden sich damit immer in einem Spannungsfeld aus praktischer Notwendigkeit und juristischer Haftbarkeit. Nur durch diesen Mechanismus verhindert der Rechtsstaat den Missbrauch individueller Ermessenspielräume und -entscheidungen.

Der Mensch als Entscheider und Verantwortungsträger wird also auch in automatisierten Entscheidungsprozessen noch gebraucht — und sei es am Ende nur, um für falsche Entscheidungen haftbar zu sein. In der Entwicklung automatischer Technik, beispielsweise von teil-autonomen Kriegswaffen, spricht man deshalb vom Prinzip des »human-in-the-loop«. Der Entscheidungsprozess wird vom Computer selbstständig errechnet, aber ein Mensch muss das Ergebnis letztlich prüfen und bestätigen. In der automatischen Abwehr gegnerischer Raketen bleiben ihm hierzu oft nur Sekundenbruchteile. 

Fraglich ist deshalb, wie viel Entscheidungshoheit Menschen tatsächlich noch haben, wenn sie in automatisierte Systeme verspannt werden. Der Vorteil der Automaten ist ja gerade, dass sie unüberschaubare Datenmassen in Sekundenbruchteilen verarbeiten, um genau solche Situationen zu bewältigen, die Menschen gar nicht überblicken können. Wer wagt es schon, einem Computer zu widersprechen, dem mehr Daten, sowie schnellere und vor allem fehlerfreie Rechenkapazitäten zur Verfügung stehen? 

In der automatischen Kette von Datenerfassung, Lösungsfindung und Umsetzung ist die menschliche Entscheidung nur ein Hindernis. Nicht nur auf Seiten von Regierung und Verwaltung, auch auf Seite der Bürger. Denn eine automatische Regulierung würde auch ihnen die Möglichkeit zum Regelverstoß und damit auch die Möglichkeit zur eigenen Entscheidung nehmen. Das smarte Auto würde an der Ampel automatisch ausgebremst, verfassungsfeindliche Inhalte vom Uploadfilter geschluckt und das Konto gesperrt, schon bevor es zur Insolvenz kommen könnte. Das mag alles im Sinne einer funktionierenden Gesellschaftsordnung sein, aber es entzieht dem Individuum die Möglichkeit, sich auch gegen geltende Regeln entscheiden zu können. 

Strafverfolgungsbehörden und Finanzämter könnten abgeschafft werden. Gesetze bräuchten nicht mehr durchgesetzt werden, durch Automatisierung würden sie zum Zwang. Damit wäre auch das persönliche Bemühen um gewissenhaftes Verhalten überflüssig. Jeder könnte seinen Bedürfnissen nach Belieben freien Lauf lassen, ohne sich von Gedanken an deren Konsequenzen einschränken lassen zu müssen. Denn was verboten ist, würde ohnehin automatisch unterdrückt. 

Damit würde jedoch die intrinsische Motivation von Menschen, sich sozial und solidarisch oder wenigstens gesetzestreu zu verhalten, systematisch aberzogen. Die daraus resultierende Haltung wäre eine vollkommen egoistische, die jede Lücke für sich zu nutzen suchte. Das kann nur einem totalitären Staat egal sein, dem der Geist seiner Bürger gleichgültig ist, solange sie sich in seinem Sinne verhalten.

Hannah Arendt stellte in ihren Studien zum Totalitarismus fest, dass das Wesen der totalitären Herrschaft nicht in der Einschränkung bestimmter Freiheiten und Möglichkeiten liege, sondern in der völligen Eliminierung jeglichen Handlungsspielraums. Das Versprechen der Automatisierung liegt jedoch genau darin, jene Entscheidungsräume zu schließen, die bisher von trägen, uninformierten, willkürlichen und häufig fehlgeleiteten menschlichen Entscheidungsprozessen ausgefüllt wurden. Um dies leisten zu können, fordert die Technologie eine völlige Infiltration des Privaten, ausnahmslose Loyalität, Zwang zur Regelkonformität und Zentralisierung der Informationshoheit. Alles genuine Merkmale des Totalitarismus.

Im Gegenzug zur Entmachtung des Menschen verspricht die Technologie Geschwindigkeit, Informationstiefe, Genauigkeit und Objektivität, kurz: Effizienz und Effektivität. Ein Angebot, dass besonders für Staaten wie China attraktiv ist, die sich, wie der britische Historiker Timothy Garton Ash es formuliert, über Effektivität und nicht über demokratische Wahlen legitimieren. Solange sich die Lebenssituation der Bürger dort kontinuierlich verbessert und die öffentliche Ordnung intakt bleibt, wird die Regierung vom Großteil der Bevölkerung akzeptiert. 

Demokratische Staaten hingegen legitimieren sich nicht über ihre Wirksamkeit, allerdings können sie sich durch Unwirksamkeit delegitimieren. Mit dem Gefühl, Regierungen seien nicht mehr in der Lage, gesellschaftliche Probleme umfassend und zeitnah zu bewältigen oder die öffentliche Ordnung konsequent durchzusetzen, erodiert auch die Identifikation mit der Demokratie. Wollen sie ihre Glaubwürdigkeit wahren, werden also auch Demokratien nicht auf den Einsatz von Automatisierungstechnik verzichten können.

In einer Welt, deren Komplexität durch moderne Kommunikations-, und Datenverarbeitungstechnik stetig steigt, lässt sich ein staatlicher Ordnungsanspruch nicht ohne äquivalente Technologien durchsetzen. Die menschlichen Kapazitäten der Verwaltungsapparate sind längst erschöpft. Nur durch den Aufbau interner Gegenkomplexität, durch schnelle und datenreiche Regulationsprozesse, kann sich ein Staat die Augenhöhe mit anderen Akteuren, wie einer globalen Wirtschaft, anderen Staaten oder auch kriminellen Organisationen wahren.

Über ihre reine Notwendigkeit hinaus, bietet die Automatisierung aber durchaus auch einen demokratischen Mehrwert. Zum Beispiel würde die gesteigerte Verarbeitungskapazität Freiheiten eröffnen, feiner abgestuftere Regularien zu entwerfen, die mehr Ausnahme- und Einzelfallregelungen und damit eine wirklichkeitsadäquatere Regierung erlauben würden. Ähnliche Entwicklungen gab es auch schon bei vergangenen Technologiesprüngen. So konnte die Komplexität des modernen Steuersystems beispielsweise erst aus der Computerisierung der Finanzämter erwachsen. Mit der Automatisierung entstehen hier noch einmal deutlich höhere Verarbeitungskapazitäten, die genutzt werden könnten, um individuellere und damit gerechtere Entscheidungen zu treffen.

Beratungen und Leistungen könnten durch sogennantes Micro-Targeting — datengetriebene individuelle Werbung — direkt und bedarfsgerecht an die bedürftigen Gruppen adressiert werden. Eigentlich bräuchten Leistungen gar nicht mehr beantragt werden. Die dafür nötigen Daten liegen staatlichen Behörden wie Bürger- oder Finanzämtern meist ohnehin bereits vor. Österreich macht vor, wie beispielsweise das dortige Kindergeld, die sogennante Familienbeihilfe ganz automatisch nach der Geburt überwiesen wird. Automatisch, ohne Antrag. Durch die Abschaffung der Antragsverfahren erreichen die Leistungen ihre Zielgruppen zuverlässiger und genauer. Das ist der Vorteil von datenreicher und automatisierter Verwaltungsarbeit: Sie wirkt.

Die Automatisierung bietet also nicht nur Potenziale für Überwachung und Kontrolle, sondern auch für höhere Nutzer:innenorientierung, für eine Annäherung von Staat und Bürger:innen auf Augenhöhe, für einen engeren Austausch und bedarfsgerechte Interaktion. Eine wirksame, zurückhaltende, bei Bedarf aber immer unkompliziert erreichbarere Verwaltung — ein seamless state — wäre ein wichtiger Schritt, um das Vertrauen der Bürger:innen in die Wirkmächtigkeit eines Staates zu erhalten und zu stärken.

Um diese demokratischen Potentiale der Technologie zu bergen, müssen jedoch zunächst die totalitären Tendenzen der Automatisierung gebändigt werden. Eine stumpfe Implementierung automatisierter Insellösungen in der Verwaltung kann das nicht leisten. Wir brauchen eine kohärente Vision eines automatisierten demokratischen Rechtsstaats, die uns als Wegweiser und Prüfstein bei der anstehenden Automatisierung von Staat und Verwaltung dient. Denn wenn wir nicht bestimmen, wie wir die Technologie nutzen wollen, wird die Technologie es selbst bestimmen. 

Zustimmung, Kritik oder Anmerkungen? Kommentare und Diskussionen zu den Beiträgen auf CARTA finden sich auf Twitter und auf Facebook.