1. Research
  2. Produkte & Themen
  3. Publikationsreihen
  4. EU-Monitor
12. September 2019
Region:
Mit neuen Formen multilateraler Kommunikation hat die digitale Transformation den gesellschaftlichen Diskurs bereichert, aber auch die Verbreitung von Fehlinformationen und Propaganda sowie das Entstehen von Echokammern verstärkt. Sie bietet autokratischen Regimes neue Möglichkeiten für staatliche Überwachung und Kontrolle. Wie Demokratien damit umgehen, wird sich entscheidend darauf auswirken, wie sie im intensiver werdenden Wettbewerb der politischen Systeme bestehen. [mehr]
EU-Monitor Digitale Ökonomie und struktureller Wandel Für Milliarden von Menschen hat die digitale Transformation enorme Vorteile und Annehmlichkeiten gebracht. Allerdings lassen sich die wirtschaftlichen und politischen Implikationen wohl erst im Rückblick vollständig erfassen. Für demo- kratische Institutionen und Prozesse ergeben sich daraus beträchtliche Heraus- forderungen für die Beurteilung der Chancen und Risiken neuer Technologien. Liberale Gesellschaftsmodelle können sich digitale Technologien ebenso zunutze machen wie autoritäre; einerseits können Regierungen besser zur Re- chenschaft gezogen werden, andererseits wird gegebenenfalls der Repression der Weg geebnet. Digitale Technologie hat einen beispiellosen Informations- Zugang und Austausch ermöglicht. Sie hat aber auch die Verbreitung von Fehl- informationen und Propaganda sowie das Entstehen von Echokammern ver- stärkt – und so möglicherweise zu einem wachsenden Populismus und zur Po- larisierung demokratischer Gesellschaften beigetragen. Rund um die Welt profitieren Nutzer von kostenlosen Dienstleistungen in der Datenwirtschaft. Angesichts der zugrundeliegenden Geschäftsmodelle und Kon- zentration von Einfluss und Vermögen stellen sich jedoch drängende Fragen in Bezug auf den Schutz der Privatsphäre, das Eigentum an Daten und gezielte Manipulation – nicht nur für wirtschaftliche, sondern auch für politische Zwecke. Autoritäre Staaten haben rasch gelernt, wie sie Überwachungstechnologie, künstliche Intelligenz und Massendaten zu ihrem Vorteil nutzen können , sowohl für staatliche Kontrolle im Inland als auch, um Demokratien im Ausland zu un- terminieren. Für Demokratien, deren Zusammenhalt auf Teilhabe und Zustim- mung ihrer mündigen Bürger beruht, stellt dies eine ganz neue Herausforderung dar. Wie sie damit umgehen, wird sich entscheidend darauf auswirken, wie sie im intensiver werdenden Wettbewerb der politischen Systeme bestehen. Demo- kratien müssen zudem einen fundierten Dialog über das Eigentum an Daten und Technologie sowie die Verteilung der Vorteile von KI und Automatisierung führen. Gleichzeitig müssen sie ihre technologische Wettbewerbsfähigkeit und wirtschaftliche Prosperität als Stützpfeiler der demokratischen Ordnung sichern. Regierungen müssen regulatorische Vorgaben, Wettbewerbsvorschriften und die staatliche Aufsicht so überarbeiten, dass sie den neuen Anforderungen der globalen, digitalen Wirtschaft gerecht werden. Unternehmen müssen sicherstel- len, dass ihre Geschäftsmodelle und Produkte im Einklang mit den verfassungs- mäßigen Rechten der Nutzer und mit der Integrität demokratischer Institutionen und Prozesse stehen. Und die Bürger müssen digitale Kompetenzen erwerben, um die Algorithmen und das Design hinter ihren Apps und Geräten sowie die zugrundeliegenden Mechanismen der Datenwirtschaft besser zu verstehen. Die EU spielt in der Auseinandersetzung mit den Herausforderungen der digita- len Transformation eine Vorreiterrolle. Weltweit setzt sie Maßstäbe bei der Be- kämpfung von Desinformation und der Festlegung von rechtlichen und ethi- schen Standards für den Datenschutz und die KI-Entwicklung. Autor Kevin Körner +49 69 910-31718 kevin.koerner@db.com Editor Barbara Boettcher Deutsche Bank AG Deutsche Bank Research Frankfurt am Main Deutschland E-Mail: marketing.dbr@db.com Fax: +49 69 910-31877 www.dbresearch.de DB Research Management Stefan Schneider Original in engl. Sprache: 22. August 2019 12. September 2019 Digitalpolitik KI, Big Data und die Zukunft der Demokratie Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 2 | 12. September 2019 EU-Monitor KI, Big Data und die Zukunft der Demokratie Die Demokratie muss geschützt werden. Bürger, die in liberalen Demokratien aufgewachsen sind, sehen ihre verfassungsmäßig garantierten Rechte und Freiheiten häufig als selbstverständlich an und glauben, nichts könne diese grundlegende Ordnung erschüttern. Menschen, die in autoritären oder totalitä- ren Strukturen gelebt haben, sind dagegen für dieses Thema stärker sensibili- siert. Sie haben gelernt, dass die Demokratie nie als selbstverständlich anzuse- hen ist. Tatsächlich sind Demokratien wie diejenigen, die sich in den letzten 30 Jahren durchgesetzt haben, eine absolute Ausnahme in der Menschheitsge- schichte. Mit Hilfe von Gewaltenteilung, unabhängigen Gerichten und Medienfreiheit schützen sich Demokratien gegen Versuche aus dem autoritären Lager, ihre Fundamente zur untergraben und zu stürzen. In den vergangenen Jahren hat sich jedoch in verschiedenen demokratischen Ländern rund um die Welt, darun- ter auch Staaten der Europäischen Union, gezeigt, dass diese Mechanismen durchaus fragil sein können. Dies ist als Warnung zu verstehen: Demokratische Institutionen können für sich allein nicht ordnungsgemäß funktionieren. Dafür brauchen sie gut informierte und engagierte Bürger sowie deren politischen Vertreter. In dieser Hinsicht hat sich die digitale Transformation der beiden vergangenen Jahrzehnte zuneh- mend als zweischneidiges Schwert erwiesen. Technologie ist für sich genommen politisch neutral. Digitale Technologien kön- nen gleichermaßen in den Dienst liberaler wie autoritärer Gesellschaftsentwürfe gestellt werden; sie können sowohl dazu dienen, Regierungen besser zur Re- chenschaft zu ziehen als auch Repression zu intensivieren. Dies soll jedoch nicht heißen, dass die technologische Entwicklung dagegen gefeit sei, einer be- stimmten politischen oder wirtschaftlichen Organisationsform Vorteile zu ver- schaffen. Neue Technologien sind vielmehr eine der treibenden Kräfte in der Menschheitsgeschichte. Wie sie Gesellschaften und politische Systeme formen, hängt jedoch davon ab, wie sie von Unternehmen und Regierungen umgesetzt werden und wie die Bürger damit umgehen. Milliarden Menschen profitieren. Die Vorteile der digitalen Transformation der vergangenen Jahre für die zwischenmenschliche Kommunikation und Organisa- tion sind kaum zu bestreiten. Der heute selbstverständliche Zugang zu Informa- tionen war noch vor wenigen Jahrzehnten unvorstellbar, gleichzeitig können sich die Menschen weltweit innerhalb von Sekunden austauschen und koordi- nieren. Für Milliarden von Menschen hat die digitale Transformation – sinnbild- lich verkörpert durch das Smartphone – enormen Nutzen und Annehmlichkeiten gebracht. Dies hat den gesellschaftlichen Diskurs um neue Formen der multila- teralen Kommunikation bereichert. Bürger, politische Verantwortungsträger und Regierungen nutzen ganz selbstverständlich soziale Medien wie Facebook oder Twitter, um in Kontakt zu treten und Standpunkte, Meinungen oder Vorschläge auszutauschen. Zunächst hoffte man, dass die neuen Technologien zu einer Demokratisierungs- welle führen könnten . In den Neunzigerjahren, d.h. in den Anfangsjahren des World Wide Web, bestanden große Hoffnungen, dass die intensivere globale Vernetzung und rasche technologische Fortschritte zu einer neuen Demokrati- sierungswelle führen würden. Man glaubte, dass die Bürger mit der zunehmen- den Verbreitung der Technologie eine bessere demokratische Kontrolle aus- üben könnten und dass die Regierungen intensivere Rechenschaft über ihre Tä- tigkeit ablegen müssten. 1 Noch während des Arabischen Frühlings zu Beginn 1 Foreign Affairs (12. Februar 2019). Does technology favor tyranny? 0 20 40 60 80 100 120 1800 1850 1900 1950 2000 Demokratien Anokratien* Autokratien Siegeszug der Demokratie in den letzten 30 Jahren 1 Quelle: Center for Systemic Peace Polity iV Project *Zwischenform zwischen Demokratie und Autokratie Zahl der Länder (Bevölkerung > 500 Tsd.) 0 20 40 60 80 100 1 9 9 0 1 9 9 2 1 9 9 4 1 9 9 6 1 9 9 8 2 0 0 0 2 0 0 2 2 0 0 4 2 0 0 6 2 0 0 8 2 0 1 0 2 0 1 2 2 0 1 4 2 0 1 6 2 0 1 8 China EU USA Welt Anstieg der globalen Konnektivität 2 Quelle: Welt bank aus World Telecommunication/ICT Development Report and database Internet-Nutzer (% der Bevölkerung) Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 3 | 12. September 2019 EU-Monitor dieses Jahrzehnts sah es so aus, als erfülle sich dieses Versprechen: Staatliche Zensur und Versammlungsverbote wurden in autoritären Staaten über soziale Medien umgangen. Die dunkle Seite der Technologie . Nach der ersten Euphorie und der umfassen- den Einführung von Schlüsseltechnologien dauerte es einige Jahre, bis Indivi- duen, Bürgerrechtsgruppen, Regierungen und die Gesellschaft insgesamt all- mählich erkannten, welche Herausforderungen diese Technologien gleichzeitig mit sich bringen. Insbesondere die Skandale um Cambridge Analytica und Fa- cebook im Zusammenhang mit dem Brexit-Referendum sowie den US- Präsidentschaftswahlen im Jahr 2016 haben gezeigt, dass digitale Technologie auch in etablierten Demokratien eingesetzt werden kann, um Wähler bewusst zu manipulieren und den politischen Diskurs zu verzerren. Die technologischen Entwicklungssprünge des letzten Jahrzehnts haben sich so rasch vollzogen, dass sowohl politische Entscheidungsträger als auch Marktteil- nehmer die entsprechenden Implikationen erst im Rückblick vollständig erfassen können. Hierin ist zweifelsohne eine der größten Herausforderungen für Gesetz- gebung und Regulierung im Hinblick darauf zu sehen, wie mit den Risiken be- stimmter Technologien für demokratische Institutionen und Prozesse umzuge- hen ist. Die Anforderungen an jeden Einzelnen, die tägliche Informationsflut zu filtern und kritisch zu hinterfragen, sind deutlich gestiegen. Gleichzeitig haben sich durch die rasche Einbindung von Social Media-Plattformen in alle Lebensberei- che der Nutzer ganz neue Möglichkeiten der gezielten, personalisierten, auto- matisierten und häufig auch unbemerkten Einflussnahme ergeben. Gleichzeitig haben autoritäre Staaten rasch gelernt, wie sie Überwachungstechnologie, Mas- sendaten und künstliche Intelligenz zu ihrem Vorteil nutzen können – sei es, um die staatliche Kontrolle im Inland zu stärken, oder um demokratische Gesell- schaften im Ausland zu unterminieren. Eine gänzlich neue Herausforderung für die Demokratie. Für Demokratien, de- ren Zusammenhalt auf Teilhabe und Zustimmung ihrer mündigen Bürger beruht, stellt dies eine ganz neue Herausforderung dar. Wie sie damit umgehen, wird sich entscheidend darauf auswirken, wie sie im intensiver werdenden Wettbe- werb der politischen Systeme bestehen. Anhand der Erfahrungen der vergangenen Jahre und der stetig wachsenden Zahl von anekdotischen Belegen lassen sich einige Schlüsselbereiche ermitteln, in denen digitale Technologien die Demokratie potenziell aushöhlen und desta- bilisieren können: — Fehlinformationen, Echokammern und gezielte Manipulation — weitreichende Verschiebungen der finanziellen und politischen Einfluss- sphären in der Datenwirtschaft — Verlust der Privatsphäre und sinkende Sensibilität der Nutzer — persuasive Technologien und Abhängigkeit von sozialen Medien — Erosion von Bürgerrechten durch algorithmische Voreingenommenheit („algorithmic bias“) — Massenüberwachung und Stärkung von autoritären Strukturen — Auswirkungen von KI und Automatisierung auf Wettbewerbsfähigkeit und die Unterstützung der Demokratie durch ihre Bürger 45 38 10 4 3 Ja, definitiv Ja, teilweise Nein, nicht wirklich Nein, sicher nicht Weiß nicht Umfrage: „Fake News“ und Demokratie 3 EU28, % Umfrage: Ist nach Ihrer Meinung die Existenz von Nachrichten oder Information, welche die Realität ungenau darstellen oder sogar falsch sind, ein Problem für die Demokratie im Allgemeinen? (EU28, %) Quelle: Flash Eurobarometer 464 (April 2018) Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 4 | 12. September 2019 EU-Monitor Fehlinformationen, Echokammern und gezielte Manipulation Die Auswirkungen der digitalen Transformation der vergangenen beiden Jahr- zehnte auf die Politik werden vor allem in der Kommunikation und dem Aus- tausch von Informationen zwischen Einzelnen und der Gesellschaft insgesamt sichtbar. Seit dem Anbeginn der Menschheitsgeschichte sind Propaganda, Des- information und Manipulation Standardwerkzeuge der Politik. Die allumfassende Vernetzung, immer preiswertere (mobile) Computertechnik und die schiere Ver- fügbarkeit von Daten haben jedoch in den vergangenen Jahren eine bisher un- gekannte, koordinierte Verbreitung von Fehlinformationen und personalisierter Manipulation ermöglicht. In dieser Beziehung wurde eine neue Ebene erreicht. Inzwischen erfassen die politischen Entscheidungsträger und die Gesellschaf- ten allmählich einige der drängendsten Implikationen: — Massenhafte, koordinierte Desinformation — Mikrotargeting von Wählern — Polarisierung des öffentlichen Dialogs in demokratischen Gesellschaften — Hybride Kriegsführung und Misstrauen gegenüber demokratischen Instituti- onen und Regierungen — striktere staatliche Kontrolle des Informationsflusses und der öffentlichen Meinung in autoritären Gesellschaften Grundlegende Verschiebungen in der Medienlandschaft und Polarisierung der Gesellschaft. Die Disruption der traditionellen Kommunikationslandschaft, die zuvor von etablierten Medien dominiert wurde, durch digitale und multilaterale Kommunikation und Social Media-Plattformen stellt für demokratische Gesell- schaften eine beträchtliche Herausforderung dar. Im Prinzip kann das zusätzli- che Angebot an alternativen, multilateralen und weitgehend gratis verfügbaren Informationen und Nachrichten als Bereicherung der politischen Debatte und als Instrument angesehen werden, das Bürgern eine bessere Teilhabe ermöglicht, Korruption aufdeckt und Regierungen verantwortlich hält. Allerdings werden die auf diesen Plattformen verbreiteten Informationen häufig nicht sorgsam überprüft; dazu kommt die inhärente Tendenz der eingesetzten Algorithmen, die Nutzer in ihren bestehenden Meinungen zu bestärken. Dadurch können Fehlinformationen und Propaganda koordiniert verbreitet wer- den und es entstehen digitale Filterblasen oder Echokammern, welche wiede- rum die Gesellschaft polarisieren und den öffentlichen Dialog aushöhlen kön- nen. Vormarsch von „Gratis“-Online-Medien fördert sensationsheischende Darstel- lung. Da immer mehr Menschen weltweit ihre Informationen größtenteils über Online-Medien, Newsfeeds und Social Media-Plattformen beziehen, spielen diese inzwischen eine wichtige Rolle im politischen Prozess. Diese Veränderung des Nachrichtenkonsumverhaltens hat zu einem verstärkten Maß an Sensatio- nalismus in der Politik geführt. Begünstigt wird dies durch das Geschäftsmodell von Plattformen und Online-Journalismus, das tendenziell eher auf Emotionen als auf faktenbasierte Inhalte setzt. Die zunehmende politische Spaltung und der Aufschwung des Populismus in demokratischen Gesellschaften sowie die Fragmentierung der Parteienland- schaft in den vergangenen Jahren fallen mit dem Aufstieg der sozialen Medien 85 69 63 17 60 63 32 20 0 20 40 60 80 100 Online TV Print Social media 2013 2019 Japan 66 82 63 18 68 72 34 34 0 20 40 60 80 100 Online TV Print Social media 2013 2019 Deutschland 75 72 47 27 72 58 19 46 0 20 40 60 80 100 Online TV Print Social media 2013 2019 Online dominiert den Nachrichtenkonsum der Nutzer in den meisten Länden 4 Nachrichtenquelle, % USA 74 79 59 20 75 71 36 40 0 20 40 60 80 100 Online TV Print Social media 2013 2019 Großbritannien Quelle: Reuters Institute Digital News Report 2019 Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 5 | 12. September 2019 EU-Monitor und dem steigenden Vernetzungsgrad zusammen und können zumindest zum Teil auf diese Entwicklung zurückgeführt werden. 2 Neue Dimensionen von Cyberkonflikten und autoritärer Kontrolle. Aus geopoliti- scher Sicht hat die „hybride Kriegsführung“ durch neue und immer billigere Technologien an Bedeutung gewonnen. Autoritäre Regierungen, die demokrati- sche Staaten in Misskredit bringen und unterhöhlen sowie ausländische Wähler manipulieren wollen, haben über das offene Internet Zugang zur freien Kommu- nikation in demokratischen und liberalen Gesellschaften. Gleichzeitig schränken diese Regierungen den Zugang ihrer eigenen Bürger zu Informationen aus dem Ausland ein, indem sie das Internet im eigenen Land abschotten, Zensur aus- üben und gleichzeitig die öffentliche Meinung über Online-Medien und Plattfor- men kontrollieren und steuern. Nutzer und Bürger im In- und Ausland werden unter anderem durch die Verbrei- tung unzutreffender oder hochgradig irreführender Informationen durch soziale „Bots“ beeinflusst, d.h. Softwareanwendungen, die menschliches Verhalten über automatisch betriebene Social Media-Konten nachahmen, um die öffentliche Meinung zu beeinflussen. Der rasche Fortschritt der KI-Technologie ermöglicht zudem immer ausgefeiltere „Deep Fakes“, bei denen Audio- und Videoinhalte manipuliert oder gefälscht werden. So können Fehlinformationen und Propa- ganda verbreitetet werden, die weit über Chat-Kommentare oder Faked News- Artikel hinausgehen. Vertrauensverlust. Durch die anhaltende Verbreitung von Verschwörungstheo- rien und anderen unwahren bzw. verzerrten Informationen schwinden die Fähig- keit der Bürger, „objektive“ Wahrheiten oder Aussagen, auf die man sich einigen kann, zu erkennen. Dies kann zu einem generellen Misstrauen gegenüber allen Medien, zu Fatalismus und zu mangelndem Engagement in Teilen der Bevölke- rung führen, was wiederum den gesellschaftlichen Dialog ernsthaft in Mitleiden- schaft zieht und politische Gegensätze verschärft. 3 Vor allem angesichts neuer Entwicklungen und komplexer Themen wird dies zur Herausforderung, da die Menschen hier nicht auf eigene (kollektive) Erfahrun- gen zurückgreifen können. 4 Der Vertrauensverlust leistet autoritären Regimen Vorschub, die diejenigen demokratischen Gesellschaften destabilisieren wollen, welche den Anspruch eben dieser Regimes auf uneingeschränkte Macht infrage stellen. Gleichzeitig hilft der Vertrauensverlust diesen Regimen dabei, das libe- rale demokratische Modell ihrer eigenen Bevölkerung gegenüber als vermeint- lich dysfunktional, heuchlerisch und dekadent darzustellen. Wie das Ausland über soziale Medien Einfluss nehmen und Wähler manipulie- ren kann, hat sich bisher insbesondere 2016 bei den Präsidentschaftswahlen in den USA und beim Brexit-Referendum in Großbritannien gezeigt. Russland und die US-Präsidentschaftswahlen im Jahr 2016. In Russland kam der in diesem Jahr veröffentlichte „Mueller-Report“ zu dem Schluss, dass „die russische Regierung umfassend und systematisch in die Präsidentschaftswah- len im Jahr 2016 eingegriffen“ habe. Dem Bericht zufolge erreichte die in Russ- land basierte „Internet Research Agency“ Millionen von US-amerikanischen Social Media-Nutzern über Social Media-Konten auf Facebook, Twitter oder Ins- tagram, die angeblich von US-Aktivisten betrieben wurden. Die Social Media- Kampagne habe das Ziel gehabt, „in den USA eine politische Spaltung zu pro- vozieren und zu verstärken“, und habe „den Kandidaten Trump [im Wahlkampf] begünstigt“. Die zweite große Kampagne war ein Hackerangriff des russischen 2 Europäisches Parlament (2019). Polarisation and the use of technology in political campaigns and communication. 3 Deibert, R. (2019). The Road to Digital Unfreedom: Three Painful Truths about Social Medial. Journal of Democracy, Januar 2019. 4 Schneider, Stefan (2017). Vox populi, vox dei oder etwa nicht? Deutsche Bank Research. Deutschland-Monitor. 0 20 40 60 80 100 Alle Länder US JP DE GB generelle Nachrichten Nachrichten, die ich nutze Nachrichten über Suchanfrage Nachrichten in sozialen Medien Vertrauen in Nachrichten, % der Nutzer Geringes Vertrauen in Nachrichten: Ein globales Phänomen 5 Quelle: Reuters Institute Digital News Report 2019 Alle Länder: 24 aus Europa, 7 aus Asien, 6 aus Amerika, 1 aus Afrika Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 6 | 12. September 2019 EU-Monitor Geheimdienstes, um „gehackte Unterlagen zu veröffentlichen, die der Clinton- Wahlkampagne Schaden zufügen konnten“. 5 Sonderermittler Mueller warnte mit Blick auf die Wahlen 2020, dass das Risiko einer versuchten Einflussnahme durch Russland weiterhin erhöht sei. 6 Der Skandal um Facebook und Cambridge Analytica . Im Rahmen eines Ver- gleichs mit der Federal Trade Commission wurde Facebook im Juli eine Straf- zahlung in Rekordhöhe von USD 5 Mrd. für Verstöße gegen die Privatsphäre auferlegt, worunter u.a. der Cambridge Analytica-Skandal im Jahr 2016 fällt. Au- ßerdem musste das Unternehmen neue Datenschutzvorgaben akzeptieren. Nach Auffassung von Kritikern gehen diese Maßnahmen nicht weit genug. Sie bemängeln außerdem, es sei weiterhin unklar, ab wann Facebook gewusst habe, dass Cambridge Analytica die Daten von Millionen Facebook-Nutzern für psychometrisches Profiling und Mikrotargeting im Vorfeld der US-Präsident- schaftswahlen 2016 missbraucht habe. 7 Kürzlich bestätigte ein ehemaliger Mit- arbeiter von Cambridge Analytica, dass das Datenanalyseunternehmen außer- dem vor dem Brexit-Referendum im Jahr 2016 für Leave.EU und die UKIP- Partei tätig gewesen sei. Beide angeblichen Auftraggeber dementierten dies wiederholt. 8 Missbrauch von sozialen Medien zu politischen Zwecken ist ein globales Phäno- men. Die Skandale des Jahres 2016 sind jedoch kein Einzelfall. Der Einfluss von Social Media auf Wahlen und den politischen Diskurs ist zu einem globalen Phänomen geworden. Als jüngstes Beispiel im Zusammenhang mit den Protes- ten in Hongkong haben Twitter und Facebook chinesische Konten entfernt, um „das zu blockieren, was sie als staatlich unterstützte chinesische Fehlinformati- onskampagne beschrieben“, so die BCC. 9 Die globale Dimension wurde bereits früher durch den Missbrauch von Facebook und WhatsApp zur Verbreitung von Desinformation, Hassreden und Propaganda in Indien und Brasilien, zwei der größten Demokratien der Welt, sichtbar. 10 Außerdem ist deutlich geworden, dass vor allem die politischen Ränder versuchen, die Wähler und die Öffentlich- keit über Trolle, Bots und gezielte Manipulation zu beeinflussen. 11 Auch in Europa ist dies zu beobachten. Auch in Europa werden inzwischen re- gelmäßig „Junk News“ und Traffic-Manipulationen eingesetzt, um die Wähler und die öffentliche Meinung zu beeinflussen. Laut einem von der Universität Oxford durchgeführten Forschungsprojekt war dies z.B. bei nationalen Wahlen in Deutschland, Frankreich und Schweden sowie beim Katalonien-Referendum in Spanien und bei den Gelbwestenprotesten in Frankreich der Fall. 12 Politische Entscheidungsträger reagieren auf die Herausforderung. Vor den Wahlen zum Europaparlament im Mai stellte die EU-Kommission einen Aktions- plan zum Umgang mit Desinformation auf, der u.a. eine Vereinbarung über ei- nen „EU-Verhaltenskodex zur Bekämpfung von Desinformation“ mit wichtigen sozialen Netzwerken beinhaltete. 13 Facebook richtete eine „Kommandozentrale“ ein, um zu verhindern, dass über seine Plattform Einfluss auf die Europawahlen genommen werde. Zwar kam es bei den Europawahlen anscheinend nicht im selben epidemischen Ausmaß zu Falschinformationen und Propaganda wie in einigen anderen Regionen, aber es gibt immer noch hinreichend Belege dafür, 5 US Department of Justice (2019). Report on the investigation into Russian interference in the 2016 presidential election. 6 Financial Times (25. Juli 2019). 7 The Hill (4. August 2019). 8 Politico (30. Juli 2019) und The Guardian (30. Juli 2019). 9 BBC (6. April 2019) und BBC (24. Oktober 2018). 10 BBC (20. August 2019). 11 Europäisches Parlament (2019). Polarisation and the use of technology in political campaigns and communication. 12 Oxford Internet Institute (2019). Junk news during the EU parliamentary elections: Lessons from a seven-language study of Twitter and Facebook. 13 EU-Kommission (2019). Tackling online disinformation. 0 20 40 60 80 100 Schwedisch Spanisch Polnisch Italienisch Deutsch Französisch Englisch Gesamt Professionelle Nachrichtenquellen Professionelle politische Quellen Junk News' Andere politische Nachrichten & Informationen Andere Social Media Junk-Nachrichten bei den Wahlen zum EU-Parlament 2019 6 Arten von politischen Nachrichten/Information über Twitter geteilt, % Quelle: Oxford Internet Institute, Junk News During the EU Parliamentary Elections (2019) 2,4 1,9 1,6 1,3 1,0 1,0 0,8 Facebook YouTube (Google) WhatsApp (Facebook) Messenger (Facebook) WeChat (Tencent) Instagram (Facebook) QQ (Tencent) Globale Reichweite von Social Media 7 Monatlich aktive Nutzer in Milliarden, Ende 2018 / Q1 2019 Quellen: Firmenberichte und -webseiten, DataReportal von Hootsuite und We are social, Deutsche Bank Research Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 7 | 12. September 2019 EU-Monitor dass im Internet bewusst irreführende oder täuschende Informationen, Bots und Fake-Accounts eingesetzt wurden. 14 Einem veröffentlichten Bericht der EU- Kommission zufolge gibt es Belege für „fortgesetzte und aufrechterhaltene Des- informationsaktivitäten russischen Ursprungs, die auf eine Reduzierung der Wahlbeteiligung und Beeinflussung der Wählerpräferenzen abzielten“. 15 Dies zeigt, dass der Kampf gegen Desinformation, Hasskommentare und auto- matisierte Propaganda in Demokratien nach wie vor eine Herausforderung dar- stellt. Dabei stellt sich vor allem die Frage, wie eine offene Gesellschaft mit die- sem Problem umgehen kann, ohne Meinungsäußerungen zu zensieren oder das Grundrecht auf Redefreiheit zu verletzen. 16 Weitreichende Verschiebungen der Einflusssphären in der Daten- wirtschaft Die oben beschriebene Disruption der traditionellen Kommunikations- und Infor- mationswege ist auf den Aufstieg eines neuen und einflussreichen Geschäfts- modells zurückzuführen, das mit einander zum Teil überschneidenden, wenn auch nicht synonymen Begriffen beschrieben wird, nämlich als „Plattform“-, „Daten“-, „Aufmerksamkeits“- oder „Überwachungs“-Wirtschaft Technologieunternehmen, die ihren Nutzern (scheinbar kostenlose) Dienstleis- tungen wie z.B. Online-Suchen, Kommunikationsanwendungen, Spiele oder sonstige Unterhaltung anbieten, fungieren gleichsam als Torhüter für Werbetrei- bende. Diesen verschaffen sie nämlich Zugang zur Aufmerksamkeit der Nutzer als auch deren Daten, wodurch Werbeplatzierungen optimiert werden können. Nicht zuletzt der beachtliche Anstieg des Marktwerts von Unternehmen wie Google und Facebook (die zusammen 60% des digitalen Werbemarkts in den USA beherrschen) hat gezeigt, dass der Zugang zu den Nutzern und den Nut- zerdaten außerordentlich profitabel vermarktet werden kann. 17 Dass große Technologieunternehmen exklusiv über riesige Datenmengen verfü- gen, verschafft ihnen nicht nur in ihren jeweiligen Marktsegmenten enorme Vor- teile, sondern auch bei der Entwicklung und beim Trainieren von KI-Systemen. So können sie ihre Marktposition in etablierten Märkten weiter ausbauen und verfügen gleichzeitig über einen Vorsprung bei der Erschließung neuer Märkte. Das Zeitalter des „Überwachungskapitalismus“. Die Harvard-Ökonomin Shoshana Zuboff spricht vom Beginn einer neuen Ära, nämlich des Zeitalters des „Überwachungskapitalismus“. Ihr zufolge führen Skalen- und Verbund- effekte in der Plattformwirtschaft zu einer rasch zunehmenden Konzentration von Daten, Wissen, finanzieller Macht und Kontrolle über Kommunikationska- näle in den Händen einer kleinen technologischen Elite. 18 Dadurch entsteht, so Zuboff, eine sich rasch verstärkende gesellschaftliche Asymmetrie beim wirt- schaftlichen und politischen Einfluss. 19 Ihre Einschätzung wird vom israelischen Historiker Yuval Noah Harari geteilt. Harari sieht einen engen Zusammenhang zwischen den zunehmenden tribalistischen Tendenzen in der Politik sowie dem Aufschwung autoritärer und populistischer Strömungen in demokratischen Ge- 14 Politico (23. Mai 2019). 15 Deutsche Welle (14. Juni 2019). 16 EU-Kommission (2019). Countering illegal hate speech online – EU Code of Conduct ensures swift response. 17 Vox (20. Februar 2019). 18 Zuboff, Shoshana. (2019). The age of surveillance capitalism. 19 Zuboff, Shoshana. (2016). The secrets of surveillance capitalism. Frankfurter Allgemeine Zeitung. 5. März 2016. 289 347 400 455 490 524 817 887 933 1.039 0 1000 2000 Exxon Mobil (US) John. & John. (US) Tencent (CN) Alibaba (CN) Berkshire H. (US) Facebook (US) Alphabet (US) Amazon.com (US) Apple (US) Microsoft (US) Die 10 weltweit größten börsennotierten Unternehmen – 7 Tech-Riesen aus den USA und China 8 Marktkapitalisierung, in Mrd. USD Quelle: Bloomberg Finance LP (Abruf am 19. August 2019) Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 8 | 12. September 2019 EU-Monitor sellschaften und den technologischen Entwicklungen unserer Zeit. Er befürch- tet, der Einfluss der Öffentlichkeit auf den politischen Prozess könnte unbemerkt schwinden, sodass vermeintlich freie Entscheidungen und Wahlen irgendwann in der Zukunft nur noch als demokratische Fassade dienen. 20 Insider aus dem Technologiesektor warnen vor ihren eigenen Schöpfungen. Warnungen vor der Technologie kommen jedoch nicht nur aus der Wissen- schaft, von Maschinenstürmern oder Kapitalismuskritikern. Einige der unver- blümtesten Kritiker haben selbst entscheidend zu den technologischen Entwick- lungen der vergangenen Jahre beigetragen. Laut Tristan Harris, der früher für Design-Ethik bei Google verantwortlich war, werden die Entscheidungen und Auffassungen von Milliarden Menschen zunehmend von einer Handvoll Unter- nehmen beeinflusst, was weitreichende Folgen für den demokratischen Diskurs hat. 21 James Williams, ein ehemaliger Produktstratege bei Google, stellt die Frage, ob die Demokratie das Zeitalter der Technologie überhaupt überleben kann. Er spricht von einer „Aufmerksamkeitsökonomie“, in der Algorithmen um die Zeit der Nutzer konkurrieren und deshalb sensationsheischende, emotional besetzte Inhalte Vorrang gegenüber rationalen und faktenbasierten Inhalten ein- räumen. Nach Auffassung von Williams gilt dies auch zunehmend für die Poli- tik. 22 Forderungen nach einer verstärkten Kontrolle der großen Technologiekonzerne zum Schutz der Demokratie. Einige Kommentatoren sehen den Cambridge Ana- lytica-Skandal als Warnung, dass die Technologie, deren Eigentümer einige der reichsten Mitglieder der Gesellschaft sind, genutzt werden kann, um die Bevöl- kerung systematisch zu manipulieren und so eine „gelenkte“ Demokratie zu etablieren, die vor allem den eng umrissenen Interessen einer „globalen Pluto- kratie“ dient. 23 Manche Politiker schlagen bereits eine Zerschlagung der großen Technologiekonzerne vor, um deren Zugewinn an wirtschaftlichen und politi- schen Einfluss abzumildern. Unter anderem erhebt die US-Senatorin und poten- zielle Präsidentschaftskandidatin Elizabeth Warren (Demokraten) diese Forde- rung. 24 Andere gehen nicht ganz so weit und fordern lediglich eine striktere Re- gulierung und Beaufsichtigung der Datenwirtschaft. Auch die Regierung Trump hat die Technologieunternehmen genauer in den Blick genommen; so hat das US-Justizministerium eine Untersuchung wegen möglicher wettbewerbsfeindli- cher Praktiken eingeleitet. 25 Dass intensiver über den Umgang mit dieser He- rausforderung diskutiert wird, zeigt bereits, welchen immensen gesellschaftli- chen und politischen Einfluss Digitalunternehmen in den vergangenen Jahren bekommen haben. Verlust der Privatsphäre und sinkende Sensibilität der Nutzer Die Datenwirtschaft hat sich praktisch rund um den Globus verbreitet; aufgrund des preiswerten Zugangs zu Smartphones und freier Inhalte ist das Online-Ver- halten der Nutzer weitgehend von ihrem finanziellen, ethnischen, religiösen und politischen Hintergrund abgekoppelt. Gleichzeitig haben sich Nutzer grenzüber- schreitend und über politische Systeme hinweg rasch daran gewöhnt, für be- queme Dienste, die Möglichkeit zum Austausch mit anderen und soziale Bestäti- gung mit ihren eigenen, häufig sehr persönlichen Daten zu bezahlen. 20 Harari, Yuval Noah (2018). Why Technology Favors Tyranny. The Atlantic. Oktober 2018. 21 Harris, Tristan (2017). How a handful of tech companies control billions of minds every day. TED2017. 22 The Guardian (2017). 'Our minds can be hijacked': the tech insiders who fear a smartphone dys- topia. 6. Oktober 2017 23 Cadwalladr, C. (7. Mai 2017). The Great British Brexit robbery: how our democracy was high- jacked. The Guardian. 24 Los Angeles Times (21. März 2019). 25 Reuters, 23. Juli 2019. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 9 | 12. September 2019 EU-Monitor Die Nutzer haben sich rasch daran gewöhnt, praktisch rund um die Uhr unter Beobachtung zu stehen, ... wenn auch – zumindest in demokratischen Gesell- schaften – nicht durch Orwells „Großen Bruder“; sondern durch unser Allzweck- computer in der Westentasche, ergänzt durch andere High Tech-Produkte wie smarte Fernsehgeräte, Smartwatches, Fitness Tracker oder virtuelle Assisten- ten. Cookies, Tracking Tools und Logins in soziale Medien ermöglichen es, Da- ten zum Nutzerverhalten plattform-, seiten- und geräteübergreifend zu synchro- nisieren. Diese geben ständig Aufschluss über unseren Aufenthaltsort, unser Verhalten, unsere Einstellungen, unsere Stimmung, unsere Vorlieben und unser Sozialleben. Anhand dieser Daten können Unternehmen aus der Datenwirt- schaft akkurate Persönlichkeitsprofile erstellen und das Verhalten der Nutzer vorhersagen – und dadurch gezielt Einfluss ausüben („Mikrotargeting“). Privatsphäre versus Gratis-Dienstleistungen. Zahlreiche Nutzer sind in Bezug auf die Nutzung ihrer persönlichen Daten durchaus besorgt. Einer US-Umfrage zufolge scheint eine Mehrheit jedoch nach wie vor „Gratis“-Leistungen einem besseren Datenschutz vorzuziehen. 26 Dies hat sich auch im Nachgang des Cambridge Analytica-Skandals gezeigt: Die meisten Nutzer haben ihr Verhalten in den sozialen Medien nicht wesentlich bzw. nicht dauerhaft geändert. 27 Im Prinzip wäre der Austausch von persönlichen Daten gegen „Gratis“-Leistun- gen als persönliche Entscheidung der Nutzer in einem freien Markt anzusehen, sofern sie über die entsprechenden Bedingungen im Bilde sind. Angesichts eini- ger Faktoren stellt sich allerdings die Frage, inwieweit die Nutzer wirklich freiwil- lig ihre Zustimmung erteilen. Zahlreiche Dienste und Geräte schränken die Wahlfreiheit der Nutzer in Bezug auf die Kontrolle ihrer eigenen Daten und den Schutz ihrer Privatsphäre merklich ein. Wenn man nicht digital abstinent leben will, ist es praktisch unmöglich, eine regelmäßige Verfolgung im Internet und eine Sammlung persönlicher Daten zu vermeiden. Rechtliche Hinweise und Nut- zungsbedingungen werden häufig absichtlich vage, breit gefächert und ausführ- lich gefasst, was die Nutzer davon abhält, sie im Detail zu prüfen. 28 Deshalb ist den Nutzern häufig nicht klar, in welchem Umfang sie Dienstanbietern gestatten, auf ihre Daten zuzugreifen, diese zu verarbeiten und weiterzugeben. Auch Nut- zer, die Wert auf ihre Privatsphäre legen, sehen zudem häufig keine Alternative zu wichtigen sozialen Netzwerken und Messaging-Diensten, wenn sie mit ihrer Familie, ihren Freunden und Bekannten in Kontakt bleiben wollen, und nehmen daher den entsprechenden Verlust an Privatsphäre widerstrebend in Kauf. Europa ist beim Schutz der Privatsphäre ein Vorreiter. In Europa wurde im Jahr 2018 die Datenschutz-Grundverordnung (DSGVO) in Kraft gesetzt, um den Nut- zern wieder mehr Kontrolle über ihre Daten zu verschaffen. Sie ist auf viele die- ser Probleme eingegangen. 29 Aber um dieses Ziel wirklich erreichen zu können, muss die DSGVO noch besser mit anderen EU-Vorschriften zum Schutz der Pri- vatsphäre verknüpft werden. Außerdem kann es nach wie vor mühselig und zeitaufwändig für die Nutzer sein, ihre Rechte durchzusetzen. Die DSGVO ist je- doch kein zahnloser Tiger. Möglicherweise könnten z.B. Facebook aufgrund der Verordnung Strafzahlungen in Milliardenhöhe drohen. 30 Privatsphäre als öffentliches Gut. In der öffentlichen Diskussion geht es beim Thema Privatsphäre vor allem um Nutzerrechte und den Schutz persönlicher Daten. Unter politischen Gesichtspunkten ist das Thema jedoch viel umfassen- der. Durch die Konzentration von Nutzerdaten in den Händen einiger großer Un- ternehmen erhalten diese beispiellosen Zugang zu den Gedanken, Meinungen und Emotionen der Bürger. Auf der Grundlage dieser Daten können die Nutzer 26 MarketWatch (19. Januar 2019). 27 Facebook. 28 Business Insider (15. November 2017) 29 Körner, Kevin (2018). DSGV – Treiber oder Hemmschuh für Europas Datenwirtschaft? Deutsche Bank Research. Aktueller Kommentar. 30 Wall Street Journal (12. August 2019). 0 0,5 1 1,5 2 2,5 3 16 17 18 19 Stetige Zunahme der Facebook - Nutzer 9 Facebook monatlich aktive Benutzer (MAUs), Mrd. Quelle: Facebook 16 46 31 6 1 sehr besorgt ziemlich besorgt nicht sehr besorgt überhaupt nicht besorgt Weiß nicht Mehr als 60% der Europäer machen sich um ihre Online-Daten Sorgen 10 Quelle: Special Eurobarometer 487a (Juni 2019) EU28, % Umfrage: „Wie besorgt sind Sie darüber, dass Sie nicht die volle Kontrolle über die Informationen haben, die Sie online zur Verfügung stellen?“ Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 10 | 12. September 2019 EU-Monitor zum Gegenstand genau auf sie zugeschnittener Versuche der Einflussnahme werden, ohne dass ihnen dies bewusst wäre oder dass sie dem zugestimmt hät- ten. Sowohl in demokratischen als auch in autoritären Gesellschaften können diese Kenntnisse über und der Einfluss auf die Nutzer nicht nur zu wirtschaftli- chen, sondern auch zu politischen Zwecken genutzt werden. Damit geht es beim Schutz der Privatsphäre und dem Eigentum an Daten nicht mehr nur um individuelle Rechte und Entscheidungen, sondern auch um ein öffentliches Gut. Schwindende Sensibilisierung. Außerdem besteht das ernstzunehmende Risiko, dass die Sensibilität der Nutzer in Bezug auf Verstöße gegen den Datenschutz und unerlaubtes Eindringen in die Privatsphäre schwindet oder dass sie (in den Worten von Shoshana Zuboff) „psychisch abgestumpft“ werden. 31 Möglicher- weise gewöhnen sich die Nutzer an den Eindruck, dass Datenmissbrauch und Verstöße gegen den Datenschutz unvermeidlich sind und dass es zu den Vor- rechten der entsprechenden Unternehmen gehört, umfassend Daten zu sam- meln. Oder die Nutzer gelangen zu dem Schluss, dass der Schutz der Pri- vatsphäre für sie zu kostspielig ist. Da sie kurzfristig eine Präferenz für „Gratis“- Leistungen hegen, sehen sie möglicherweise die damit einhergehenden lang- fristigen Kosten nicht. Und wenn sie sich daran gewöhnen, dass private Unter- nehmen ihre Daten horten und analysieren, verringern sich vielleicht auch ihre Bedenken, wenn Regierungen und Behörden diesem Beispiel folgen. In autoritären Ländern haben die Nutzer vielleicht keine große Wahl … und möglicherweise trifft dies auch auf Demokratien zu. Insbesondere in demokrati- schen Staaten mit schwach ausgeprägten Kontrollmechanismen und mangel- hafter Gewaltenteilung könnte dies zu einem ernsthaften Problem werden: So- wohl gewählte Regierungen als auch politische Gruppierungen insgesamt könn- ten in Versuchung geraten, diese Daten zu nutzen, um ihre Macht zu sichern, die Wähler zu manipulieren und Widerspruch und Opposition zu unterdrücken. Persuasive Technologien und Abhängigkeit von sozialen Medien Bisher sind wir in dieser Studie davon ausgegangen, dass das Online-Verhalten der Nutzer und die Preisgabe ihrer Daten insgesamt auf freiwilligen Entschei- dungen beruhen, auch wenn diese nicht unbedingt auf fundierter Basis getroffen werden. Es gibt jedoch einige Anzeichen dafür, dass zumindest manche Nutzer im Umgang mit ihren Smartphones und den darauf vorhandenen sozialen Medi- enplattformen ein zwanghaftes und spielsuchtähnliches Verhalten entwickeln. 32 Die Forschung zu diesem Thema steckt noch in den Kinderschuhen, kon- zentriert sich häufig auf Jugendliche und hat bislang keine eindeutigen Ergeb- nisse erzielt. Einer Studie von Ofcom zufolge schauen die Briten tagsüber im Durchschnitt alle 12 Minuten auf ihr Handy. 34% fühlen sich ohne Internetzugang „abge- schnitten“, 29% „verloren“ und 17% finden eine solche Situation „stressreich“. 33 Andere Studien haben erste Zusammenhänge zwischen der „Nutzung von Smartphones und gesteigerter Ängstlichkeit und Depression, Schlafstörungen und einem gestiegenen Risiko von Verletzungen und Todesfällen bei Autounfäl- len“ gezeigt, wie Trevor Haynes von der Neurobiologie-Abteilung der Harvard Medical School schreibt. 34 Programmierte Abhängigkeit? Falls soziale Medien und Smartphone-Apps tat- sächlich Abhängigkeiten auslösen, wäre dieses „Suchtpotenzial“ insofern noch brisanter, als es möglicherweise keine unabsichtliche Nebenwirkung ist. Nir Eyal, ehemaliger Lektor in Stanford und Behavioural Design-Spezialist aus dem 31 Zuboff, Shoshana. (2019). The age of surveillance capitalism. 32 Forbes (16. August 2019). 33 Ofcom (2018). Communications market report. 34 Haynes, Trevor (2018). Dopamine, smartphones & you: A battle for your time. 37 47 13 3 Lese sie überhaupt nicht Lese sie teilweise Lese sie komplett Weiß nicht Quelle: Special Eurobarometer 487a (June 2019) Aber nur 13% lesen die komplette Daten- schutzerklärung 11 Umfrage: „Wenn Sie über Datenschutzerklärungen im Internet nachdenken, welcher der folgenden Sätze beschreibt am besten, was Sie normalerweise tun?“ EU28, % Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 11 | 12. September 2019 EU-Monitor Silicon Valley, schreibt: „Die Produkte und Dienstleistungen, die wir gewohn- heitsmäßig nutzen, verändern unser Alltagsverhalten – genauso wie ihre Schöp- fer es beabsichtigt haben“. 35 Unternehmen investieren hohe Summen in For- schung und in Mitarbeiter, um Apps so zu gestalten, dass sie die Aufmerksam- keit der Nutzer maximieren und möglichst häufig verwendet werden. Ähnlich wie bei Spielautomaten wurden kleine Details wie z.B. die Farbe und die Verzöge- rung des Benachrichtigungssymbols von Facebook akribisch programmiert. 36 Dopamingetriebene Feedbackschleifen sozialer Validierung. Dabei stützen sich die Unternehmen auf psychologische und neurochemische Erkenntnisse und nutzen gezielt unser angeborenes Bedürfnis nach sozialer Interaktion und Re- ziprozität. Inzwischen weiß man, dass positive soziale Interaktionen zu einem kräftigen Dopaminausstoß im menschlichen Gehirn führen können. 37 Soziale Netzwerke und andere Apps können dies nutzen, um die Wünsche und das Verhalten der Nutzer so zu modifizieren, dass diese ihre Interaktionshäufigkeit steigern. Laut Sean Parker, dem Gründungspräsident von Facebook, will sich Facebook mit Hilfe einer „Feedbackschleife sozialer Validierung“ die maximale „bewusste Aufmerksamkeit“ der Nutzer sichern. Diese Feedbackschleife wurde so entwickelt, dass sie eine „Schwachstelle der menschlichen Psychologie“ nutzt, indem sie den Nutzern „ab und an einen kleinen Dopaminstoß zukom- men“ lässt. 38 Laut Eyal können Unternehmen, welche „feste Gewohnheiten“ ihrer Nutzer prä- gen, ihre Produkte mit „internen Auslösern“ verknüpfen. Er bezeichnet dies als „hook“-Modell (im deutschen „Haken“, aber auch „süchtig“). Nach diesem Modell verwenden die Unternehmen die „alltäglichen Routinen und Emotionen“ der Nutzer, um durch „variable Belohnungen“ die Ausschüttung von Dopamin zu er- höhen. Dabei unterdrücken sie denjenigen Teil des Gehirns, in dem „Verstand und Urteilskraft“ angesiedelt sind, zugunsten desjenigen, der für „Wünsche und Begierden“ zuständig ist. Solche „gewohnheitsprägenden Produkte“ binden die Nutzer an die jeweiligen Dienstleistungen, verstärken den Auslöser für die nächste Interaktion und führen so zu beträchtlichen Wettbewerbsvorteilen. 39 Die Wissenschaft der persuasiven Technologie. Diese Erkenntnisse werden als „Persuasive Technology“ oder „Captology“ an der Stanford University gelehrt, dem wissenschaftlichen Herz der Technologieinfrastruktur des Silicon Valley. 40 Das allgemeine psychologische Rahmenwerk wird von zahlreichen Internetsei- ten, Netzwerken und Apps angewendet. Ergänzt um die Daten derer Nutzer können diese so auf eine individuell zugeschnittene Weise angesprochen wer- den. So werden die Nutzer etwa animiert, Produkte und Dienstleistungen zu kaufen, Inhalte zu teilen oder zu konsumieren oder ihr Verhalten zu ändern (z.B. „Nudging“ durch Gesundheits-Apps). Vor allem aber werden sie dazu veran- lasst, mehr Zeit mit der App zu verbringen. Vor dem Hintergrund des Cambridge Analytica-Facebook-Skandals können diese Instrumente aber auch dazu ver- wendet werden, über menschliche Befürchtungen und Vorurteile die Meinungen und das Wahlverhalten der Nutzer zu beeinflussen. Inwieweit steht dies mit der Frage nach den Auswirkungen der Technologie auf die Demokratie in Zusammenhang? Wenn die Nutzung von sozialen Medien po- tenziell abhängig machen kann, diese Abhängigkeiten absichtlich hervorgerufen werden und das Phänomen nicht nur eine marginale Zahl von Nutzern betrifft, könnte dies beträchtliche Folgen für die Demokratie haben. Dies könnte auch 35 Eyal, Nir (2019). Hooked: How to build habit-forming products. 36 The Guardian (6. Oktober 2017). 37 Brent, Lauren J.N. et al. (2014). The neuroethology of friendship. 38 Axios (2017). Sean Parker unloads on Facebook: “God only knows what it's doing to our chil- dren's brains”. 39 Eyal, Nir (2019). Hooked: How to build habit-forming products. 40 Fogg, B.J (2008). Mass Interpersonal Persuasion: An Early View of a New Phenomenon. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 12 | 12. September 2019 EU-Monitor bedeuten, dass die Nutzer nicht in der Lage sind, ihr Social Media-Verhalten zu ändern, selbst wenn sie ein zunehmendes Bewusstsein und Missmut gegen- über Verletzungen ihrer Privatsphäre oder Manipulationsversuche entwickelt ha- ben. Auf der gesamtgesellschaftlichen Ebene könnten demokratische Prozesse und der öffentliche Dialog dadurch übermäßig dem Einfluss begrenzter privater Interessen ausgeliefert sein. Chamath Palihapitiya, ehemals hochrangiger Ma- nager bei Facebook, sieht gar eine Zerstörung der „Funktionsweisen der Gesell- schaft“ durch die „von uns geschaffenen kurzfristigen, dopamingetriebenen Feedbackschleifen“. 41 Technologieunternehmen fällt es schwer, darauf zu reagieren. Angesichts der zunehmenden Kritik und des Drucks von besorgten Eltern und Bürgerrechts- gruppen haben die Technologieunternehmen begonnen, sich mit dem Problem der übermäßigen Nutzung von Smartphones zu befassen. Apple z.B. bietet „Screen Time“ an. Gleichzeitig schränkt Apple nach Berichten die Verfügbarkeit von externen Apps zur Kontrolle der am Bildschirm verbrachten Zeit bzw. zur Kontrolle durch Eltern in seinem App Store ein. 42 Dies könnte illustrieren, wie schwer es den Technologieunternehmen fällt, ihr Geschäftsmodell anzupassen. Auch die politischen Entscheidungsträger reagie- ren inzwischen auf das Thema. In den USA wurde vor kurzem ein „Social Media Addiction Reduction Technology Act“ in den Kongress eingebracht, der Social Media-Unternehmen dazu zwingen soll, „Maßnahmen zur Abmilderung des Risi- kos von Internetabhängigkeit und psychologischer Ausnutzung zu ergreifen“. 43 Erosion von Bürgerrechten durch algorithmische Voreingenom- menheit („algorithmic bias“) Wir sind von prädiktiven Algorithmen umgeben , von der Autoplay-Funktion auf YouTube über Filmempfehlungen auf Netflix bis hin zu der Werbung, die bei Google-Suchanfragen gezeigt wird. Prädiktive Algorithmen werden häufig zur Entscheidungsunterstützung bei der Kreditvergabe, über Universitätszulassun- gen oder bei der Stellenvergabe, aber auch in der Polizeiarbeit, an Flughäfen, bei Grenzkontrollen oder bei juristischen Entscheidungen eingesetzt. Dabei wird davon ausgegangen, dass diese auf statistischer Datenanalyse basierenden Tools effizient arbeiten und frei von menschlichen Vorurteilen sind. Tatsächlich jedoch können Voreingenommenheiten oder diskriminierende Faktoren auf ver- schiedene Art und Weise in die Modelle der Algorithmen und damit auch die Er- gebnisse eingehen. Prädiktive Analyse können menschliche Voreingenommenheiten replizieren oder sogar verstärken. Wenn sich z.B. auf Algorithmen basierende Einstellungs- Tools auf historische Bewerbungsschreiben stützen, kann dies zur Bevorzugung eines Geschlechts führen; dies musste beispielsweise Amazon feststellen. Ebenso können Algorithmen, die US-Richter zur Einschätzung von Risiken ver- wenden und anhand derer sie Grenzwerte für Kautionen oder Strafen festlegen, Voreingenommenheiten fortschreiben, soweit sich nämlich in den in diese Algo- rithmen eingehenden Datensätzen historische Ungleichbehandlungen wie z.B. Rassendiskriminierung widerspiegeln. 44 Auch bei prädiktiver Polizeiarbeit, z.B. der National Data Analytics Solution (NDAS) in Großbritannien, kann der Ein- satz von Algorithmen, die auf Polizeidaten über Personenkontrollen und -durch- suchungen beruhen, zur Fortschreibung historischer ethnischer Vorurteile bei 41 Washington Post (12. Dezember 2017). 42 New York Times (27. April 2019). 43 Hawley, J (2019). Social Media Addiction Reduction Technology Act. 44 Lee, Nicol Turner et al. (2019). Algorithmic bias detection and mitigation. Brookings. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 13 | 12. September 2019 EU-Monitor Polizeieinsätzen führen. 45 Und wenn die Datensätze nicht hinreichend diversifi- ziert sind, werden Minderheiten u.U. diskriminiert, z.B. bei Gesichtserkennungs- systemen an US-Flughäfen. 46 Algorithmen als „Black Box“. Darüber hinaus können auf maschinellem Lernen basierende KI-Systeme das „Black Box“-Problem mit sich bringen: Selbst die Entwickler können unter Umständen nicht ohne Weiteres nachvollziehen, wie ein Algorithmus zu seinen Ergebnissen kommt. Daraus entsteht ein weiteres Voreingenommenheitsrisiko, da potenziell diskriminierende Kriterien nicht so einfach zu erkennen sind. Angesichts der schieren Verfügbarkeit der Daten und der raschen Fortschritte bei KI-Systemen wird eine prädiktive Analyse zunehmend eingesetzt werden – und zwar nicht nur von Unternehmen, Banken und Personalchefs, sondern auch von staatlichen Institutionen und Behörden. Wenn die damit verbundenen Män- gel und Risiken nicht angemessen behoben werden, können technologisch be- gründete Verstärkung von Voreingenommenheiten und Vorurteilen sowie statis- tische Fehler und Irrtümer dazu führen, dass sich historische Ungleichbehand- lungen verfestigen. Dies wiederum könnte den Schutz vor Diskriminierung aus- höhlen und gegen den in den Verfassungen moderner Demokratien festge- schriebenen Gleichheitsgrundsatz verstoßen. 47 Auswirkungen von KI und Automatisierung auf Wettbewerbsfähig- keit und die Unterstützung für die Demokratie Die Demokratie ist darauf angewiesen, dass eine Mehrheit der Bevölkerung sie unterstützt. Dies gilt für das politische System an sich, beinhaltet aber auch eine informierte Teilhabe der Bürger und Wähler. Die Unterstützung der Demokratie durch ihre Bürger setzt allerdings auch voraus, dass deren wirtschaftlichen Be- dürfnisse und Wünsche erfüllt werden. Deshalb sind Chancengleichheit sowie die Erhaltung der Wettbewerbsfähigkeit und des wirtschaftlichen Wohlstands ei- ner demokratischen Gesellschaft von wesentlicher Bedeutung für ihre politische Stabilität und das Funktionieren ihrer Institutionen. Die steigenden Einkom- mensunterschiede und das Auseinanderdriften von Arbeits- und Kapitaleinkom- men haben in zahlreichen westlichen Industrieländern bereits wachsende Unzu- friedenheit ausgelöst. Diese Kluft könnte sich in den kommenden Jahren auf- grund der zunehmenden Automatisierung und des Einsatzes von KI noch vertie- fen. 48 Weil nicht klar ist, in welchem Umfang und in welchem Tempo sich die Arbeits- märkte verändern werden, ist es besonders wichtig, sich auf die potenziellen Folgen der Automatisierung vorzubereiten. 49 Anderenfalls könnte die Stabilität von konsensbasierten demokratischen Systemen ernsthaft in Gefahr geraten. Wenn sich immer größere Teile der Bevölkerung Sorgen um ihre Existenz ma- chen und ein Gefühl der Bedeutungslosigkeit bekommen, bereitet dies einen Nährboden für populistische, antidemokratische und autoritäre Strömungen, die in einer übermäßig komplexen Welt scheinbar einfache Lösungen anbieten. 50 45 Guardian (20. April 2019). 46 CNET (8. Mai 2019). 47 Europarat (2017). Algorithms and human rights. 48 Heymann, Eric et al. (2018). Digitale Wirtschaft: Wie künstliche Intelligenz und Robotik unsere Arbeit und unser Leben verändern. Deutsche Bank Research. EU Monitor. 49 Becker, Sebastian (2019). Digitaler Strukturwandel und der Sozialstaat im 21. Jahrhundert. Deut- sche Bank Research. EU Monitor. 50 Reid, Jim et al. (2019). Politik, Macht und Populismus. Deutsche Bank Research. Konzept. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 14 | 12. September 2019 EU-Monitor Verschiebungen bei den globalen Wettbewerbsvorteilen. Die globalen Wettbe- werbsbedingungen verändern sich im Zeitalter der Datenwirtschaft rasch. In der Vergangenheit hatten US-Technologiekonzerne auf diesem Gebiet einen be- trächtlichen Vorsprung und konnten den globalen Markt rasch unter sich auftei- len. China reagierte darauf mit der Abschottung seiner Digitalwirtschaft und der Förderung eigener Technologiekonzerne; Europa ist bereits weit zurückgefallen. Insofern dürften künftig vor allem die USA und China um die Technologieführer- schaft konkurrieren, wenn es Europa nicht gelingt, die Lücke zu schließen. Autoritäre und zentralistisch organisierte Gesellschaften könnten zunehmend von einer weitreichenden Annahme und Entwicklung neuer Technologien wie z.B. künstliche Intelligenz oder Biotechnologie profitieren , deren Entwicklung in demokratischen Gesellschaften durch ethische und rechtliche Einschränkungen gebremst wird. Außerdem können solche Staaten in einem Umfang auf die Da- ten ihrer Bürger zugreifen, der mit den Normen demokratischer Gesellschaften nicht vereinbar ist. Dadurch wird einerseits die Entwicklung von KI, andererseits die Kontrolle der Gesellschaft verstärkt. Eine zentralistische Organisation galt vor dem Hintergrund der technologischen Entwicklung des 20. Jahrhunderts noch als ernsthafter Nachteil, könnte sich aber im Zeitalter der Datenwirtschaft als Vorteil erweisen. 51 Wenn KI den wirtschaftlichen Erfolg und die interne staat- liche Kontrolle begünstigt, kann sie autoritären Regimen einen Vorteil gegen- über liberalen Demokratien verschaffen und damit die Position der ersteren in einem wieder aufflammenden Wettbewerb der politischen Systeme um die glo- bale Vorherrschaft stärken. Gleichzeitig könnten solche Regimes dadurch die Lehren des Kalten Kriegs widerlegen, denen zufolge wirtschaftlicher Erfolg und eine liberale Demokratie untrennbar miteinander verbunden sind. Dies wiede- rum würde ein „autoritäres Modell“ für andere Länder attraktiver machen. 52 China wird durch seinen wirtschaftlichen und technologischen Erfolg gestärkt und stellt sein System der autoritären Führung und des Staatskapitalismus zu- nehmend als überlegene Alternative zu westlichen Demokratien dar. Wenn die EU-Mitgliedstaaten und andere demokratische Länder auf dem Gebiet der digi- talen und wirtschaftlichen Innovation zurückfallen, besteht das Risiko, dass au- toritäre Strukturen auch hierzulande zunehmend akzeptiert werden. In einigen EU-Ländern scheint dies bereits der Fall zu sein. 53 Massenüberwachung und Stärkung von autoritären Strukturen Autokratische Regime haben rasch verstanden, welche Gefahren ein nicht zen- siertes, offenes Internet für ihre politische Kontrolle und Stabilität birgt, aber auch, welche Chancen neue Technologien für staatliche Überwachung und Kontrolle bieten. Denn die Kombination aus Massendaten und fortgeschrittener (KI-)Technologie verschafft den Regierungen gänzlich neue Möglichkeiten, um die Bürger zu überwachen, zu beobachten, zu kontrollieren und zu beeinflus- sen. Ian Bremmer von der Eurasia Group bezeichnet dies als die „größte geopo- litische Überraschung des vergangenen Jahrzehnts“: Gerade diejenige Techno- logie, die ursprünglich autoritäre Regimes anfälliger gemacht hatte, stützt sie jetzt durch „Big Data, Überwachung und Deep Learning“. 54 Rasche Fortschritte bei KI-basierter Überwachungstechnologie. In den vergan- genen zehn Jahren wurden bei Überwachungstechnologien beträchtliche Fort- schritte erzielt. Die komplette elektronische Kommunikation, von E-Mail über Te- lefonanrufe, SMS, Messenger Apps, Social Media bis hin zum Zahlungsverkehr, kann überwacht werden. Anhand von Suchverläufen, mit Hilfe von Tracking 51 Europarat (2017). Algorithms and human rights. 52 Wright, Nicholas (2018). How Artificial Intelligence Will Reshape The Global Order. Foreign Af- fairs. 53 Benner, Thorsten et al. (2018). Authoritarian Advance. GPPi and merics. 54 Foreign Affairs (12. Februar 2019). 6 15 19 21 22 23 25 25 25 25 29 31 31 36 37 40 43 46 64 65 66 67 72 73 79 83 85 88 Estland Kanada Deutschland Australien USA Großbritannien Frankreich Italien Japan Südafrika Ungarn Brasilien Philippinen S. Korea Nigeria Mexiko Indien Indonesien Weißrussland Thailand Türkei Russland Ägypten Saudi Arabien Kuba Syrien Iran China Freiheit im Netz, globaler Vergleich 12 Quelle: Freedom House Freiheit im Netz Index (2018) Frei Teilw. frei Nicht frei Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 15 | 12. September 2019 EU-Monitor Tools und über Logins auf Social Media-Seiten können Nutzer in der virtuellen Welt nachverfolgt und ihre Daten zu individuellen Profilen zusammengefasst werden. Diese Profile können dann psychometrisch analysiert und mithilfe von Algorithmen kategorisiert werden. Mithilfe von Fortschritten bei der KI-basierten Überwachungstechnologie, z.B. Gesichts-, Stimm- und Bewegungserkennung, und eines Netzes aus Überwa- chungskameras an öffentlichen Orten können Personen auch in der realen Welt verfolgt werden. Wie bei anderen Technologien können auch Überwachungs- instrumente in Kombination mit einer prädiktiven Analyse einerseits dazu die- nen, die Sicherheit zu erhöhen oder den Verkehrsfluss zu verbessern, und es andererseits Regierungen ermöglichen, große Menschenmengen zu kontrollie- ren und das Aufkommen von Protesten oder Aufständen vorherzusagen. Gänzlich neue Möglichkeiten für staatliche Kontrolle. Autoritäre Staaten können solche Instrumente nutzen, um abweichende Meinungen bereits in einem frühen Stadium zu erkennen und zu unterbinden und die Bildung von Oppositions- oder Bürgerrechtsgruppen zu verhindern, welche die Konzentration der politischen und wirtschaftlichen Macht in den Händen einer herrschenden Elite infrage stel- len könnten. Da sich autoritäre Regierungen Zugang zu allen von privaten Un- ternehmen gesammelten und gespeicherten Informationen und Daten verschaf- fen können (die ohnehin häufig nicht klar von der Regierung getrennt sind), kön- nen sie so alle Lebensbereiche ihrer Bürger überwachen und kontrollieren. Durch das Internet der Dinge, zu dem auch verschiedenste „smarte Geräte“ ge- hören, die audiovisuelle und sonstige Sensoren an privaten und öffentlichen Or- ten einsetzen, kann das Überwachungsnetz noch engmaschiger gestaltet wer- den. Auch Sozialkredit-Systeme sind mächtige Instrumente, die Selbstzensur und präventiven Gehorsam fördern; gleichzeitig können kritische Bürger aus dem gesellschaftlichen und wirtschaftlichen Leben ausgeschlossen werden. In Kombination mit Zensur sowie einer Abschottung des Internets und der Kon- trolle der Informationsströme über Nachrichtenplattformen und soziale Medien ermöglichen diese Tools eine Entwicklung, die zuweilen als „Aufschwung des di- gitalen Autoritarismus“ bezeichnet wird. 55 Dass Überwachungstechnologien für verschiedene Zwecke genutzt werden können, erschwert es häufig, zwischen zivilen bzw. polizeilich gebotenen An- wendungen einerseits und politischer Unterdrückung andererseits zu unter- scheiden. Eine Überwachungsinfrastruktur, die zur Verkehrslenkung oder Ver- brechensbekämpfung dient, kann ebenso als Instrument zur Unterdrückung oder Bekämpfung der Opposition eingesetzt werden. China ein Vorreiter bei Überwachungstechnologie. Bei der Entwicklung und Ein- führung von Überwachungstechnologie wie z.B. Gesichtserkennung nimmt China eine weltweite Führungsposition ein. Die beiden bestfinanzierten KI- Unternehmen in China sind im Überwachungsbereich tätig. 56 Im Zuge seiner KI- Strategie für 2030 hat China landesweit laut einem CNBC-Bericht rund 200 Milli- onen Überwachungskameras installiert. 57 Reuters zufolge werden in der autono- men Region Xinjiang im Nordwesten des Landes die Bewegungen von über zwei Millionen Menschen durch chinesische Überwachungsunternehmen ver- folgt. 58 Außerdem wurde berichtet, die chinesische Polizei habe bei Routine-Si- cherheitsmaßnahmen, z.B. in der U-Bahn, Datenextraktions-Software auf priva- ten Smartphones installiert. 59 Nahezu alle 1,4 Milliarden chinesischen Staatsbür- ger sind in einer Gesichtserkennungs-Datenbank registriert. 60 China plant, bis 2020 ein landesweites Sozialkredit-System einzuführen, das derzeit in mehreren 55 Freedom House (2018). Freedom on the net 2018. 56 CBInsights (6. Februar 2019). 57 CNBC (16. Mai 2019). 58 Reuters (17. Februar 2019). 59 Financial Times (4. Juli 2019). 60 CNBC (16. Mai 2019). Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 16 | 12. September 2019 EU-Monitor Städten getestet wird. Dies hat weltweit Aufmerksamkeit erregt und Besorgnis hervorgerufen. Das System erteilt anhand des Verhaltens der Bürger in ver- schiedenen Lebensbereichen Scores und bestraft oder belohnt sie entspre- chend. So kann den Menschen z.B. der Zugang zu bestimmten Verkehrsmitteln, Versicherungen oder Anlageprodukten verwehrt werden. 61 Verbreitung von Überwachungstechnologie. Chinesische Unternehmen sind auch maßgebliche Exporteure für Überwachungstechnologie in andere Länder und an andere Sicherheitsbehörden, etwa im Rahmen von Chinas „Belt and Road“-Initiative, aber auch darüber hinaus. Laut Steven Feldstein von der Boise State University hat China KI-Überwachungstechnologie an über 50 Staaten ge- liefert, darunter Malaysia, Singapur und Simbabwe oder Serbien. Die Einfüh- rung von Überwachungstechnologie ist damit inzwischen ein globales Phäno- men. 62 Laut Feldstein „zeigt sich rund um die Welt, wie KI-Systeme potenziell repressive Regimes unterstützen und so die Beziehung zwischen Bürgern und Staat grundlegend verändern können, wodurch der Autoritarismus weltweit wie- der an Boden gewinnt“. Nach Auffassung der Studie ist der Export von KI- Technologie an autoritäre Regimes als zentrales Element der chinesischen Geopolitik anzusehen. Laut Feldstein ermöglichen es Technologien wie Ge- sichtserkennung auf der Grundlage von umfangreichen Datenbanken und fort- geschrittenem Maschinellen Lernen „autoritären Bestrebungen auf ganz andere Weise, den Diskurs zu bestimmen und Opposition zu unterdrücken“. Im Gegensatz zu autoritären Ländern wird die extensive Nutzung von Überwa- chungstechnologien in demokratischen Staaten häufig durch Gesetze und öf- fentlichen Widerstand eingeschränkt. Auch in Demokratien besteht für die Re- gierungen jedoch ein Anreiz, solche Technologien zur Terrorismus- und Krimi- nalitätsbekämpfung einzusetzen. Durch Terroranschläge und Verbrechen kann sich öffentliche Meinung zugunsten solcher Anwendungen ändern. 63 Die USA haben im Rahmen eines Pilotprojekts an Grenzübergängen zu Mexiko Ge- sichtserkennungstechnologie eingesetzt und zur Bestätigung der „biometrischen Ausreise“ an Flughäfen ein Gesichtserkennungssystem für die Passagiere ein- geführt. 64 Auch in anderen Ländern wie z.B. Deutschland, Großbritannien oder Japan wird Gesichtserkennungstechnologie an öffentlichen Orten eingesetzt oder getestet. 65 Ausgleich zwischen Sicherheit und Schutz der persönlichen Rechte. In Ländern mit starken demokratischen Institutionen muss bei der Einrichtung einer umfas- senden Überwachungsinfrastruktur ein Ausgleich zwischen öffentlicher Sicher- heit einerseits und dem Schutz der persönlichen Rechte und Freiheiten anderer- seits gefunden werden. Parlamentarische und richterliche Kontrolle ist eine Vo- raussetzung dafür, dass das Risiko eines Missbrauchs durch Politiker und Be- hörden präventiv verhindert wird. Außerdem ist zu prüfen, welche Rolle private Unternehmen bei der Sammlung und Analyse von Daten spielen – und zwar im Hinblick auf ihre Zusammenarbeit sowohl mit staatlichen Stellen als auch mit in- und ausländischen Dritten. Überwachungstechnologien können in anfälligen demokratischen Gesellschaf- ten, die sich bereits auf dem Weg hin zu stärker autoritär geprägten Strukturen befinden, ein Risiko für die Demokratie darstellen. Dies zeigt sich in Schwellen- ländern in Asien, Afrika und Lateinamerika ebenso wie in einigen EU-Ländern. 61 The Guardian (1. März 2019). 62 Feldstein, Steven (2019). China is exporting AI surveillance technology to countries around the world. Newsweek (23. April 2019) und Reuters (2. August 2019). 63 In Deutschland sprachen sich in einer Umfrage im Jahr 2018 87% der Befragten für eine Video- überwachung von öffentlichen Orten aus. Nur 10% sehen dies als übermäßigen Eingriff in die Pri- vatsphäre an (Forsa, 2018). 64 The Verge (18. April 2019). 65 Politico (24. Juni 2019) , Der Spiegel (12. Oktober 2018) und Reuters (13. August 2019). Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 17 | 12. September 2019 EU-Monitor Dort könnten die Regierungen zunehmend Überwachungstechnologien einset- zen, um die „Aktivitäten politischer Gegner und der Zivilgesellschaft zu beobach- ten und präventiv gegen mögliche Herausforderungen für ihre Autorität vorzuge- hen“. 66 Überwachungsverbote und Grenzen der Überwachung. Zum Schutz der Bürger- rechte wurden in einigen Ländern bzw. Regionen bereits politische Maßnahmen ergriffen, um das Missbrauchsrisiko zu verringern. So wurde z.B. der Einsatz von Gesichtserkennungssoftware durch die Polizei und andere staatliche Stel- len in den US-Städten San Francisco, Somerville und Oakland verboten. 67 Ein US-Gericht hat vor Kurzem entschieden, dass Nutzer gerichtlich gegen Face- book vorgehen können, wenn der Konzern ihre Gesichtsdaten ohne ausdrückli- ches Einverständnis für seine Gesichtserkennungssoftware nutzt. 68 Europa, das bei der KI-Entwicklung hinter China und den USA zurückliegt, nimmt beim Da- tenschutz sowie bei der Festlegung von ethischen Standards und Vorgaben in Bezug auf Überwachungstechnologie eine Vorreiterrolle ein. Die Experten- gruppe der EU-Kommission erklärte in ihren „Leitlinien für eine vertrauenswür- dige KI“ in Europa, dass „Einzelne nicht in ungerechtfertigter Weise mithilfe KI-gestützter biometrischer Erkennungsmethoden persönlich, physisch oder mental nachverfolgt oder identifiziert, ihr Profil erstellt oder sie Objekt von Nudging-Bemühungen (...) werden dürfen“. Der „Einsatz solcher Technologien in Ausnahmefällen, z.B. zu Zwecken der nationalen Sicherheit, muss evidenzba- siert, erforderlich und verhältnismäßig sein und Grundrechte respektieren“. 69 Dringend erforderlich: Eine Gesellschaft mit digitaler Grundbildung Die digitale Transformation wirkt sich auf alle Aspekte des privaten und öffentli- chen Lebens aus, und zwar sowohl in Demokratien als auch in eingeschränkten Demokratien oder autoritären Staaten. Angesichts des Tempos des digitalen Wandels, des Mangels an vergleichbaren Entwicklungen, der Komplexität und häufig auch der subtilen Natur der Veränderungen ergeben sich beträchtliche Herausforderungen für Regierungen und Bürger. Die Technologie ist an sich neutral, ihre Anwendung ist es nicht. Die globale Vernetzung und der rasche technologische Fortschritt bieten zweifelsohne Chancen und Vorteile. Gleichzeitig müssen wir jedoch besser verstehen, in wel- chem Umfang sich dies auf den politischen Dialog und die Interaktion zwischen Staaten und Wählern auswirken kann. Die Technologie selbst ist in Bezug auf ihren möglichen Gebrauch bzw. Missbrauch neutral, die politischen Verantwor- tungsträger und die Unternehmen, die besagte Technologie kontrollieren, sind es jedoch nicht. Technologie und Demokratie sind weiterhin kompatibel . In dieser Studie haben wir uns mit den Risiken und Chancen befasst, die die digitale Transformation des vergangenen Jahrzehnts mit Blick auf die Demokratie mit sich bringt. Die Vorteile der Datenwirtschaft und des technologischen Fortschritts in Schlüssel- bereichen wie KI und Automatisierung sind unseres Erachtens vollumfänglich mit einer stabilen, dynamischen und wohlhabenden demokratischen Gesell- schaft vereinbar, die auf liberalen Werten und dem Schutz der Rechte und Frei- heiten des Einzelnen beruht. Wie im vergangenen Jahrhundert können Techno- logie und Kommunikation weiterhin eine wichtige Rolle spielen, um den Bürgern 66 Feldstein, Steven (2019). The Road to Digital Unfreedom: How Artificial Intelligence Is Reshaping Repression. Journal of Democracy, Januar 2019. 67 New York Times (14. Mai 2019) und Vox (18. Juli 2019). 68 Reuters (8. August 2019). 69 EU-Kommission (26. Juni 2019). EU policies – delivering for citizens: Digital transformation. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 18 | 12. September 2019 EU-Monitor mehr Einfluss zu verschaffen, den gesellschaftlichen Diskurs zu bereichern und demokratische Institutionen zu stärken. Dafür müssen demokratische Gesellschaften auf die Nebenwirkungen und Risi- ken der Technologie für ihre Institutionen sowie für Bürgerrechte reagieren, sei es nun im In- oder im Ausland. Die Regierungen müssen die regulatorischen Vorgaben, Wettbewerbsvorschriften und die staatliche Aufsicht so überarbeiten, dass sie den neuen Anforderungen der Datenwirtschaft gerecht werden. Die Unternehmen ihrerseits müssen sicherstellen, dass ihre Geschäftsmodelle und Produkte im Einklang mit den in der Verfassung garantierten Rechten und mit der Integrität demokratischer Institutionen und Prozesse stehen. Und die Nutzer und Bürger müssen die Algorithmen und das Design hinter ihren Apps und Geräten sowie die zugrundeliegenden Mechanismen der Datenwirt- schaft besser verstehen. Die demokratischen Gesellschaften müssen einen fun- dierten Dialog über das Eigentum an Daten und Technologie führen und dar- über, wie die Errungenschaften des technischen Fortschritts verteilt werden sol- len und wie verhindert werden kann, dass eine zunehmend ungleiche Verteilung von Vermögen und Einfluss zur Destabilisierung ihrer eigenen Grundlagen führt. EU spielt bei der Regulierung von KI und Datenwirtschaft eine Führungsrolle. Der EU und ihren Mitgliedstaaten mangelt es an großen Technologiekonzernen und sie haben Mühe, im globalen Wettlauf um die Führungsposition im KI- Bereich Schritt zu halten. Dieser Wettbewerb wird anscheinend vor allem zwi- schen den USA und China ausgetragen. Gleichzeitig scheint sich Europa den Herausforderungen, welche die neuen Technologien an demokratische Gesell- schaften richten, besser zu stellen als andere Staaten. In den vergangenen Jahren hat sich die EU als Vorreiter in Bezug auf entspre- chende Regulierungen und Initiativen positioniert. Beispiele sind der Schutz der Privatsphäre und der Nutzerrechte (DSGVO) , der Plan zur Bekämpfung von Desinformation oder die KI-Allianz – ein Multi-Stakeholder-Forum, das nicht nur KI-Investitionen und -Forschung fördern, sondern auch drängende ethische und rechtliche Fragen ansprechen soll. Es handelt sich dabei jedoch um einen Lern- prozess: Immer wieder wird man Schwachstellen in den Vorgaben ausbessern und Schlupflöcher stopfen müssen. Regeln und Vorschriften müssen nach Be- darf so angepasst werden, dass ein guter Ausgleich zwischen wirtschaftlichen, gesellschaftlichen und politischen Aspekten gewährleistet ist. Aber die Grund- botschaft der EU ist klar: Technischer Fortschritt und die Datenwirtschaft gehö- ren allen Bürgern. 70 Kevin Körner (+49 69 910-31718, kevin.koerner@db.com) 70 Europäisches Parlament (2019). Politische Maßnahmen der EU im Interesse der Bürger: Der di- gitale Wandel. Digitalpolitik: KI, Big Data und die Zukunft der Demokratie 19 | 12. September 2019 EU-Monitor EU-Monitor Unsere Publikationen finden Sie unentgeltlich auf unserer Internetseite www.dbresearch.de Dort können Sie sich auch als regelmäßiger Empfänger unserer Publikationen per E-Mail eintragen. Für die Print-Version wenden Sie sich bitte an: Deutsche Bank Research Marketing 60262 Frankfurt am Main Fax: +49 69 910-31877 E-Mail: marketing.dbr@db.com Schneller via E-Mail: marketing.dbr@db.com * Digitalpolitik: KI, Big Data und die Zukunft der Demokratie ....... 12. September 2019 * Libra – eine globale Herausforderung im Zahlungsverkehr und für Zentralbanken? ............. 21. August 2019 * Künstliche Intelligenz im Bankensektor: Ein bisher kaum genutzter Hebel für Rentabilität .............. 4. Juli 2019 * Digitalsteuer: Skepsis angebracht .................................... 2. Mai 2019 * 3D-Druck: Starkes Wachstum in der Nische .................... 2. April 2019 * Digitaler Strukturwandel und der Sozialstaat im 21. Jahrhundert ................... 11. Februar 2019 * Die Folgen des Brexit für das Investmentbanking in Europa ............................... 28. November 2018 * Die multiplen Stufen der Blockchain-Revolution – oder einmal Kryptohype und zurück ..................... 22. November 2018 * Digitale Infrastruktur: Engpässe hemmen Europa ................................. 28. September 2018 * PSD 2, Open Banking und der Wert personenbezogener Daten ............................................. 19. Juni 2018 * Digitale Wirtschaft: Wie künstliche Intelligenz und Robotik unsere Arbeit und unser Leben verändern ..................... 22. Mai 2018 © Copyright 2019. Deutsche Bank AG, Deutsche Bank Research, 60262 Frankfurt am Main, Deutschland. Alle Rechte vorbehalten. Bei Zitaten wird um Quellenangabe „Deutsche Bank Research“ gebeten. Die vorstehenden Angaben stellen keine Anlage-, Rechts- oder Steuerberatung dar. Alle Meinungsaussagen geben die aktuelle Einschätzung des Ver- fassers wieder, die nicht notwendigerweise der Meinung der Deutsche Bank AG oder ihrer assoziierten Unternehmen entspricht. Alle Meinungen kön- nen ohne vorherige Ankündigung geändert werden. Die Meinungen können von Einschätzungen abweichen, die in anderen von der Deutsche Bank veröffentlichten Dokumenten, einschließlich Research-Veröffentlichungen, vertreten werden. Die vorstehenden Angaben werden nur zu Informations- zwecken und ohne vertragliche oder sonstige Verpflichtung zur Verfügung gestellt. Für die Richtigkeit, Vollständigkeit oder Angemessenheit der vorste- henden Angaben oder Einschätzungen wird keine Gewähr übernommen. In Deutschland wird dieser Bericht von Deutsche Bank AG Frankfurt genehmigt und/oder verbreitet, die über eine Erlaubnis zur Erbringung von Bankge- schäften und Finanzdienstleistungen verfügt und unter der Aufsicht der Europäischen Zentralbank (EZB) und der Bundesanstalt für Finanzdienstleis- tungsaufsicht (BaFin) steht. Im Vereinigten Königreich wird dieser Bericht durch Deutsche Bank AG, Filiale London, Mitglied der London Stock Exchange, genehmigt und/oder verbreitet, die von der UK Prudential Regulation Authority (PRA) zugelassen wurde und der eingeschränkten Aufsicht der Financial Conduct Authority (FCA) (unter der Nummer 150018) sowie der PRA unterliegt. In Hongkong wird dieser Bericht durch Deutsche Bank AG, Hong Kong Branch, in Korea durch Deutsche Securities Korea Co. und in Singapur durch Deutsche Bank AG, Singapore Branch, verbreitet. In Japan wird dieser Bericht durch Deutsche Securities Inc. genehmigt und/oder verbreitet. In Australien sollten Privatkunden eine Kopie der betreffenden Produktinformation (Product Disclosure Statement oder PDS) zu jeglichem in diesem Bericht erwähnten Finanzinstrument beziehen und dieses PDS berücksichtigen, bevor sie eine Anlageentscheidung treffen. Druck: HST Offsetdruck Schadt & Tetzlaff GbR, Dieburg ISSN (Print): 1612-0256; ISSN (Online): 1612-0264
2.7.1