Siri, Alexa und das KI-Dilemma

Dass nun auch Facebook — nach Amazon, Google, Microsoft und Apple — eingeräumt hat, Sprachkommunikation mitzuschneiden und auszuwerten, offenbart ein grundlegendes Dilemma: Die Verfügbarkeit möglichst großen Mengen (nicht unbedingt personenbezogener) Daten ist eine zentrale Bedingung für die technische Optimierung von IT–Systemen und für die Weiterentwicklung von Geschäftsmodellen. Damit wird aber unsere schon arg strapazierte Privatsphäre weiter eingeschränkt.

Im Hinblick auf die Sprachsteuerung sollen die Systeme die Nutzer möglichst genau verstehen. Dass Aufnahmen, die bei der Kommunikation mit digitalen Sprachassistentinnen anfallen, dafür ausgewertet werden, erscheint auf den ersten Blick plausibel. Befremdlich ist es angesichts der großen Worte über „maschinelles Lernen“ allerdings, dass die Konversationen mit Siri, Alexa und ihren Freundinnen offensichtlich von Menschen ausgewertet werden und nicht von Maschinen. Weniger verwunderlich ist, dass dabei „Crowdworker“ zum Einsatz kommen, die ihre Arbeit irgendwo auf der Welt, vermutlich zu erbärmlichen Löhnen, am heimischen Küchentisch erledigen.

Alles anonym?

Die IT-Giganten versichern, dass es Ihnen lediglich um die technische Optimierung geht und nicht um das individuelle Ausforschen von Lebensumständen. Sie sagen auch, dass den mit der Auswertung befassten Personen nicht mitgeteilt werde, von welcher Nutzerin oder von welchem Benutzer eine Sprachaufnahme stammt. Dies bedeutet jedoch nicht, dass damit kein Personenbezug gegeben ist. Zum einen kann das Unternehmen, zumindest während der Aufzeichnung, möglicherweise jedoch auch später, jede einzelne digitale Sprachaufnahme einem Account bzw. Gerät zuordnen, samt Uhrzeit und Standort. Zudem enthalten die Sprachaufnahmen vielfach selbst Inhalte, die eine persönliche Zuordnung ermöglichen, etwa wenn ich die Sprachassistentin bitte, eine bestimmte Person anzurufen oder einen Eintrag in meinem Kalender vorzunehmen.

Wenn in einer solchen Konstellation Arztgespräche oder Bettgeflüster mitgeschnitten und ausgewertet werden, erscheint dies vielen Nutzerinnen und Nutzern zurecht unerträglich. Auch datenschutzrechtlich ist dies keine Bagatelle, denn eine Rechtsgrundlage für eine solche Praxis ist nicht zu erkennen. Dass die Aufzeichnungen für die Vorbereitung und Abwicklung von Vertragsverhältnissen erforderlich wären (Art. 6 Abs. 1 lit. b DSGVO), wird keiner ernsthaft behaupten. Zwar mag die Systemoptimierung im berechtigten Interesse des Unternehmens liegen. Es dürfte die Daten nur verarbeiten, wenn keine überwiegenden „Interessen, Grundrechte und Grundfreiheiten“ der betroffenen Personen entgegenstehen (Art. 6 Abs. 1 lit. f). Genau das ist aber der Fall — nicht nur in das Grundrecht auf Datenschutz wird eingegriffen, sondern auch in das Grundrecht auf Unverletzlichkeit der Wohnung (Art. 13 GG).

In ähnlich gelagerten Fällen lassen sich Unternehmen gerne eine Einwilligung der Betroffenen (Art. 6 Abs. 1 lit. a) geben. Aber auch dieser vermeintliche Passpartout passt hier nicht. Zum einen stellt sich die grundlegende Frage, wer überhaupt die betroffene Person ist. Dies gilt etwa für den Fall, dass der Eigentümer eines lauschenden Lautsprechers oder Fernsehers diese Gerätschaften nicht alleine nutzt. Die Vorstellung, dass eine Vielzahl — nicht einmal namentlich bekannter Personen — gegenüber Amazon darin einwilligen, dass das Lautsprechersystem Echo mithört und die dabei aufgezeichneten Sprachdateien gespeichert und später ausgewertet werden, erscheint mir ziemlich abwegig.

Asymmetrische Transparenz

Sprachassistenz-Systeme, die stets mithören und die jederzeit bereit stehen, beliebige Geräusche aufzuzeichnen, sind für die Betroffenen weitgehend intransparent. Wenn ich einen Raum betrete oder in ein Auto einsteige, kann ich im Regelfall nicht erkennen, ob dort ein Sprachassistent aktiv ist. Der totalen Transparenz des Nutzers für den Betreiber eines Systems steht die weitgehende Intransparenz für die Betroffenen gegenüber.

Auch dieser Mangel an Transparenz ist datenschutzrechtlich relevant (Art. 12, 13 DSGVO): Die verantwortliche Stelle hat die betroffenen Personen nicht nur über die Tatsache der Datenerfassung aufzuklären, sondern auch über den Zweck und die Rechtsgrundlage der Verarbeitung, und sie hat den Namen und die Kontaktdaten des Verantwortlichen zu nennen. Schließlich muss sie ggf. auch über die Datenübermittlung in einem Drittstaat außerhalb der EU informieren. Dabei hat die Information in „präziser, verständlicher und leicht zugänglicher Form in einer klaren und einfachen Sprache“ zu erfolgen.

Theoretisch könnte man jeden Eigentümer eines mit Sprachassistenten ausgestatteten Systems dazu verpflichten, sämtliche Personen, die in den Aufnahmebereich gelangen könnten, vorab zu informieren und sie um eine Einwilligung zu bitten. Ziemlich aufwendig – zumal die Eigentümer ggf. die genaue Funktion ihres Systems selbst nicht verstehen. Oder sollte eine Hinweispflicht eingeführt werden, wie wir sie schon bei der Videoüberwachung haben? Dann müssten wir uns daran gewöhnen, dass an der Wohnzimmer- oder Schlafzimmertür ein Schild hängt, das uns warnt: „Achtung! Dieser Raum wird akustisch überwacht“. Ich kann mir schwerlich vorstellen, dass dies funktioniert.

Lösungen?

Angesichts dieser Gemengelage ist es schwierig, akzeptable Lösungen zu finden. Dass sich die großen IT-Unternehmen inzwischen – allerdings erst nach der Aufdeckung der entsprechenden Praktiken und dem darauf folgenden öffentlichen Aufschrei – dazu bereit erklärt haben, auf die „manuelle“ Auswertung von Sprachaufnahmen zu verzichten, ist nicht mehr als ein erster notwendiger Schritt.

Wir müssen viel intensiver darüber diskutieren, wie die neuen technischen Möglichkeiten unser Leben verändern, und wie die damit einhergehenden Risiken eingehegt werden können. Wenn die Chefs der genannten Unternehmen sich inzwischen zum Prinzip „Privacy by Design“ bekennen, ist nicht mehr als ein Lippenbekenntnis, wenn sie weiterhin Produkte auf den Markt bringen, die dieser Maxime diametral widersprechen.

Bei der Umsetzung und Weiterentwicklung des Datenschutzrechts müssen systemische Lösungen stärker in den Vordergrund rücken. Zwar bleibt die Einwilligung ein wichtiges Instrument, um die Grundrechte auf informationelle Selbstbestimmung und Datenschutz zu gewährleisten. Aber wir dürfen dabei nicht stehen bleiben: Angesichts der zunehmenden technischen Komplexität verringert sich die Chance für die Betroffenen, die Reichweite einer Einwilligung auch nur zu verstehen. Von der Freiwilligkeit ganz zu schweigen: Erfolgt eine Einwilligung wirklich aus freien Stücken, wenn ich nur die Wahl habe, entweder in die vom Unternehmen in seinem Interesse formulierten Bedingungen vollständig einzuwilligen oder auf die Nutzung eines Dienst bzw. eines Geräts gänzlich zu verzichten.

Das Recht muss auf diese Herausforderung antworten. Wir brauchen klarere Regeln darüber, wie Technik zu gestalten und einzusetzen ist und darüber, was unterbleiben muss. Die DSGVO ist eben nur eine „Grundverordnung“ – sie muss ergänzt werden durch spezifischeres Datenschutzrecht, auch in Bezug auf maschinelles Lernen und künstliche Intelligenz. Dies wäre im Interesse der Betroffen gleichermaßen wie der Wirtschaft, die ebenfalls von klaren Vorgaben profitieren würde. Wie schwierig dieser Weg ist, zeigt sich an dem ungewissen Schicksal der „ePrivacy“-Richtlinie, die im EU-Rat festhängt.

FaceApp und die hidden Agenda der Gesichtserkennung

Welche gesellschaftlichen Auswirkungen eine technologische Innovation hat, zeigt sich häufig erst in einem späten Stadium, wenn sie in vielen Bereichen zum Einsatz kommt. Jüngstes Beispiel hierfür ist die digitale Gesichtserkennung, über die seit einigen Tagen erregt öffentlich diskutiert wird, seit amerikanische Politiker festgestellt haben, dass die weitverbreitete „FaceApp“, mit der sich Gesichtsbilder digital verändern bzw. künstlich „altern“ lassen, maßgeblich von russischen Informatikern entwickelt und durch eine in Russland ansässige Firma betrieben werde (https://www.bbc.com/news/world-us-canada-49027155). Das Problem ist allerdings weitaus grundsätzlicher, denn die Gefahren gehen von einer Technologie aus, die zunehmend unseren Alltag durchdringt.

Biometrische Identifikation

Bei der digitalen Gesichtserkennung handelt es sich um ein biometrisches Verfahren, mit dem eine Person anhand biologischer Merkmale identifiziert wird. Im Unterschied zu anderen Identifikationsverfahren (Benutzernamen, Passwort, Geräte- bzw. Smartcard ID) sind biometrische Identifikatoren unverwechselbar und unauflösbar mit einer bestimmten Person verbunden. Bekanntestes Beispiel eines biometrischen Verfahrens sind die seit ca. 100 Jahren zunächst für kriminalistische Zwecke verwendeten Fingerabdrücke. Während deren Sammlung und Auswertung immer noch mit einem erheblichen Aufwand verbunden sind, können Gesichtsbilder praktisch an jedem Ort erfasst werden. Einzige Voraussetzung hierfür ist das Vorhandensein einer Videokamera, wie sie millionenfach im öffentlichen Raum (und nicht nur hier!) eingesetzt wird.

Die automatisierte Auswertung und Zuordnung der digitalen Aufnahmen setzt effektive Verfahren zur Mustererkennung und entsprechend leistungsfähige Computertechnik voraus. Beide Voraussetzungen sind heute gegeben. Hinzuweisen ist in diesem Zusammenhang auf Verfahren der „künstlichen Intelligenz“ (KI), mit denen sich die Trefferquoten dramatisch verbessert haben.

Damit ein Mensch auch namentlich identifiziert werden kann, bedarf es entsprechender Referenzdaten, mit denen die bei einer Videoaufnahme festgestellten biometrischen Merkmale abgeglichen werden. In den letzten Jahren haben sowohl staatliche Stellen als auch Unternehmen riesige biometrische Datensammlungen aufgebaut. Zudem eignen sich Milliarden vielfach namentlich gekennzeichneter Fotografien in sozialen Netzwerken zum Abgleich mit Aufnahmen aus Überwachungskameras oder Smartphones. Schließlich nimmt die Anzahl von Verfahren zu, bei denen sich die Nutzer über ihr Gesicht identifizieren.

Beifang

Digitale Aufnahmen, die zur biometrischen Identifikation verwendet werden, gestatten nicht nur die Zuordnung zu einer bestimmten Person. Sie ermöglichen auch die Auswertung einer Vielzahl anderer persönlicher Informationen: Geschlecht, ethnische Herkunft, Alter. Auch enthalten sie Hinweise etwa auf den Ernährungs- und Gesundheitszustand der abgebildeten Person. Schließlich lassen sich aus dem Gesichtsausdruck Schlussfolgerungen auf die Stimmungslage ziehen. All diese Zusatzinformationen könnten für staatliche Stellen und Unternehmen von Interesse sein:

Lässt sich aus dem Gesichtsausdruck auf böse Absichten schließen? Steht eine Person unter Stress? Kann anhand der biometrischen Daten auf das Herkunftsland einer Person geschlossen werden? Signalisiert der Gesichtsausdruck Kaufbereitschaft?

Verknüpfung

Ist eine Person erst mal identifiziert, lassen sich im Hintergrund alle möglichen über sie vorhandenen Daten zusammenführen: Anschrift und Geburtsdatum, Beruf, Kauf- und Surfverhalten, Einkommen, Vorstrafen, Zugehörigkeit zu bestimmten Gruppen (Gefährder, Hooligans …). Voraussetzung dafür ist allein, dass die Stellen, welche die Informationen auswerten, Zugang zu den entsprechenden Daten haben. Die Tendenz geht sowohl im öffentlichen als auch im kommerziellen Bereich dazu, die Zugänglichkeit der entsprechenden Datensammlungen zu verbessern.

Rechtliche Grenzen

Gesichtserkennung ist eine Technologie, die bei ungebremstem Einsatz zur Totalüberwachung führt. Ob und in welchem Umfang von diesen technischen Möglichkeiten Gebrauch gemacht wird, hängt indes ganz wesentlich von der Rechtsordnung und der Durchsetzung gesetzlicher Vorgaben ab. Vor diesem Hintergrund verwundert es nicht, dass autoritäre Regimes beim Einsatz biometrischer Verfahren ganz vorn stehen, etwa China mit seinem lückenlosen Überwachungssystem und dem daran anknüpfenden „Social Scoring“ (https://www.deutschlandfunk.de/social-score-wie-china-die-digitale-ueberwachung-vorantreibt.676.de.html?dram:article_id=442872). Aber auch in Rechtsstaaten besteht erheblicher Druck zur Ausweitung biometrischer Überwachungsverfahren. Vielfach wird hier mit der Bedrohung der Sicherheit durch Kriminalität und Terrorismus argumentiert (vgl. https://www.eaid-berlin.de/indisches-datenschutzrecht-aadhaar-wird-fuer-verfassungskonform-erklaert/). Hinzuweisen ist etwa auf die groß angelegten Tests am Berliner Bahnhof Südkreuz unter der Federführung des Bundeskriminalamts.

Neben den berechtigten Zweifeln an der Wirksamkeit biometrischer Überwachungsverfahren im Hinblick auf die proklamierten Ziele (Vgl. https://netzpolitik.org/2018/34c3-wie-die-ueberwachung-unsere-sicherheit-gefaehrdet/) darf nicht aus dem Blick geraten, dass jeder Identifikationsvorgang in die Grundrechte der betroffenen Person eingreift. Daran ändert sich nichts, auch wenn die Effektivität und Effizienz der Verfahren weiter zunimmt. Nicht umsonst rechnen die 2018 wirksam gewordenen europäischen Datenschutzregelungen (Art. 9 DSGVO, Art. 10 der Richtlinie für Datenschutz bei Polizei und Strafverfolgung) „biometrische Daten zur eindeutigen Identifizierung einer natürlichen Person“ zu den besonders schützenswerten personenbezogenen Daten, deren Verarbeitung nur unter strengen Bedingungen zulässig ist.

Umsteuern ist möglich

Leider haben in Deutschland die Parteien der Großen Koalition die rechtlichen Möglichkeiten zur Videoüberwachung (vgl. https://www.eaid-berlin.de/stellungnahme-der-eaid-zum-referentenentwurf-eines-videoueberwachungsverbesserungsgesetzes/) und zur Zusammenführung biometrischer Daten (vgl. https://www.eaid-berlin.de/?s=passfotos) in den letzten Jahren wiederholt ausgeweitet und datenschutzrechtliche Bedenken beiseite geschoben. Die sich häufenden negativen Erfahrungen mit dem Einsatz der Technologie legen es nahe, dass hier endlich ein Umdenken einsetzt. Dass ein Umsteuern möglich ist, zeigt ausgerechnet San Francisco, der Stadt, in der viele der Technikfreaks aus dem Silicon Valley zu Hause sind: Der Stadtrat hat den Behörden Anfang dieses Jahres die Nutzung der Gesichtserkennungstechnik untersagt (https://www.nytimes.com/2019/07/01/us/facial-recognition-san-francisco.html), weil sie die Möglichkeit, sich frei von ständiger Beobachtung zu bewegen bedrohe. Dem Beispiel sind inzwischen andere amerikanische Städte gefolgt, vor allem Technologiestandorte.

Verschlüsselung und Backdoors: Aller Weisheit Schluss?

Irgendwie reden immer alle über Verschlüsselung, aber kaum einer praktiziert sie. Jüngst veröffentlichte heise-online beispielsweise eine Umfrage (https://www.heise.de/newsticker/meldung/Umfrage-Nur-16-Prozent-der-Deutschen-verschluesseln-ihre-E-Mails-3720597.html) mit dem Ergebnis, dass nur 16 Prozent der Deutschen eine E-Mail-Verschlüsselung nutzen, obwohl sie diese für wichtig halten. Woher kommt diese Diskrepanz? Nun, jeder von uns hat sicherlich das Bedürfnis nach vertraulicher Kommunikation, und ungeschützten Räumen, in die man sich zurückziehen und Gedanken und Empfindungen frei äußern kann. Oder vielleicht geht es einfach nur um das simple Ansinnen, vertrauliche Daten des Geschäftsverkehrs ohne die Kenntnisnahme von unbefugten Dritten durch den digitalen Raum zu übermitteln. Aber irgendwie bleibt es beim Thema Verschlüsselung zu oft bei bloßen Interessensbekundungen, oder pauschalen, in eine unbestimmte Zukunft aufgeschobenen Aussagen wie „da müsste ich mich eigentlich mal drum kümmern, stimmt“. Die Suche nach dem „warum“ dürfte hier allermeistens zu einer simplen Antwort führen: Verschlüsselung ist einfach zu kompliziert für jedermann. Zwar gibt es frei erhältliche kryptografische Software – das beste Beispiel ist „GNU Privacy Guard“ (GnuPG), mit der sich Daten ver- und entschlüsseln und elektronische Signaturen zur eindeutigen Identifizierung im Netzverkehr generieren lassen, inklusive passender Plug-Ins für Mozilla Thunderbird oder Microsoft Outlook. Aber dennoch ist es für viele zu anstrengend, zu kompliziert, sich neben den Herausforderungen des Alltags noch in ein neues, weiteres, technisches Thema einzuarbeiten. Und wenn dann auch noch etwas nicht wie gewollt funktioniert, ist es aus mit der Verschlüsselung – obwohl die Umsetzung zumindest der Theorie nach gar nicht so schwierig ist. Wir leben in einer Click-and-go-Gesellschaft, in der alles mit wenigen und einfachen Handgriffen funktionieren muss, ohne dass man groß darüber nachdenkt. Und damit bleibt zumindest die gängige E-Mail-Verschlüsselung dann doch letztlich wieder nur etwas für Nerds, Sicherheitsfanatiker oder die wirklich hartgesottenen, die sich tatsächlich so lange mit dem Thema beschäftigen, bis es endlich läuft. Und für den Rest heißt es dann wieder zwangsläufig: Unverschlüsselte Kommunikation funktioniert ja im Ergebnis auch irgendwie – und wen interessieren am Ende schon meine Daten?

Will man den jüngsten politischen Bestrebungen des BMI Glauben schenken, so interessieren sich der Theorie nach mehr Personen – und auch Institutionen – für die eigenen Daten, als einem lieb ist. So ist es nicht nur das Sinnbild des Hackers im dunklen Keller, der aus Neugier oder Schadenfreude Daten abgreift, sondern immer mehr auch der Staat, der sich die immer größer werdende Zahl digitaler Kommunikationsverbindungen für Ermittlungszwecke zunutze machen will. Und da werden dann auch schnell Forderungen laut, standardmäßig Backdoors in Messenger zu integrieren. Und genau das ist das Verhängnisvolle an der aktuellen Debatte: Es geht tatsächlich einmal um verschlüsselte Kommunikationsverbindungen, die tatsächlich fast jeder nutzt. Eben auch, weil es einfach ist – quasi Sicherheit und Privacy „on the go“: Keine Generierung und Verwaltung von Schlüsselpaaren, kein „Web of Trust“ auf irgendwelchen Public-Key-Servern, sondern installieren, anmelden, und fertig. Instant-Verschlüsselung also wirklich für jedermann – Threema, Signal, Telegram oder mittlerweile auch WhatsApp regeln das schon für mich. Und dass diese Art von Verschlüsselung effektiver denn je ist, wird eben daran deutlich, dass Sicherheitsbehörden zunehmend die Befürchtung haben, die Kontrolle über die Kommunikation im digitalen Raum zu verlieren, der sich fast jeder, der einen Handyvertrag hat, bedient. Die Schaffung von Hintertüren für Messenger würde folglich nichts Anderes bedeuten, als jenes sichere Kommunikationsmedium, das sich gerade in der Breite der Bevölkerung etabliert hat, in erheblichen Teilen zu entwerten.

Gleichwohl darf die Verschlüsselung von Kommunikationsverbindungen nicht dazu führen, dass in Einzelfällen auch öffentliche, dem staatlichen Informationsinteresse dienende Zwecke des Gemeinwohls gefährdet werden. Wie bei so vielen Dingen ist auch hier das richtige Augenmaß gefragt, das die Suche nach Alternativen bedeutet. Und dabei geht es um dreierlei Dinge: Hinreichend eng gefasste gesetzliche Ermächtigungsgrundlagen, missbrauchssichere technische Verfahren, und eine transparente Kontrolle von staatlichen Überwachungsmaßnahmen. Und natürlich, allem voran geschaltet, die wichtigste Frage: Brauchen wir ein bestimmtes Ermittlungsinstrument oder diese konkrete Eingriffsmaßnahme überhaupt? Insider denken hier vielleicht an die Vorratsdatenspeicherung – einst totgeglaubt, ersteht sie immer wieder auf, obwohl ihre Effektivität nie zweifelsfrei nachgewiesen werden konnte. Zu oft wird die Debatte um Freiheit und Sicherheit rein emotional geführt – scheinbar zwingende staatliche Notwendigkeiten stehen unverrückbaren Bürgerrechtspositionen gegenüber. Dabei sagt gerade auch die Verfassung, dass beide Interessen in einen angemessenen Ausgleich zu bringen sind, denn es gibt keine Sicherheit ohne zu schützende Freiheit, genauso, wie es keine Freiheit ohne ein Mindestmaß an Sicherheit geben kann. Für das Thema Messengerverschlüsselung bedeutet dies: Es kann nicht darum gehen, durch Backdoors mittelbar letztlich die gesamte gesicherte Kommunikation eines jeden zu entwerten, denn wenn ich weiß, dass es technisch jederzeit für Dritte – egal ob Privater oder Staat – möglich ist, mitzulesen und mitzuhören, dann fehlen mir eben jener Freiraum und jene Sicherheit, die laut Umfragen so wichtig sind und deshalb gerade den Mehrwert einer verschlüsselten Kommunikation ausmachen. Das Einbringen von Backdoors ist deshalb auch nicht aller Weisheit Schluss, sondern steht vielmehr sinnbildlich für den Anfang eines Diskurses, der zumindest zum gegenwärtigen Zeitpunkt gedanklich noch nicht zuende geführt wurde. Und wenn man mal ehrlich ist: Eigentlich geht es hier doch auch nicht wirklich um politische Fragen, sondern um die Entwicklung alternativer technisch-organisatorischer Verfahren, die es erlauben, Bürgerrechte und öffentliche Interessen jenseits von Backdoors in ebenjenen verfassungsrechtlich angemessenen Ausgleich zu bringen, der Maßstab und Voraussetzung eines jeden staatlichen Handelns ist. Zu oft wird dies in der Überwachungsgesetzgebung leider übersehen, und zu oft werden hier vornehmlich politische Diskussionen über Sachfragen geführt, die genau genommen eines gänzlich anderen Sachverstands bedürften.

Der Beitrag erschien ursprünglich im Berliner Tagesspiegel am 01.07.2019.

Sichere Kommunikation über das Internet stärken statt schwächen!

Stellungnahme der Europäischen Akademie für Informationsfreiheit und Datenschutz (EAID) zu Forderungen, Internetanbieter zum Einbau von Überwachungsschnittstellen zu verpflichten

2019-06-11 Stellungnahme Backdoors

Berlin, 11. Juni 2019

Die sichere Kommunikation über das Internet stärken statt schwächen!

Die Europäische Akademie für Informationsfreiheit und Datenschutz (EAID) lehnt die Forderungen von Innenministern und Vertretern der Sicherheitsbehörden ab, die Internetanbieter  dazu zu verpflichten, in ihre Dienste Schnittstellen einzubauen, über welche die Kommunikation an Sicherheitsbehörden ausgeleitet oder von diesen überwacht werden kann. Derartige Verfahren schwächen die Informationssicherheit, gefährden die Vertraulichkeit der Kommunikation und den effektiven Schutz personenbezogener Daten.

Angesichts der zunehmenden Bedeutung der elektronischen Kommunikation im privaten und geschäftlichen Bereich sind technische Schutzmaßnahmen gegen die unbefugte Kenntnisnahme und Einwirkung durch Dritte von zentraler Bedeutung. Insbesondere bei der Übermittlung hochsensibler Daten ist eine sichere Ende–zu–Ende–Verschlüsselung unverzichtbar. Zudem würden „Backdoors“ und vergleichbare Überwachungsmöglichkeiten unabsehbare Risiken für digital gesteuerte industrielle Prozesse („Industrie 4.0“) bewirken.

Die Vorstellung, technische Überwachungsschnittstellen ließen sich so gestalten, dass sie nur durch Behörden demokratischer Staaten unter Wahrung rechtsstaatlicher Verfahren und entsprechender Schutz– und Kontrollvorkehrungen genutzt werden können, ist wirklichkeitsfremd.

Schließlich ist darauf hinzuweisen, dass mit den 2017 vom Bundesgesetzgeber beschlossenen Befugnissen zur Durchsuchung von informationstechnischen Systemen („Bundestrojaner“) und zur Überwachung digitaler Kommunikation („Quell-TKÜ“) bereits eine bedenkliche Ausweitung der digitalen Überwachung erfolgt ist. Nicht zuletzt vor diesem Hintergrund wäre die nun ins Auge gefasste Ausweitung der Internetüberwachung auch verfassungsrechtlich hochgradig zweifelhaft.

Die EAID empfiehlt deshalb, die Pläne zum verpflichtenden Einbau von Überwachungsschnittstellen in Internetdienste nicht weiter zu verfolgen.

Kontakt: Peter Schaar

psch@eaid-berlin.de

Selbstkorrektur: Neue Kennzeichenentscheidung des Bundesverfassungsgerichts

Das Bundesverfassungsgericht hat in einer heute veröffentlichten Entscheidung die automatisierten Kennzeichenkontrollen Nach dem bayerischen Polizeiaufgabengesetz für in Teilen verfassungswidrig erklärt. Die beanstandeten gesetzlichen Vorgaben 

verstießen gegen das Recht auf informationelle Selbstbestimmung.

Der Beschluss des Ersten Senats vom 18. Dezember 2018 (1 BvR 142/15) enthält mehrere bemerkenswerte Feststellungen:

  • Das Gericht korrigiert seine bisherige Rechtsprechung im Hinblick auf den Eingriffscharakter des Einsatzes automatisierter Kennzeichenerkennungssysteme. Anders als in einer früheren Entscheidungen (BVerfGE 120, 378) stellt das Gericht fest, dass eine automatisierte Kraftfahrzeugkennzeichenkontrolle auch dann einen Eingriff in das Grundrecht auf informationelle Selbstbestimmung aller einbezogenen Personen darstellt, wenn das Ergebnis zu einem „Nichttreffer“ führt und die Daten sogleich gelöscht werden.
  • Da die Kennzeichenkontrolle in die informationelle Selbstbestimmung der Halter und Nutzer der erfassten Fahrzeuge eingreift, ist deren Zulässigkeit an dem verfassungsrechtlichen Kriterium der Verhältnismäßigkeit zu messen. Insofern ist die gesetzliche Erlaubnis zur Kennzeichenerkennung ohne das Vorliegen von Hinweisen auf schwerwiegende Gefahren verfassungswidrig.
  • Die Reichweite der für den Datenabgleich herangezogenen Fahndungsbestände ist anlassbezogen zu begrenzen. Damit nicht vereinbar ist eine Regelung, welche die für den Kennzeichenabgleich verwendeten Fahndungsdateien nicht genau bezeichnet. 
  • Landesrechtliche Regelungen der Kennzeichenerkennung sind nur zulässig, soweit das Grundgesetz entsprechende Gesetzgebungskompetenzen der Länder vorsieht. Die Strafverfolgung und der Grenzschutz gehören nicht dazu.

Die Entscheidung ist über den eigentlichen Gegenstand hinaus bedeutsam. In den letzten Jahren haben sich die Gesetzgebung des Bundes und der Länder bei verschiedenen Gesetzgebungsvorhaben auf die „alte“ Kennzeichenentscheidung (s.o.) des Bundesverfassungsgerichts bezogen, zuletzt bei den Änderungen des Straßenverkehrsgesetzes zur Einführung eines Kennzeichenscannings für die Durchsetzung von Dieselfahrverboten. Zurecht wurde schon bisher angezweifelt, ob die darin vorgesehene Erfassungen, Speicherungen und Abgleiche von Autokennzeichen und Gesichtsbildern verhältnismäßig seien. Diese Zweifel werden durch das jüngste Urteil des Bundesverfassungsgerichtes verstärkt. Das zur Rechtfertigung der Einführung der Überwachungsmaßnahmen angeführte Argument, die bloß temporäre Datenerfassung stelle keinen Grundrechtseingriff dar, ist mit dem Urteil obsolet geworden.

Auch auf die Diskussion über den Einsatz „smarter“ Videoüberwachungssysteme mit biometrischer Gesichtserkennung wird die Entscheidung des Bundesverfassungsgerichts Auswirkungen haben: Auch hier haben Befürworter damit argumentiert, es liege bei mehr als 99 % der erfassten Personen keinerlei Grundrechtseingriff vor, da die Daten ja nur temporär gespeichert und mit Fahndungs- und Gefährderdateien abgeglichen werden sollten. Das Bundesverfassungsgericht hat nun klargestellt, dass schon der Betrieb entsprechender Überwachungseinrichtungen die Grundrechte der erfassten Personen beeinträchtigt, selbst wenn deren Namen und Identität zunächst nicht bekannt sind. Entscheidend sei einzig und allein, ob eine solche Zuordnung möglich sei.

Desweiteren müssten weitere Überwachungsbefugnisse im Lichte der neuen verfassungsgerichtlichen Rechtsprechung überprüft werden, bei denen massenhaft Daten durchsucht und abgeglichen werden, etwa die polizeiliche Rasterfahndung und die „strategische Fernmeldeüberwachung“ durch den Bundesnachrichtendienst. Auch hier liegen – anders als bisher vielfach angenommen – bei „Nichttreffer-Fällen“ Grundrechtseingriffe vor, die am Maßstab der der Verhältnismäßigkeit zu messen sind.

Schließlich ist zu begrüßen, dass das Gericht in einer anderen Frage bei seiner Linie bleibt: „Zur Freiheitlichkeit des Gemeinwesens gehört es, dass sich die Bürgerinnen und Bürger grundsätzlich fortbewegen können, ohne dabei beliebig staatlich registriert zu werden … und dem Gefühl eines ständigen Überwachtwerdens ausgesetzt zu sein. .. Jederzeit an jeder Stelle unbemerkt registriert und darauf überprüft werden zu können, ob man auf irgendeiner Fahndungsliste steht oder sonst in einem Datenbestand erfasst ist, wäre damit unvereinbar. Vielmehr bedürfen solche Maßnahmen vor der Freiheit des Einzelnen eines spezifischen Grundes und sind als Eingriffe in das Grundrecht auf informationelle Selbstbestimmung rechtfertigungsbedürftig.“ (Rnr. 51)

Eine flächendeckende, präventive Massenüberwachung wäre damit nicht vereinbar.

Red Alert: Hard Brexit and Data Protection

After the House of Commons rejected the text of the treaty negotiated between the European Commission and the British Government on the withdrawal of Great Britain from the European Union (https://ec.europa.eu/commission/sites/beta-political/files/draft_withdrawal_agreement_0.pdf), a „hard brexit“ – the dissolution of the relationship without a divorce contract – has become more likely. This also has serious implications for data protection and the companies subject to it.

In its statement issued more than a year ago (http://ec.europa.eu/newsroom/just/item-detail.cfm?item_id=611943), the European Commission had already pointed out the serious consequences for data protection resulting from the departure of Great Britain. The Commission pointed out that after the Brexit, Great Britain would become a „third country“ to which the corresponding rules of the European General Data Protection Regulation (GDPR) for data transfer to countries outside the EU would apply (Art. 44 ff GDPR). 

While the cross border transfer of personal data between the member states of the European Union is permissible without restrictions under data protection law, an adequate level of data protection must be demonstrated if the data are to be transferred to third countries. The GDPR provides various instruments for this purpose.

The silver bullet would be a so-called „adequacy decision“ of the Commission (Art. 45 GDPR). On the base of such decision a transfer shall not require any specific authorisation. But it would be an unrealistic presumption such a decision can be implemented in the short term, as it is not only a question of assessing the data protection law as amended last year, but also the entire legal system, including the highly controversial Investigations Powers Act (IPA), which grants the British security authorities comprehensive powers over personal data.

Appropriate safeguards to demonstrate the adequacy of data protection at the recipient (Art. 46 GDPR) are „standard data protection clauses“, approved binding corporate rules (BCR), approved codes of conduct (CoC) and certification mechanisms.

However, until recently, it looked as if companies could take their time looking for alternatives. The text of the agreement negotiated between the Commission and the British government provides in Art. 70 ff that the GDPR (with the exception of the provisions of the seventh section governing supervisory cooperation) should continue to apply in Great Britain for the planned transitional period of two years. It was also agreed that an adequacy decision should be prepared within the transitional period.

Now that the text of the agreement is out of date, there is an urgent need for action by companies exchanging personal data between the EU 27 and business partners in the UK. By the end of March 2019, they must fulfill the requirements of the GDPR for third country transfers by means of one of the above-mentioned instruments or by means of individual contractual arrangements and, if necessary, corresponding authorisation from the competent supervisory authorities. Otherwise, the corresponding transfer transactions would be illegal. 

It is to be hoped that the European data protection supervisory authorities will assist the companies in an advisory capacity in this difficult matter.

Your 

Peter Schaar

Translated with www.DeepL.com/Translator

Alarmstufe rot: Harter Brexit und Datenschutz

Nachdem das Unterhaus den zwischen der europäischen Kommission und der britischen Regierung ausgehandelten Vertragstext zum Austritt Großbritanniens aus der Europäischen Union (https://ec.europa.eu/commission/sites/beta-political/files/draft_withdrawal_agreement_0.pdf) abgelehnt hat, ist ein „harter Brexit“ – die Auflösung der Beziehung ohne Scheidungsvertrag -wahrscheinlicher geworden. Das hat auch gravierende Wirkungen für den Datenschutz und die ihm unterworfenen Unternehmen.

Zwar hatte die Europäische Kommission bereits in ihrem vor mehr als einem Jahr abgegebenen Statement (http://ec.europa.eu/newsroom/just/item-detail.cfm?item_id=611943) auf die gravierenden Konsequenzen für den Datenschutz hingewiesen, die sich aus dem Ausscheiden Großbritanniens ergeben. Zu Recht wies Sie darauf hin, dass Großbritannien nach dem Brexit zu einem „Drittstaat“ wird, auf den die entsprechenden Regeln der DSGVO zur Datenübermittlung in Staaten außerhalb der EU anzuwenden sind (Art. 44 ff DSGVO). 

Während zwischen den Mitgliedstaaten der Europäischen Union die Übermittlung personenbezogener Daten ohne datenschutzrechtlichen Restriktionen zulässig ist, muss beim Transfer in Drittstaaten ein angemessenes Datenschutzniveau beim Empfänger nachgewiesen werden. Dafür sieht die Datenschutz-Grundverordnung verschiedene Instrumente vor.

Der „Königsweg“ wäre eine so genannte „Angemessenheitsentscheidung“ der Kommission (Art. 45 DSGVO). Es ist unrealistisch, dass eine entsprechende Entscheidung kurzfristig zu realisieren ist, denn es gilt nicht nur, das im letzten Jahr neu gefasst der britische Datenschutzgesetz zu bewerten, sondern die gesamte Rechtsordnung, darunter auch den höchst umstrittenen „Investigations Powers Act“ (IPA), welcher den britischen Sicherheitsbehörden umfassende zu Befugnisse auf personenbezogene Daten einräumt.

Garantien, mit denen die Angemessenheit des Datenschutzes beim Empfänger demonstriert werden kann (Art. 46 DSGVO), sind „Standarddatenschutzklauseln“, verbindliche Unternehmensregeln (Binding Corporate Rules – BCR), genehmigte Verhaltensregeln (Codes of Conduct – CoC) und Zertifizierungsmechanismen.

Allerdings sah es bis vor kurzem so aus, als könnten sich die Unternehmen mit der Suche nach Alternativen noch etwas Zeit lassen. Der zwischen der Kommission und der britischen Regierung ausgehandelte Vertragstext sieht in Art. 70 ff vor, dass die DSGVO (mit Ausnahme der Bestimmungen des siebenten Abschnittes, welcher die Zusammenarbeit der Aufsichtsbehörden regelt) für die vorgesehene Übergangszeit von zwei Jahren in Großbritannien weiterhin Geltung behalten sollten. Zudem war man übereingekommen, dass innerhalb der Übergangsfrist eine Angemessenheitsentscheidung vorbereitet werden sollte.

Nachdem nun der Vertragstext Makulatur ist, besteht für die Unternehmen dringlichster Handlungsbedarf, die personenbezogene Daten mit Geschäftspartnern in Großbritannien austauschen. Sie müssen bis Ende März 2019 durch eines der oben genannten Instrumente oder durch einzelvertraglichen Gestaltung und ggf. entsprechende Genehmigungen der Aufsichtsbehörden die Vorgaben der DSGVO zum Drittlandstransfer gewährleisten. Andernfalls würden die entsprechenden Übermittlungsvorgänge illegal. 

Es ist zu hoffen, dass die europäischen Datenschutzaufsichtsbehörden den Unternehmen dabei beratend zur Seite stehen.

Ihr 

Peter Schaar

EAID is supporting the Universal Guidelines on Artificial Intelligence (UGAI)

The European Academy for Freedom of Information and Data Protection (EAID) has endorsed the Universal Guidelines on Artificial Intelligence (UGAI) presented by the Civil Rights Coalition „The Public Voice“ on 23 October 2018. The guidelines are now supported by more than 50 civil society organisations.

In order to enable the UGAI to be better disseminated to the German-speaking public, we have translated the text. We do not claim any copyrights for the German-language translation – however, we naturally assume responsibility for any translation errors.

English version of the UGAI on the website of The Public Voice. Here you will also find an online form to support the guidelines.

German version of the UGAI on the website of The Public Voice

Translated with www.DeepL.com/Translator

EAID unterstützt die Universal Guidelines on Artificial Intelligence  (UGAI)

EAID unterstützt die Universal Guidelines on Artificial Intelligence  (UGAI)

Die Europäische Akademie für Informationsfreiheit und Datenschutz (EAID) unterstützt die von der Bürgerrechtskoalition „The Public Voice“ am 23. Oktober 2018 vorgelegten „Allgemeinen Leitlinien für die künstliche Intelligenz“ (Universal Guidelines on Artificial Intelligence  – UGAI). Die die Leitlinien werden inzwischen von mehr als 50 zivilgesellschaftlichen Organisationen unterstützt. 

Um den UGAI auch in der deutschsprachigen Öffentlichkeit eine bessere Verbreitung zu ermöglichen, haben wir den Text übersetzt. Für die deutschsprachige Übersetzung beanspruchen wir keine Urheberrechte – für eventuelle Übersetzungsfehler übernehmen wir aber selbstverständlich die Verantwortung.

Wortlaut der UGAI auf der Website von The Public Voice. Hier finden Sie auch ein Online-Formular zur Unterstützung der Leitlinien

Deutscher Text bei The Public Voice

 

Deutsche Übersetzung der UGAI:

Allgemeine Leitlinien für die künstliche Intelligenz 

Vorgelegt am 23. Oktober 2018 in Brüssel, Belgien

Neue Entwicklungen in der Künstlichen Intelligenz verändern die Welt. Die Veränderungen betreffen viele Bereiche, von der Wissenschaft und Industrie bis hin zu Verwaltung und Finanzen. Der Bedeutungszuwachs von KI-Entscheidungen berührt die grundlegenden Rechte auf Fairness, Rechenschaftspflicht und Transparenz. Die Ergebnisse der modernen Datenanalyse haben für die Menschen erhebliche praktische Folgen. Sie wirken sich in den Bereichen Beschäftigung, Wohnen, Kredit, Handel und Strafverfolgung aus. Viele dieser Techniken sind völlig undurchsichtig, so dass der Einzelne nicht weiß, ob er überhaupt Gegenstand einer KI-Entscheidung war und ob die Entscheidung richtig und fair getroffen wurde.

Wir schlagen diese allgemeinen Leitlinien vor, um über das Design und die Verwendung von KI zu informieren und diese zu verbessern. Die Leitlinien zielen darauf ab, den Nutzen der KI zu maximieren, das Risiko zu minimieren und den Schutz der Menschenrechte zu gewährleisten. Diese Leitlinien sollten in ethische Standards einfließen. Sie sollten in nationales Recht und internationale Vereinbarungen übernommen, in die Praxis umgesetzt und beim Entwurf von Systemen berücksichtigt werden. Wir stellen klar, dass die Hauptverantwortung für KI-Systeme bei den Institutionen zu liegen hat, welche solche Systeme finanzieren, entwickeln und einsetzen.

  1. Recht auf Transparenz. Jeder Einzelne hat das Recht, die Grundlage einer KI-basierten Entscheidung zu kennen, die ihn betrifft. Dazu gehört die Kenntnis der in die Entscheidung einfließenden Faktoren, der Verarbeitungslogik und der entscheidungsrelevanten Techniken.
  1. Recht auf menschliche Bestimmung. Jeder Einzelne hat das Recht, dass die ihn betreffenden Entscheidungen letztlich von einem Menschen getroffen werden.
  1. Identifikationspflicht. Die für das KI-System verantwortliche Institution muss der Öffentlichkeit bekannt gemacht werden.
  1. Verpflichtung zur Fairness. Die für den KI-Einsatz verantwortliche Institution muss sicherstellen, dass das KI-System keine ungerechten Verhältnisse widerspiegelt, verzerrte Ergebnisse liefert und keine unzulässig diskriminierenden Entscheidungen trifft.
  1. Folgenabschätzung und Rechenschaftspflicht. Ein KI-System sollte nur eingesetzt werden, nachdem die Zwecke, die Ziele, der Nutzen sowie die Risiken in angemessener Weise bewertet wurden. Institutionen, die KI-Systeme einsetzen, müssen für dessen Entscheidungen verantwortlich sein
  1. Richtigkeit, Zuverlässigkeit und Gültigkeit. Die Institutionen müssen die Richtigkeit, Zuverlässigkeit und Validität von Entscheidungen gewährleisten.
  1. Verpflichtung zur Datenqualität. Die Institute müssen festlegen, welche Daten in die KI-Algorithmen einfließen und sie müssen sicherstellen, dass deren Qualität und Relevanz gewährleistet ist.
  1. Verpflichtung zur Gewährleistung der öffentlichen Sicherheit. Die Institutionen müssen die Risiken für die öffentliche Sicherheit bewerten, wenn KI-Systeme Geräte steuern oder kontrollieren. Sie haben die erforderlichen Kontrollmechanismen zu implementieren, um die Sicherheit zu gewährleisten.
  1. Verpflichtung zur Cybersicherheit. Institutionen müssen KI-Systeme vor Bedrohungen schützen, die sich aus ihrer Vernetzung ergeben.
  1. Verbot der geheimen Profilerstellung. Keine Institution darf ein System zur heimlichen Erstellung von Profilen einrichten oder betreiben.
  1. Verbot des umfassenden Scorings. Kein Staat darf eine allgemeine Bewertung seiner Bürger oder Einwohner einrichten oder betreiben.
  1. Abschaltpflicht. Jede Institution, die ein KI-System betreibt, hat die positive Verpflichtung zur Abschaltung des Systems, wenn die menschliche Kontrolle über das System nicht länger gewährleistet ist.

 

Erläuterndes Memorandum und Referenzen

Kontext

Die Universal Guidelines on Artificial Intelligence (UGAI) weisen auf die wachsenden Herausforderungen durch intelligente Computersysteme hin. Sie enthalten konkrete Empfehlungen zur Verbesserung des Designs von KI-Systemen. Im Kern sollen UGAI die Transparenz und Rechenschaftspflicht für diese Systeme voranbringen und sicherstellen, dass die Menschen die Kontrolle über die von ihnen geschaffenen Systeme behalten. Nicht alle Systeme fallen in den Anwendungsbereich dieser Richtlinien. Unser Anliegen sind jene Systeme, die sich auf die Rechte der Menschen auswirken. Vor allem dürfen diese Systeme keinen Schaden anrichten.

Die Erklärung kommt noch zur rechten Zeit. Regierungen in aller Welt entwickeln politische Vorschläge und schaffen öffentliche und private Institutionen, um die Forschung und Entwicklung von „KI“ zu fördern. Dies hat enorme Auswirkungen auf die Gesellschaft, unabhängig davon, ob und inwieweit die Öffentlichkeit an der Gestaltung und Entwicklung solcher Systeme mitwirkt. Die UGAI sind eine gesellschaftliche Reaktion auf diese Herausforderungen.

Die UGAI wurden auf der Internationalen Datenschutzkonferenz 2018 veröffentlicht, einem der weltweit bedeutendsten Treffen von Technologieführern und Datenschutzexperten.

Die UGAI bauen auf der bisherigen Arbeit von wissenschaftlichen Gesellschaften, Think Tanks, NGOs und internationalen Organisationen auf. Die UGAI beinhalten Elemente der Menschenrechtslehre, des Datenschutzrechts und ethischer Richtlinien. Die Leitlinien bauen auf  etablierten Grundsätzen für die KI-Governance auf und sie schlagen neue Prinzipien vor, die bisher nicht in politischen Rahmenwerken enthalten sind.

Terminologie

Der Begriff „Künstliche Intelligenz“ (KI) ist weit und unpräzise zugleich. Er beinhaltet Aspekte des maschinellen Lernens, regelbasierte Entscheidungsfindung und andere Computertechniken. Es gibt sogar unterschiedliche Meinungen darüber, ob Künstliche Intelligenz überhaupt möglich ist. Die UGAI räumen lediglich ein, dass der Begriff KI im allgemeinen Sprachgebrauch ein breites Spektrum verwandter Themen abdeckt und sie verwenden den Begriff, um die aktuelle Debatte anzuregen. Die Leitlinien versuchen nicht, die begrifflichen Grenzen von KI zu definieren, außer dass die KI einen gewissen Grad an automatisierter Entscheidungsfindung erfordert. Der Begriff „Leitlinien“ folgt der Praxis politischer Festlegungen, die sich in erster Linie an Regierungen und private Unternehmen richten.

Die UGAI enthalten Verpflichtungen für „Institutionen“ und Rechte der „Einzelnen“. Dies ergibt sich aus den fairen Informationspraktiken im Bereich des Datenschutzes. Die UGAI basieren auf dem Schutz des Einzelnen als grundlegendem Ziel. Unter öffentlichen und privaten Institutionen werden diejenigen verstanden, die KI-Systeme entwickeln und einsetzen. Der Begriff „Institution“ wurde anstelle des vertrauteren Begriffs „Organisation“ gewählt, um den dauerhaften und nachhaltigen Charakter der in den Leitlinien festgelegten Verpflichtungen zu unterstreichen. Ein Prinzip richtet sich an „nationale Regierungen“. Der Grund dafür wird im Folgenden erläutert.

Anwendung

Diese Leitlinien sollten in ethische Normen aufgenommen, in nationales Recht und internationale Vereinbarungen übernommen und in die Gestaltung von Systemen integriert werden.

Die Prinzipien

Die Elemente des Transparenzprinzips finden sich in mehreren modernen Datenschutzgesetzen, darunter dem US-Datenschutzrecht, der EU-Datenschutzrichtlinie, der Datenschutzgrundverordnung und in dem Übereinkommen 108 des Europarates. Dieses Prinzip soll eine unabhängige Rechenschaftspflicht für automatisierte Entscheidungen ermöglichen, wobei der Schwerpunkt auf dem Recht der Einzelnen liegt, die Gründe von für sie nachteiligen Entscheidungen zu kennen. Auch wenn es einem Einzelnen in der Praxis vielleicht nicht immer möglich ist, die Grundlagen einer bestimmten Entscheidung richtig zu interpretieren, ist es nicht überflüssig, eine solche Erklärung zu ermöglichen.

Das Recht auf eine menschliche Bestimmung bekräftigt, dass Menschen und nicht Maschinen für automatisierte Entscheidungen verantwortlich sind. In vielen Fällen, wie beispielsweise beim Betrieb eines autonomen Fahrzeugs, wäre es nicht möglich oder praktikabel, eine menschliche Entscheidung vor einer automatisierten Entscheidung einzufügen. Das ändert aber nichts an der Notwendigkeit, die Rechenschaftspflicht zu gewährleisten. Wenn also ein automatisiertes System versagt, sollte entsprechend diesem Prinzip eine menschliche Beurteilung des Ergebnisses vorgenommen werden.

Identifizierungspflicht. Dieses Prinzip reagiert auf die Identifikations-Asymmetrie, die bei der Interaktion zwischen Individuen und KI-Systemen entsteht. Ein KI-System weiß typischerweise sehr viel über eine Person; die Person kennt vielleicht nicht einmal den Betreiber des KI-Systems. Die Identifizierungspflicht bildet die Grundlage für die KI-Verantwortlichkeit, die darin besteht, die Identität eines KI-Systems und der verantwortlichen Institution klarzustellen.

Die Fairness-Verpflichtung erkennt an, dass alle automatisierten Systeme Entscheidungen treffen, die Vorurteile und Diskriminierung widerspiegeln. Aber solche Entscheidungen sollten nicht normativ ungerecht sein. Auf die Frage, was ungerecht oder unzulässig ist, gibt es keine einfache Antwort. Die Bewertung hängt oft vom Kontext ab. Die Fairness-Verpflichtung macht jedoch deutlich, dass eine Bewertung der tatsächlichen Ergebnisse allein nicht ausreicht, um ein KI-System zu bewerten. Auch die normativen Folgen müssen bewertet werden, einschließlich derjenigen, die bereits vor dem KI-Einsatz existierten oder durch ein KI-System verstärkt werden können.

Die Folgenabschätzungs- und Rechenschaftspflicht bezieht sich auf die Verpflichtung, ein KI-System vor und während der Implementierung zu beurteilen. Was die Folgenabschätzung betrifft, so besteht ein zentraler Zweck dieser Verpflichtung darin festzustellen, ob ein KI-System eingerichtet werden sollte. Ergibt eine Folgenabschätzung erhebliche Risiken, wie sie in den Grundsätzen zur öffentlichen Sicherheit und Cybersicherheit beschrieben sind, so sollte das Projekt nicht weiter verfolgt werden.

Die Verpflichtungen zur Genauigkeit, Zuverlässigkeit und Gültigkeit legen die Hauptverantwortlichkeiten fest, die mit dem Ergebnis automatisierter Entscheidungen verbunden sind. Die Aspekte sind sowohl einzeln als auch in der Gesamtschau zu interpretieren.

Das Prinzip der Datenqualität folgt aus den vorhergehenden Verpflichtungen.

Die Verpflichtung zur öffentlichen Sicherheit reagiert darauf, dass KI-Systeme Geräte in der physischen Welt steuern. Aus diesem Grund müssen die Institutionen sowohl die damit verbundenen Risiken bewerten als auch angemessene Vorsichtsmaßnahmen ergreifen, welche den Risiken begegnen.

Die Cybersicherheitsverpflichtung folgt aus der Verpflichtung zur öffentlichen Sicherheit und unterstreicht das Risiko, dass selbst gut gestaltete Systeme das Ziel feindlicher Akteure sein können. Wer KI-Systeme entwickelt und einsetzt, muss diese Risiken berücksichtigen.

Das Verbot der heimlichen Profilbildung folgt aus der Identifizierungspflicht. Ziel ist es, die bei KI-Systemen zunehmend auftretende Informationsasymmetrie zu vermeiden und die Möglichkeit einer unabhängigen Rechenschaftspflicht zu gewährleisten.

Das Verbot des umfassenden Scorings soll dem Risiko begegnen, dass eine Regierung dem Individuum einen einzigen, multifunktionalen Scorewert zuweist. Das Datenschutzrecht beurteilt universelle Identifikatoren, die die Profilerstellung von Personen ermöglichen, negativ. Solche Identifikatoren sind vielfach reguliert und teilweise verboten. Noch größer ist die Sorge im Hinblick auf eine umfassende individuelle Bewertung, die als „einheitlicher Scorewert“ bezeichnet wird. Ein einheitlicher Score spiegelt nicht nur ein umfassendes Profil sondern auch ein vorgegebenes Ergebnis über mehrere Bereiche der menschlichen Aktivität hinweg wider. Es besteht die Gefahr, dass es auch im privaten Sektor zu einheitlichen Scores kommt. Zwar ist denkbar, solche Systeme dem Wettbewerb auf dem Markt und staatlichen Vorschriften zu unterwerfen. Aber da der Einzelne keine Möglichkeit hat, einem von einer Regierung zugewiesenen einheitlichen Score entgegenzutreten, sollten solche Scores verboten werden.

Die Abschaltpflicht ist das ultimative Bekenntnis zur Verantwortlichkeit für ein KI-System. Die Verpflichtung setzt voraus, dass die Systeme unter menschlicher Kontrolle bleiben müssen. Ist dies nicht mehr möglich, sollte das System abgeschaltet werden.

(Übersetzt aus dem Englischen von Peter Schaar unter Verwendung von deepl.com)

Indisches Datenschutzrecht: Aadhaar wird für verfassungskonform erklärt

In seinem Urteil vom 26.09.2018 befindet der Oberste indische Gerichtshof die Biometriedatenbank „Aadhaar“ für verfassungskonform. Vier von fünf Richtern stimmten für die Vereinbarkeit von Aadhaar mit der indischen Verfassung. Die Datennutzung durch private Unternehmen soll jedoch zukünftig eingeschränkt werden.

Die bisherige Rechtslage im indischen Datenschutz

In Indien existiert bisher kein einheitliches Datenschutzrecht, sondern es bestehen sektorspezifische Regelungen wie z.B. für den Finanz- und Telekommunikationsbereich. Daneben ist auf die Regelungen im Rahmen der Information Technology Rules von 2011 hinzuweisen, welche jedoch ausschließlich für private Unternehmen gelten und den Schutz besonders sensibler Daten umfassen. Für die Aadhaar Datenbank gilt der Aadhaar Act aus dem Jahr 2016, der die Sicherheit der in der Datenbank gespeicherten Daten sicherstellen soll. Ob Aadhaar mit der indischen Verfassung konform ist, wurde diesen September vom indischen Verfassungsgericht entschieden.

Was ist Aadhaar?

Aadhaar ist eine zwölfstellige Identifikationsnummer, die von der Unique Identification Authority of India (UIDAI) an die indischen Bürger vergeben wird. Unter der Aadhaar-Nummer werden in einer zentralen Datenbank (Central Identities Data Repository – CIDR) biometrische Merkmale (Fingerabdrücke aller zehn Finger, Iris-Scans beider Augen, Foto des Gesichtes) und demographische Informationen (Name, Geburtsdatum, Geschlecht, Adresse) erfasst. Mit 1,2 Milliarden registrierten Menschen ist Aadhaar die größte biometrische Datenbank der Welt. Ziel des Aadhaar-Programms ist die Verhinderung von Sozialbetrug, indem Sozialleistungen an die Identifizierung durch Aadhaar gebunden werden. Daneben sollen Bürokratie abgebaut, die Verwaltung digitalisiert und der Zugang zu Dienstleistungen auch den ärmeren Bevölkerungsschichten ermöglicht werden. Eingeführt wurde Aadhaar 2009 als freiwillige Identifikationsdatenbank. Obwohl diese offiziell immer noch als freiwillig bezeichnet wird, ist Aadhaar mittlerweile für die Inanspruchnahme zahlreicher Leistungen und Dienste faktisch verpflichtend – so müssen beispielsweise auch Bankkonten, Steuererklärungen und SIM-Karten zwingend mit der Aadhaar-Nummer verbunden werden. Aadhaar wurde von der konservativen BJP-Partei (Bharatiya Janata Party), die seit 2014 die Regierung bildet, über die Jahre stetig erweitert.

Was es mit der Kritik an Aadhaar sowie dem Urteil des Obersten indischen Gerichtshofes auf sich hat, kann an dieser Stelle im Beck-Blog nachgelesen werden.

« Older Entries