Tag Archives: Scoring

EAID unterstützt die Universal Guidelines on Artificial Intelligence  (UGAI)

EAID unterstützt die Universal Guidelines on Artificial Intelligence  (UGAI)

Die Europäische Akademie für Informationsfreiheit und Datenschutz (EAID) unterstützt die von der Bürgerrechtskoalition „The Public Voice“ am 23. Oktober 2018 vorgelegten „Allgemeinen Leitlinien für die künstliche Intelligenz“ (Universal Guidelines on Artificial Intelligence  – UGAI). Die die Leitlinien werden inzwischen von mehr als 50 zivilgesellschaftlichen Organisationen unterstützt. 

Um den UGAI auch in der deutschsprachigen Öffentlichkeit eine bessere Verbreitung zu ermöglichen, haben wir den Text übersetzt. Für die deutschsprachige Übersetzung beanspruchen wir keine Urheberrechte – für eventuelle Übersetzungsfehler übernehmen wir aber selbstverständlich die Verantwortung.

Wortlaut der UGAI auf der Website von The Public Voice. Hier finden Sie auch ein Online-Formular zur Unterstützung der Leitlinien

Deutscher Text bei The Public Voice

 

Deutsche Übersetzung der UGAI:

Allgemeine Leitlinien für die künstliche Intelligenz 

Vorgelegt am 23. Oktober 2018 in Brüssel, Belgien

Neue Entwicklungen in der Künstlichen Intelligenz verändern die Welt. Die Veränderungen betreffen viele Bereiche, von der Wissenschaft und Industrie bis hin zu Verwaltung und Finanzen. Der Bedeutungszuwachs von KI-Entscheidungen berührt die grundlegenden Rechte auf Fairness, Rechenschaftspflicht und Transparenz. Die Ergebnisse der modernen Datenanalyse haben für die Menschen erhebliche praktische Folgen. Sie wirken sich in den Bereichen Beschäftigung, Wohnen, Kredit, Handel und Strafverfolgung aus. Viele dieser Techniken sind völlig undurchsichtig, so dass der Einzelne nicht weiß, ob er überhaupt Gegenstand einer KI-Entscheidung war und ob die Entscheidung richtig und fair getroffen wurde.

Wir schlagen diese allgemeinen Leitlinien vor, um über das Design und die Verwendung von KI zu informieren und diese zu verbessern. Die Leitlinien zielen darauf ab, den Nutzen der KI zu maximieren, das Risiko zu minimieren und den Schutz der Menschenrechte zu gewährleisten. Diese Leitlinien sollten in ethische Standards einfließen. Sie sollten in nationales Recht und internationale Vereinbarungen übernommen, in die Praxis umgesetzt und beim Entwurf von Systemen berücksichtigt werden. Wir stellen klar, dass die Hauptverantwortung für KI-Systeme bei den Institutionen zu liegen hat, welche solche Systeme finanzieren, entwickeln und einsetzen.

  1. Recht auf Transparenz. Jeder Einzelne hat das Recht, die Grundlage einer KI-basierten Entscheidung zu kennen, die ihn betrifft. Dazu gehört die Kenntnis der in die Entscheidung einfließenden Faktoren, der Verarbeitungslogik und der entscheidungsrelevanten Techniken.
  1. Recht auf menschliche Bestimmung. Jeder Einzelne hat das Recht, dass die ihn betreffenden Entscheidungen letztlich von einem Menschen getroffen werden.
  1. Identifikationspflicht. Die für das KI-System verantwortliche Institution muss der Öffentlichkeit bekannt gemacht werden.
  1. Verpflichtung zur Fairness. Die für den KI-Einsatz verantwortliche Institution muss sicherstellen, dass das KI-System keine ungerechten Verhältnisse widerspiegelt, verzerrte Ergebnisse liefert und keine unzulässig diskriminierenden Entscheidungen trifft.
  1. Folgenabschätzung und Rechenschaftspflicht. Ein KI-System sollte nur eingesetzt werden, nachdem die Zwecke, die Ziele, der Nutzen sowie die Risiken in angemessener Weise bewertet wurden. Institutionen, die KI-Systeme einsetzen, müssen für dessen Entscheidungen verantwortlich sein
  1. Richtigkeit, Zuverlässigkeit und Gültigkeit. Die Institutionen müssen die Richtigkeit, Zuverlässigkeit und Validität von Entscheidungen gewährleisten.
  1. Verpflichtung zur Datenqualität. Die Institute müssen festlegen, welche Daten in die KI-Algorithmen einfließen und sie müssen sicherstellen, dass deren Qualität und Relevanz gewährleistet ist.
  1. Verpflichtung zur Gewährleistung der öffentlichen Sicherheit. Die Institutionen müssen die Risiken für die öffentliche Sicherheit bewerten, wenn KI-Systeme Geräte steuern oder kontrollieren. Sie haben die erforderlichen Kontrollmechanismen zu implementieren, um die Sicherheit zu gewährleisten.
  1. Verpflichtung zur Cybersicherheit. Institutionen müssen KI-Systeme vor Bedrohungen schützen, die sich aus ihrer Vernetzung ergeben.
  1. Verbot der geheimen Profilerstellung. Keine Institution darf ein System zur heimlichen Erstellung von Profilen einrichten oder betreiben.
  1. Verbot des umfassenden Scorings. Kein Staat darf eine allgemeine Bewertung seiner Bürger oder Einwohner einrichten oder betreiben.
  1. Abschaltpflicht. Jede Institution, die ein KI-System betreibt, hat die positive Verpflichtung zur Abschaltung des Systems, wenn die menschliche Kontrolle über das System nicht länger gewährleistet ist.

 

Erläuterndes Memorandum und Referenzen

Kontext

Die Universal Guidelines on Artificial Intelligence (UGAI) weisen auf die wachsenden Herausforderungen durch intelligente Computersysteme hin. Sie enthalten konkrete Empfehlungen zur Verbesserung des Designs von KI-Systemen. Im Kern sollen UGAI die Transparenz und Rechenschaftspflicht für diese Systeme voranbringen und sicherstellen, dass die Menschen die Kontrolle über die von ihnen geschaffenen Systeme behalten. Nicht alle Systeme fallen in den Anwendungsbereich dieser Richtlinien. Unser Anliegen sind jene Systeme, die sich auf die Rechte der Menschen auswirken. Vor allem dürfen diese Systeme keinen Schaden anrichten.

Die Erklärung kommt noch zur rechten Zeit. Regierungen in aller Welt entwickeln politische Vorschläge und schaffen öffentliche und private Institutionen, um die Forschung und Entwicklung von „KI“ zu fördern. Dies hat enorme Auswirkungen auf die Gesellschaft, unabhängig davon, ob und inwieweit die Öffentlichkeit an der Gestaltung und Entwicklung solcher Systeme mitwirkt. Die UGAI sind eine gesellschaftliche Reaktion auf diese Herausforderungen.

Die UGAI wurden auf der Internationalen Datenschutzkonferenz 2018 veröffentlicht, einem der weltweit bedeutendsten Treffen von Technologieführern und Datenschutzexperten.

Die UGAI bauen auf der bisherigen Arbeit von wissenschaftlichen Gesellschaften, Think Tanks, NGOs und internationalen Organisationen auf. Die UGAI beinhalten Elemente der Menschenrechtslehre, des Datenschutzrechts und ethischer Richtlinien. Die Leitlinien bauen auf  etablierten Grundsätzen für die KI-Governance auf und sie schlagen neue Prinzipien vor, die bisher nicht in politischen Rahmenwerken enthalten sind.

Terminologie

Der Begriff „Künstliche Intelligenz“ (KI) ist weit und unpräzise zugleich. Er beinhaltet Aspekte des maschinellen Lernens, regelbasierte Entscheidungsfindung und andere Computertechniken. Es gibt sogar unterschiedliche Meinungen darüber, ob Künstliche Intelligenz überhaupt möglich ist. Die UGAI räumen lediglich ein, dass der Begriff KI im allgemeinen Sprachgebrauch ein breites Spektrum verwandter Themen abdeckt und sie verwenden den Begriff, um die aktuelle Debatte anzuregen. Die Leitlinien versuchen nicht, die begrifflichen Grenzen von KI zu definieren, außer dass die KI einen gewissen Grad an automatisierter Entscheidungsfindung erfordert. Der Begriff „Leitlinien“ folgt der Praxis politischer Festlegungen, die sich in erster Linie an Regierungen und private Unternehmen richten.

Die UGAI enthalten Verpflichtungen für „Institutionen“ und Rechte der „Einzelnen“. Dies ergibt sich aus den fairen Informationspraktiken im Bereich des Datenschutzes. Die UGAI basieren auf dem Schutz des Einzelnen als grundlegendem Ziel. Unter öffentlichen und privaten Institutionen werden diejenigen verstanden, die KI-Systeme entwickeln und einsetzen. Der Begriff „Institution“ wurde anstelle des vertrauteren Begriffs „Organisation“ gewählt, um den dauerhaften und nachhaltigen Charakter der in den Leitlinien festgelegten Verpflichtungen zu unterstreichen. Ein Prinzip richtet sich an „nationale Regierungen“. Der Grund dafür wird im Folgenden erläutert.

Anwendung

Diese Leitlinien sollten in ethische Normen aufgenommen, in nationales Recht und internationale Vereinbarungen übernommen und in die Gestaltung von Systemen integriert werden.

Die Prinzipien

Die Elemente des Transparenzprinzips finden sich in mehreren modernen Datenschutzgesetzen, darunter dem US-Datenschutzrecht, der EU-Datenschutzrichtlinie, der Datenschutzgrundverordnung und in dem Übereinkommen 108 des Europarates. Dieses Prinzip soll eine unabhängige Rechenschaftspflicht für automatisierte Entscheidungen ermöglichen, wobei der Schwerpunkt auf dem Recht der Einzelnen liegt, die Gründe von für sie nachteiligen Entscheidungen zu kennen. Auch wenn es einem Einzelnen in der Praxis vielleicht nicht immer möglich ist, die Grundlagen einer bestimmten Entscheidung richtig zu interpretieren, ist es nicht überflüssig, eine solche Erklärung zu ermöglichen.

Das Recht auf eine menschliche Bestimmung bekräftigt, dass Menschen und nicht Maschinen für automatisierte Entscheidungen verantwortlich sind. In vielen Fällen, wie beispielsweise beim Betrieb eines autonomen Fahrzeugs, wäre es nicht möglich oder praktikabel, eine menschliche Entscheidung vor einer automatisierten Entscheidung einzufügen. Das ändert aber nichts an der Notwendigkeit, die Rechenschaftspflicht zu gewährleisten. Wenn also ein automatisiertes System versagt, sollte entsprechend diesem Prinzip eine menschliche Beurteilung des Ergebnisses vorgenommen werden.

Identifizierungspflicht. Dieses Prinzip reagiert auf die Identifikations-Asymmetrie, die bei der Interaktion zwischen Individuen und KI-Systemen entsteht. Ein KI-System weiß typischerweise sehr viel über eine Person; die Person kennt vielleicht nicht einmal den Betreiber des KI-Systems. Die Identifizierungspflicht bildet die Grundlage für die KI-Verantwortlichkeit, die darin besteht, die Identität eines KI-Systems und der verantwortlichen Institution klarzustellen.

Die Fairness-Verpflichtung erkennt an, dass alle automatisierten Systeme Entscheidungen treffen, die Vorurteile und Diskriminierung widerspiegeln. Aber solche Entscheidungen sollten nicht normativ ungerecht sein. Auf die Frage, was ungerecht oder unzulässig ist, gibt es keine einfache Antwort. Die Bewertung hängt oft vom Kontext ab. Die Fairness-Verpflichtung macht jedoch deutlich, dass eine Bewertung der tatsächlichen Ergebnisse allein nicht ausreicht, um ein KI-System zu bewerten. Auch die normativen Folgen müssen bewertet werden, einschließlich derjenigen, die bereits vor dem KI-Einsatz existierten oder durch ein KI-System verstärkt werden können.

Die Folgenabschätzungs- und Rechenschaftspflicht bezieht sich auf die Verpflichtung, ein KI-System vor und während der Implementierung zu beurteilen. Was die Folgenabschätzung betrifft, so besteht ein zentraler Zweck dieser Verpflichtung darin festzustellen, ob ein KI-System eingerichtet werden sollte. Ergibt eine Folgenabschätzung erhebliche Risiken, wie sie in den Grundsätzen zur öffentlichen Sicherheit und Cybersicherheit beschrieben sind, so sollte das Projekt nicht weiter verfolgt werden.

Die Verpflichtungen zur Genauigkeit, Zuverlässigkeit und Gültigkeit legen die Hauptverantwortlichkeiten fest, die mit dem Ergebnis automatisierter Entscheidungen verbunden sind. Die Aspekte sind sowohl einzeln als auch in der Gesamtschau zu interpretieren.

Das Prinzip der Datenqualität folgt aus den vorhergehenden Verpflichtungen.

Die Verpflichtung zur öffentlichen Sicherheit reagiert darauf, dass KI-Systeme Geräte in der physischen Welt steuern. Aus diesem Grund müssen die Institutionen sowohl die damit verbundenen Risiken bewerten als auch angemessene Vorsichtsmaßnahmen ergreifen, welche den Risiken begegnen.

Die Cybersicherheitsverpflichtung folgt aus der Verpflichtung zur öffentlichen Sicherheit und unterstreicht das Risiko, dass selbst gut gestaltete Systeme das Ziel feindlicher Akteure sein können. Wer KI-Systeme entwickelt und einsetzt, muss diese Risiken berücksichtigen.

Das Verbot der heimlichen Profilbildung folgt aus der Identifizierungspflicht. Ziel ist es, die bei KI-Systemen zunehmend auftretende Informationsasymmetrie zu vermeiden und die Möglichkeit einer unabhängigen Rechenschaftspflicht zu gewährleisten.

Das Verbot des umfassenden Scorings soll dem Risiko begegnen, dass eine Regierung dem Individuum einen einzigen, multifunktionalen Scorewert zuweist. Das Datenschutzrecht beurteilt universelle Identifikatoren, die die Profilerstellung von Personen ermöglichen, negativ. Solche Identifikatoren sind vielfach reguliert und teilweise verboten. Noch größer ist die Sorge im Hinblick auf eine umfassende individuelle Bewertung, die als „einheitlicher Scorewert“ bezeichnet wird. Ein einheitlicher Score spiegelt nicht nur ein umfassendes Profil sondern auch ein vorgegebenes Ergebnis über mehrere Bereiche der menschlichen Aktivität hinweg wider. Es besteht die Gefahr, dass es auch im privaten Sektor zu einheitlichen Scores kommt. Zwar ist denkbar, solche Systeme dem Wettbewerb auf dem Markt und staatlichen Vorschriften zu unterwerfen. Aber da der Einzelne keine Möglichkeit hat, einem von einer Regierung zugewiesenen einheitlichen Score entgegenzutreten, sollten solche Scores verboten werden.

Die Abschaltpflicht ist das ultimative Bekenntnis zur Verantwortlichkeit für ein KI-System. Die Verpflichtung setzt voraus, dass die Systeme unter menschlicher Kontrolle bleiben müssen. Ist dies nicht mehr möglich, sollte das System abgeschaltet werden.

(Übersetzt aus dem Englischen von Peter Schaar unter Verwendung von deepl.com)

Das Grundrecht, nicht bewertet zu werden – Privacy by Default

Wie in der realen Welt stoßen auch im virtuellen Raum Interessen aufeinander, die vielfach nicht vereinbar sind. Urheber und Verlage haben andere Interessen als die Betreiber von Suchmaschinen und sozialen Netzwerken. Nutzer interaktiver Dienste haben den Anspruch auf Schutz ihrer Grundrechte und ihres Selbstbestimmungsrechts nicht nur gegenüber dem Staat, sondern auch gegenüber Unternehmen, die ihre Daten in unvorstellbarem Maß einsammeln und zu Geld machen.

Unternehmen und staatliche Stellen erfahren immer mehr über unsere persönlichen Verhältnisse, Interessen und alltägliche Verhaltensweisen. Und sie ziehen aus den angehäuften Daten Schlussfolgerungen, die teils erhebliche Auswirkungen für die Betroffenen haben: Zu welchen Konditionen ihnen bestimmte Produkte angeboten werden, ob sie kreditwürdig sind, welche Versicherungsprämie sie zu zahlen haben oder ob sie an Bord eines Flugzeuges gelassen werden. Dagegen erfahren die so Bewerteten ziemlich wenig darüber, was mit ihren Daten geschieht, wer sie erhält und mit welchen Verfahren automatisierte Werturteile gebildet werden. Das jüngste Urteil des Bundesgerichtshofs zum Auskunftsrecht gegenüber der SCHUFA verdeutlicht, dass es einfach nicht ausreicht, Transparenz auf die gespeicherten Daten zu beschränken. Vielmehr muss gesetzlich garantiert werden, dass die Betroffenen nachvollziehen können, wie mit ihren Daten umgegangen wird. In einer zunehmend von automatisierten Entscheidungen geprägten Welt kann es nicht mehr hingenommen werden, dass das Geschäftsgeheimnis an einem Algorithmus höher gewichtet wird als das Recht des Einzelnen auf informationelle Selbstbestimmung.

Transparenz ist eine notwendige, jedoch keine hinreichende Bedingung des Selbstbestimmungsrechts im Zeitalter ubiquitärer Datenverarbeitung. Auch heute muss der Grundsatz gelten, im Regelfall nicht automatisiert beobachtet, nicht in seinem Verhalten registriert und nicht bewertet zu werden. Das setzt striktere Regeln darüber voraus, wie Technik in unsere Alltagsgegenstände einzieht. Smart TVs, die unseren Fernsehkonsum registrieren, Spielekonsolen, die unseren emotionalen Zustand aufzeichnen und Kraftfahrzeuge, in denen unser Fahrverhalten und unser Aufenthaltsort registriert wird, stellen die informationelle Selbstbestimmung weitaus stärker in Frage als die klassische, überwiegend sichtbare Videoüberwachung. Wer registriert und beobachtet werden will, den sollte man nicht daran hindern, entsprechende Features freizuschalten. Aber die Voreinstellung muss sein: Keine Beobachtung, keine Registrierung. „Privacy by Default“ – voreingestellter Datenschutz ist angesagt. Entsprechende Ansätze im Vorschlag der Europäischen Kommission in der Datenschutz-Grundverordnung  bieten dafür einen guten Anknüpfungspunkt.

Ihr

Peter Schaar

Die SCHUFA und Big Data – BMJ übernehmen Sie!

Die ablehnende Entscheidung des Bundesgerichtshofs zu einem umfassenden Auskunftsrecht gegenüber der SCHUFA hat erhebliche Konsequenzen. Letztlich geht es darum, ob der Datenschutz auch dort greift, wo auf Grund („bloß“) statistischer Zusammenhänge auf individuelles Verhalten geschlossen wird. Denn auch solche statistische Bewertungen ziehen erhebliche persönliche Konsequenzen nach sich, etwa ob ein Kredit vergeben wird. Auch auch bei der existentiellen Frage, ob ich als Mieter akzeptiert werde, kann der Scorewert eine Rolle spielen. Der SCHUFA-Score funktioniert dabei ähnlich wie Big Data-Anwendungen, die uns tagtäglich und überall in unserem Alltag beobachten und bewerten.

Die SCHUFA beschränkt sich seit langem nicht mehr darauf, Banken vor „schwarzen Schafen“ zu warnen, die ihre Kredite nicht ordnungsgemäß zurückgezahlt haben. Vielmehr werden alle möglichen Informationen ausgewertet, um die Kreditwürdigkeit eines (potentiellen) Kunden mittels eine Kopfnote (Scorewert) zu beurteilen. Der auf der Grundlage eines mathematisch-statistischen Verfahrens errechnete Scorewert soll Banken, Versandhändlern, Telekommunikationsunternehmen und Vermietern die Wahrscheinlichkeit des künftigen individuellen Zahlungsverhaltens offenbaren.

Selbst wer überhaupt niemals einen Kredit aufgenommen oder ihn pünktlich zurückgezahlt hat, kann einen schlechten Scorewert erhalten. Denn Faktoren wie Alter, Geschlecht oder Wohnort, die Dauer eines Arbeitsverhältnisses können den Scorewert negativ beeinflussen.

Dabei greift das „Scoring“ immer weiter um sich: Unser Surfverhalten im Internet wird bewertet, um uns passende Werbebotschaften zuzusenden („Behavioral Targeting“), Versicherungen werten aus, wie wir mit dem Auto unterwegs sind und berechnen auf dieser Grundlage unsere Policen („Pay as you drive“) und US-Sicherheitsbehörden bewerten Fluggastdaten, Telefon- und Internetdaten, um potentielle Terroristen ausfindig zu machen. Bei solchen „Big Data“-Verfahren können wir immer weniger selbst über die Preisgabe und Verwendung unserer Daten bestimmen.

Hier brauchen wir zumindest umfassende Transparenz. Zwar müssen uns Kreditauskunfteien seit 2010 einmal im Jahr einen kostenlosen „Kontoauszug“ über die gespeicherten Daten geben. Auch haben sie uns über wesentliche Faktoren zu informieren, die in Scorewerte eingeflossen sind. Das Urteil des Bundesgerichtshofs verdeutlicht aber, dass dies nicht ausreicht. Der BGH hat nämlich festgestellt, dass die SCHUFA über die „Scoreformel“, also die Gewichtung und Berechnung der Scorewerte, keine Auskunft erteilen muss, weil es sich dabei um ein Betriebs- und Geschäftsgeheimnis handelt. Deshalb muss jetzt der Gesetzgeber hier für die notwendige Transparenz sorgen. Nicht nur die beim Scoring verwendeten Daten müssen offengelegt werden, sondern auch, wie daraus eine Kopfnote wird.

Dies ist eine schöne und wichtige Aufgabe für den neuen Bundesjustizminister Maas und seine beiden dem Verbraucherschutz verpflichteten Staatssekretäre Billen und Kelber.

BMJ über nehmen Sie!
Ihr

Peter Schaar