Die Anwendung „Live Time Intelligence“ des umstrittenen amerikanischen Unternehmens Banjo, die nach Angaben des Unternehmens mithilfe künstlicher Intelligenz (KI) Echtzeit-Aufklärungsinformationen erstellen und damit „Predictive Policing“ ermöglichen soll, enthält keine Spur von KI. In einem Testbericht der Regierung heißt es: „Banjo verwendet keine Techniken, die der Industriedefinition der künstlichen Intelligenz entsprechen.“
Versprochene automatische Aufdeckung von Straftaten
Das Big-Data-Unternehmen machte letztes Jahr Schlagzeilen, als bekannt wurde, dass der Bundesstaat Utah einen Vertrag über 20,7 Millionen US-Dollar mit ihm unterzeichnet hatte. Städte und Gemeinden müssen dem Start-up Zugang zu Videoaufzeichnungen von staatlichen Überwachungskameras, Notrufsystemen, Bewegungsdaten öffentlicher Fahrzeuge und anderen sensiblen Informationen gewähren. Im Gegenzug versprach Banjo, Anzeichen gefährlicher Szenarien wie Kindesentführungen, Terrorismus, Schießereien oder organisierte Verbrechen im Zusammenhang mit dem Drogenhandel zu erkennen und zu alarmieren.
Im Mai wurde bekannt, dass der Mitbegründer des Unternehmens, Damien Patton, als Jugendlicher Mitglied des Ku Klux Klan war und an einer Schießerei in einer Synagoge in Nashville beteiligt war. Der Generalstaatsanwalt von Utah und der Generalstaatsanwalt Sean Reyes setzten daraufhin den Vertrag aus. Der Republikaner befahl einer unabhängigen Stelle, die angebliche KI-Software auf mögliche Verzerrungen und Datenschutzverletzungen zu überwachen.
Zugewiesener Wirtschaftsprüfer John Dougall wurde Botschaft, die er zusammen mit einer speziell geschaffenen Kommission zum Schutz der Privatsphäre und gegen Diskriminierung gründete, die er letzte Woche veröffentlichte. Dementsprechend konnten die Inspektoren seitdem keine Vorspannung im System feststellen habe keinen Algorithmus verwendetdas hätte mit korrekt geladenen Trainingsdaten gespeist werden können.
Versprochene Funktionen fehlen
In vielerlei Hinsicht war das Programm auch Vaporware, die nicht die versprochene Funktionalität enthielt. „Banjo erklärte, sie hätten eine Vereinbarung getroffen, Daten von Twitter zu sammeln“, schrieb Dougall in dem Bericht an das Parteikollege Reyes. „Es gab jedoch keine Hinweise darauf, dass Twitter-Daten in Live Time integriert wurden.“ ein Laut der Meldung Ex-Banjo-Mitarbeiter sollen einen Ableger mit der Firma Pink Unicorn Labs gegründet haben, der mithilfe einer Reihe unauffällig aussehender Tracking-Apps heimlich Daten aus sozialen Netzwerken sammelt.
Das von Banjo angekündigte Beispiel, in dem das System auf eine simulierte Kindesentführung reagierte, wurde vom Justizministerium nicht validiert, sondern einfach akzeptiert, kritisiert Dougall. Das Ergebnis wurde wahrscheinlich von einem erfahrenen Humandatenanalysten geliefert, „da Live Time nicht über die beworbene KI-Technologie verfügte“.
Es ist klar, dass „bestimmte wichtige Sicherheitsmerkmale“ bei der Konfiguration der Software nicht berücksichtigt wurden, so die Prüfer. Banjos Ansatz „entsprach nicht den besten Praktiken“. Ein erhebliches Risiko bestand darin, dass Live Time direkte Datenbankabfragen an Behörden richten konnte. Theoretisch könnte Banjo ohne das Wissen des ARC unbefugten Zugriff auf andere sensible persönliche Informationen haben. Einige Büros stellten dem Bericht zufolge auch mehr Daten als nötig zur Verfügung.
Glaube nicht nur Versprechen
Dougall und die Kommission haben dem Bericht eine lange Liste von Empfehlungen zur Softwarebeschaffung hinzugefügt. Darin fordern sie Regierungsbehörden auf, technologische Ansprüche zu prüfen und die angekündigten Fähigkeiten zu testen. Viele Anbieter versprechen, dass die „Magie“ der KI und des maschinellen Lernens komplexe Probleme lösen wird. Diese Technologien sind jedoch „gerade erst im Entstehen begriffen und in der Regel sind nur Spezialisten mit den Details vertraut“. Gleichzeitig ist das Missbrauchsrisiko hoch. Bei Big Data sollten die Behörden auch das Risiko einer De-Anonymisierung im Auge behalten.
Justizminister Reyes fühlt sich durch die Ergebnisse bestätigt, dass Live Time „die Privatsphäre nicht verletzt und keine rassistischen oder religiösen Vorurteile hat“. Während der Testphase wurden keine sensiblen persönlichen Informationen an Banjo weitergegeben. Es war klar, dass weitere Datenschutzvorkehrungen getroffen werden müssten, um das Potenzial des Systems voll auszuschöpfen. Der Republikaner bestand auch darauf, dass „die schrecklichen Fehler der Jugend des Gründers in keiner Weise auf Banjo ausgestrahlt wurden“. Das Unternehmen hat jetzt einen neuen Direktor und Namen (SafeXai), an dem AI („Artificial Intelligence – AI“) direkt beteiligt ist.
(mho)
