Des milliers de mathématiciens demandent à la police de boycotter la prévention de la criminalité par des IA
Après une vague de cas de brutalité policière cette année et des protestations qui ont déferlé dans les rues américaines, des milliers de mathématiciens se sont joints aux scientifiques et aux ingénieurs pour demander le boycott de l’intelligence artificielle utilisée par les forces de l’ordre.
Plus de 2 000 mathématiciens ont signé une lettre appelant à boycotter toute collaboration avec la police et demandant à leurs collègues de faire de même dans une future publication de l’American Mathematical Society, rapporte Shadowproof.
L’appel à l’action pour les mathématiciens concerne les assassinats par la police de George Floyd, Tony McDade, Breonna Taylor et bien d’autres encore cette année.
“A un moment donné, nous atteignons tous un point de rupture, où ce qui est sous nos yeux devient plus évident”, déclare Jayadev Athreya, participant au boycott et professeur associé de mathématiques à l’université de Washington. “Fondamentalement, c’est une question de justice”.
Les mathématiciens ont écrit une lettre ouverte, recueillant des milliers de signatures pour un boycott généralisé de la police utilisant des algorithmes pour le maintien de l’ordre. Chaque mathématicien du réseau du groupe s’engage à refuser toute collaboration avec les forces de l’ordre.
Le groupe organise une large base de mathématiciens dans l’espoir d’empêcher la police d’utiliser ces technologies. Les auteurs de la lettre citent “de profondes inquiétudes quant à l’utilisation de l’apprentissage automatique, de l’IA et des technologies de reconnaissance faciale pour justifier et perpétuer l’oppression”.
La prédiction des crimes est un domaine clé dans lequel certains mathématiciens et scientifiques ont mis au point des algorithmes racistes, qui disent aux policiers de traiter des zones spécifiques comme des “points chauds” pour des crimes potentiels. Les activistes et les organisations critiquent depuis longtemps les préjugés de ces pratiques. Les algorithmes formés sur les données produites par la police raciste reproduiront ce préjugé pour “prédire” où le crime sera commis et qui est potentiellement un criminel.
“Les données ne parlent pas d’elles-mêmes, elles ne sont pas neutres”, explique Brendan McQuade, auteur de “Pacifier la patrie : Fusion des renseignements et surveillance massive”. Les données de la police sont des “données sales”, car elles ne représentent pas la criminalité, mais le maintien de l’ordre et les arrestations.
“Alors, que vont trouver ses prédictions ? Que la police devrait déployer ses ressources au même endroit que celui où la police a traditionnellement déployé ses ressources”.
On pense que plusieurs, sinon tous les États américains et les grandes villes utilisent un certain type de logiciel de police prédictive ou de pré-criminalité avec des utilisateurs connus, notamment à Chicago, Atlanta, Tacoma, New York et Los Angeles, non sans avoir protesté contre son utilisation. Comme l’Activist Post l’a déjà signalé, nombre de ces États utilisent le logiciel Palantir pour leurs algorithmes de pré-criminalité et ont été exposés pour ce faire, comme la Floride, dont la police a terrorisé et surveillé les habitants du comté de Pasco.
Ces organisations policières à travers les États-Unis utilisent depuis des années ce que l’on appelle des “listes chaudes” ou des bases de données pré-criminelles. Qu’est-ce qu’une “Liste Chaude”, me direz-vous ?
Eh bien, les “listes chaudes” (heat lists) sont essentiellement des bases de données compilées par des algorithmes de personnes que la police soupçonne d’avoir commis un crime. Oui, vous avez bien lu : une personne qui pourrait commettre un crime. On ignore comment ces listes sont générées et quels facteurs déterminent qu’une personne “peut commettre un crime”.
Des militants et des journalistes ont poursuivi le département de police de Chicago en 2017 pour ne pas avoir divulgué le fonctionnement de ces programmes, comme l’a rapporté Activist Post.
Chicago n’était pas le seul grand service de police à être exposé à l’aide d’algorithmes de prédiction de la criminalité. Le département de police de Los Angeles a également été pris un an plus tard, en 2018, par des militants de la coalition Stop LA Spying, comme l’a rapporté Activist Post.
Cette idée de liste chaude au sein des forces de l’ordre locales a en fait pris naissance à Miami puis a été déployée à Chicago en 2013. Cependant, Activist Post a peut-être oublié d’autres villes qui ont moins attiré l’attention des médias ; et comme cet auteur en parlera bientôt, l’idée provient d’une base de données fédérale.
Un document publié l’année dernière par le MIT intitulé “Failles techniques des évaluations des risques avant procès soulèvent de graves inquiétudes” a été signé par certains des plus grands experts universitaires dans le domaine de l’I.A. et du droit qui mettent en garde contre les ” failles techniques ” de ces systèmes basés sur la pré-criminalité, a rapporté Activist Post.
Heureusement pour nous, comme l’a noté Nicholas West, la riposte a déjà commencé dans plusieurs villes, et quelques services de police ont abandonné leurs programmes après avoir pris conscience des inexactitudes. En 2018, par exemple, la Nouvelle-Orléans a suspendu son programme de pré-criminalité de 6 ans après que son logiciel de police prédictive secret a été exposé.
Le plus effrayant dans tout cela est que les services de police de la Nouvelle-Orléans et de Los Angeles étaient en fait tous deux liés à Palantir Technologies, qui travaille directement avec la CIA et est soupçonnée d’être la bifurcation actuelle du logiciel PROMIS Main Core.PROMIS est antérieur à toutes ces listes de la police locale, avec des algorithmes qui placent les “terroristes nationaux” présumés sur leurs propres listes de rafles et d’achats suivis très minutieusement, créées au départ par Oliver North pour le président Ronald Reagan et le vice-président George H.W. Bush dans le cadre de l’exercice de préparation de la FEMA – 1984 (REX-1984.)
L’utilisation du logiciel d’algorithme de pré-criminalité de Palantir laisse supposer que d’autres services de police pourraient utiliser le même logiciel pour leurs propres programmes de pré-criminalité. Palantir est également la même entreprise qui travaille avec l’agence américaine de l’immigration et des douanes sur ses propres listes pour attraper les immigrants illégaux, comme l’ont rapporté à l’origine Activist Post et le journaliste d’investigation Barrett Brown.
Vous vous souvenez peut-être de Palantir du journaliste Barrett Brown, du piratage de HBGary par les Anonymous, ou des accusations selon lesquelles la société aurait fourni la technologie qui permet la surveillance de masse de la NSA, PRISM, qui est le successeur de PROMIS. Le logiciel de Palantir ressemble à bien des égards au logiciel volé Main Core du système d’information de gestion du procureur (PROMIS) et pourrait être la prochaine évolution de ce code, qui aurait précédé PRISM. En 2008, Salon.com a publié des détails sur une base de données gouvernementale top-secrète qui pourrait avoir été au cœur des opérations d’espionnage domestique de l’administration Bush. La base de données connue sous le nom de “Main Core” aurait recueilli et stocké de vastes quantités de données personnelles et financières sur des millions d’Américains en cas d’urgence comme la loi martiale.
PROMIS a été utilisé dans de nombreux cas signalés par le gouvernement américain, y compris une application de renseignement à bord de sous-marins nucléaires des États-Unis et de la Grande-Bretagne, et l’utilisation par le gouvernement américain et certains gouvernements alliés pour le suivi des stocks de matières nucléaires et de missiles balistiques à longue portée. Mais l’utilisation la plus bizarre et la plus effrayante a été de suivre les Américains dissidents sous Main Core.
La base de données Main Core n’est pas seulement une rumeur ou une théorie du complot ; le logiciel PROMIS a été utilisé par le bouc émissaire de l’Iran-Contra, le lieutenant-colonel Oliver North du Conseil national de sécurité, pour créer la liste des dissidents pour le Rex-84 qui allait plus tard évoluer vers le Main Core. North a utilisé le logiciel PROMIS en 1982 au Département de la Justice et à la Maison Blanche pour établir une liste de dissidents américains à invoquer si jamais le gouvernement devait le faire dans le cadre du programme de continuité du gouvernement (COG) de Ronald Reagan, en liaison avec la FEMA.
En 1993, Wired a décrit l’utilisation de PROMIS par North pour la compilation de la base de données Main Core :
Selon certaines sources, grâce à PROMIS, North aurait pu dresser des listes de toutes les personnes arrêtées pour une manifestation politique, par exemple, ou de toutes celles qui avaient refusé de payer leurs impôts. Par rapport à PROMIS, la liste des ennemis de Richard Nixon ou la liste noire du sénateur Joe McCarthy semblent carrément rudimentaires.
Cette base de données Main Core a été confiée à une poignée d’individus, ce qui signifie que la plupart des responsables gouvernementaux n’avaient aucune connaissance du programme qui existait déjà. Selon certaines sources, la base de données a été transmise d’une administration à l’autre par les canaux de la sécurité nationale.
Cet auteur a beaucoup écrit sur Main Core et PROMIS dans le cadre d’une enquête sur la dissimulation de logiciels Inslaw volés et sur les meurtres des journalistes Danny Casolaro et Anson NG Yonc, de Ian Spiro, agent de renseignement de la CIA, et d’Alan Standorf, employé de la NSA. Voir : “La pieuvre PROMIS : la conspiration contre le logiciel INSLAW, et des meurtres pour couvrir un scandale plus important que le Watergate.”
Palantir a été fondée avec un investissement précoce de la CIA et est fortement utilisée par l’armée. Palantir est une société de sous-traitance à part entière. La société a même été mise en vedette sur Facebook par le Sénat, lorsque la sénatrice de l’État de Washington Maria Cantwell a demandé à Mark Zuckerberg, le PDG, “Savez-vous ce qu’est Palantir ?”, en raison de la présence de Peter Thiel au conseil d’administration de Facebook.
Le logiciel Gotham de Palantir permet à la police des Centres de Fusion de suivre les citoyens au-delà des médias sociaux et des comptes web en ligne grâce à des requêtes dans les casiers de personnes, des bases de données de véhicules, un outil Histogramme, un outil Carte et un outil Explorateur d’objets.
Selon le DHS, “les centres de fusion fonctionnent comme des points focaux des États et des grandes zones urbaines pour la réception, l’analyse, la collecte et le partage d’informations relatives aux menaces entre les partenaires fédéraux, étatiques, locaux, tribaux, territoriaux (SLTT) et du secteur privé” comme Palantir. En outre, les centres de fusion sont détenus et gérés localement, bras de la “communauté du renseignement”, c’est-à-dire des 17 agences de renseignement coordonnées par le Centre national antiterroriste (NCTC). Cependant, il arrive que les bâtiments soient occupés par du personnel qualifié de la NSA, comme ce qui s’est passé à Mexico, selon un mémorandum du Département de la défense (DOD) de 2010.
Tarik Aougab, professeur adjoint de mathématiques au Haverford College, l’un des nombreux mathématiciens qui ont vu dans les récentes manifestations contre la police une occasion de prendre des mesures contre ces pratiques, a déclaré. “Si l’on consacre déjà une quantité disproportionnée de temps et d’énergie à la criminalisation des Noirs et des personnes de couleur,” poursuit Aougab, “les prédictions que l’algorithme met en avant vont simplement refléter cela. C’est une façon de pérenniser cette sur-criminalisation”.
Les mathématiciens se demandent si la prédiction des crimes n’est pas une prophétie qui se réalise d’elle-même.
“Il y a une grande question ici : la prédiction policière devance-t-elle vraiment les événements, ou est-ce juste une prophétie qui se réalise d’elle-même ?” McQuade explique que les “statistiques sur la criminalité” sont plus précisément appelées “statistiques sur les arrestations”.
Elles mesurent le comportement de la police, qui n’est pas directement corrélé à la criminalité et à la violence. Ces arrestations justifient et perpétuent d’autres arrestations.
Athreya explique que les boycotteurs atteindront leurs objectifs en collaborant avec les organisations de justice pénale.
Nous voulons travailler sur les questions relatives à l’utilisation des différents algorithmes dans le système de justice pénale, pour des choses allant de la reconnaissance faciale aux algorithmes de comparaison d’ADN, où les groupes communautaires et les mathématiciens peuvent avoir leur mot à dire.
En fait, une étude menée par le AI Institute l’année dernière a examiné les systèmes de police prédictive et a déterminé que “dans de nombreuses juridictions, ces systèmes sont basés sur des données produites pendant des périodes documentées de pratiques et de politiques défectueuses, racistes et parfois illégales”.
Un autre audit réalisé en 2019 sur l’utilisation de l’I.A. prédictive à Los Angeles a révélé un grave manque de surveillance ou de procédures autour des outils, les rendant totalement inutiles. Les chercheurs ont également remarqué que la police a tendance à poursuivre ses propres “points chauds” plutôt que de suivre la technologie, ce qui fait que la technologie devient un outil permettant à la police d’étiqueter et de catégoriser les individus sans raison, a rapporté Science Mag.
Ce n’est que le début du combat, et ce sera une longue bataille pour empêcher l’utilisation de cette technologie, non seulement ici aux États-Unis mais aussi dans le monde entier. On ne sait pas depuis combien de temps ces projets sont actifs, et faire confiance à la police pour nous le dire honnêtement, c’est comme faire confiance au loup qui garde le poulailler. Cependant, avec des mathématiciens, des scientifiques et des ingénieurs à nos côtés, nous avons une chance de nous battre.
Traduction de Activist Post par Aube Digitale
Aucun commentaire:
Enregistrer un commentaire