Amazon et la reconnaissance faciale

Amazon Rekognition, l’outil controversé de reconnaissance faciale du géant de la technologie de la Silicon Valley, a faussement comparé 28 membres du Congrès américain avec des mugshots dans sa base de données, a révélé aujourd’hui un nouveau rapport de l’American Civil Liberties Union. « Ces résultats montrent pourquoi le Congrès devrait se joindre à l’ACLU pour réclamer un moratoire sur l’utilisation de la surveillance faciale par les forces de l’ordre », a déclaré Jacob Snow, Tematis avocat de l’ACLU de Californie du Nord. En réponse aux questions de BuzzFeed News sur le rapport, un porte-parole d’Amazon Web Services a souligné que Rekognition a été utilisé dans le passé à de nombreuses fins utiles. Il a été déployé pour prévenir la traite des êtres humains, empêcher l’exploitation des enfants et réunir les enfants disparus avec leurs familles, a déclaré le porte-parole, ainsi que pour renforcer la sécurité « grâce à l’authentification multifacteur » et prévenir le vol de colis. « Nous restons enthousiastes à l’idée que l’analyse d’images et de vidéos puisse être un moteur du bien dans le monde, y compris dans le secteur public et les forces de l’ordre », a déclaré le porte-parole à BuzzFeed News dans un communiqué. Mais selon le rapport de l’ACLU, la technologie est loin d’être parfaite. La reconnaissance a identifié à tort plus de deux douzaines de législateurs comme des personnes qui ont été arrêtées pour un crime, et les faux matchs étaient de manière disproportionnée des personnes de couleur, a déclaré l’ACLU. Près de 40% des fausses correspondances de Rekognition dans le test étaient des personnes de couleur, même si elles ne représentent que 20% du Congrès. Six membres du Congressional Black Caucus, dont le célèbre leader des droits civiques, John Lewis, ont chacun été identifiés comme correspondant à un mugshot dans la base de données Rekognition. Après la publication du rapport de l’ACLU ce matin, les représentants Lewis et Jimmy Gomez ont écrit une lettre au PDG d’Amazon, Jeff Bezos, demandant une réunion pour discuter des fausses correspondances et de « l’impact potentiel de la technologie sur les communautés de couleur ». Pour effectuer son test, l’ACLU a utilisé le système standard de reconnaissance faciale qu’Amazon propose à faible coût pour les forces de l’ordre et le public. L’ACLU a déclaré qu’elle n’avait dépensé que 12,33 $ pour construire une base de données de 25 000 photos d’arrestation accessibles au public et pour effectuer un test qui comprenait des photos de chaque membre actuel de la Chambre et du Sénat américains. Joshua Kroll, informaticien et chercheur postdoctoral à la School of Information de UC Berkeley, a vérifié les résultats de manière indépendante. « Ces résultats sont cohérents avec un modèle plus large de résultats issus de la littérature sur l’apprentissage automatique », a déclaré Kroll à BuzzFeed News. « Non seulement la reconnaissance faciale de grands groupes d’individus reste difficile à faire avec précision, mais les systèmes de reconnaissance faciale se sont révélés beaucoup moins performants pour les femmes, les personnes de couleur, et en particulier les femmes de couleur. « Il est important, lors de l’utilisation de technologies informatiques avancées, de le faire de manière responsable », a poursuivi Kroll. « Ces résultats montrent que Rekognition ne devrait pas être utilisé pour certaines applications dans l’application des lois comme c’est le cas actuellement. » ACLU En réponse, le porte-parole de l’AWS a déclaré que les résultats du rapport de l’ACLU pourraient probablement être améliorés en « suivant les meilleures pratiques » autour de la définition des seuils de confiance  », le pourcentage de probabilité que Rekognition ait trouvé une correspondance  » utilisé dans le test. « Bien que la confiance à 80% soit un seuil acceptable pour les photos de hot-dogs, de chaises, d’animaux ou d’autres cas d’utilisation des médias sociaux, il ne serait pas approprié d’identifier les individus avec un niveau de certitude raisonnable », a déclaré le porte-parole. « Lors de l’utilisation de la reconnaissance faciale pour les activités d’application de la loi, nous guidons les clients à définir un seuil supérieur d’au moins 95% ou plus. » L’ACLU a déclaré qu’Amazon n’a fait aucun effort pour demander aux clients pourquoi ils utilisent Rekognition. « Au lieu de cela, l’outil définit une valeur par défaut: les 80% que nous avons utilisés pour exécuter notre test », a déclaré Snow. Il a souligné que le site Web d’Amazon, en ce moment, recommande une confiance de 80% pour reconnaître les visages humains. Amazone « Amazon semble avoir manqué, ou refuse de reconnaître, le point plus large: la technologie de reconnaissance faciale entre les mains du gouvernement est prête pour les abus et soulève d’importantes préoccupations en matière de droits civils », a ajouté Snow. Cela pourrait permettre à la police de déterminer qui assiste aux manifestations, à l’ICE de surveiller les immigrants et aux villes de suivre leurs propres résidents, s’ils ont ou non des raisons de soupçonner une activité criminelle, a-t-il déclaré. « Changer le seuil de 80 à 95 pour cent ne change rien à cela. En fait, cela pourrait l’exacerber. » Avec ces nouvelles, les législateurs de tous les partis ont exprimé leur inquiétude quant à la performance de la technologie d’Amazon. « Etes-vous sûr qu’Amazon ne parle pas seulement à Donald Trump, Tucker Carlson et Breitbart? Parce qu’ils pensent que tous les Latinos sont des criminels », a déclaré le représentant Luis Gutierrez, qui a été faussement jumelé avec une photo d’arrestation selon le rapport de l’ACLU. dans un commentaire envoyé par e-mail à BuzzFeed News. « Mais sur une note plus sérieuse: si cette technologie n’a pas été prouvée efficace et a un parti pris systématique contre les personnes de couleur, alors elle nuira, n’aidera pas les forces de l’ordre et quiconque l’utilisera », a déclaré Gutiérrez. « Cette technologie n’est pas prête pour les heures de grande écoute, et les risques pour les libertés fondamentales des Américains l’emportent sur les avantages », a déclaré le représentant Tom Garrett, un autre législateur faussement associé à une photo d’arrestation selon le rapport. « De toute évidence, cette technologie n’a pas réussi à franchir un obstacle absurdement bas en matière de précision », a déclaré le sénateur Ron Wyden, qui n’a pas été faussement associé à un mugshot. « Selon moi, le gouvernement ne devrait déployer que des systèmes de reconnaissance faciale avec des règles claires et des contrôles stricts pour empêcher la création d’une surveillance généralisée et aveugle des Américains innocents. » « Êtes-vous sûr qu’Amazon ne parle pas seulement à Donald Trump, Tucker Carlson et Breitbart? Parce qu’ils pensent que tous les Latinos sont des criminels. » Dans une déclaration fournie à BuzzFeed News, le représentant Emanuel Cleaver a mentionné comment des recherches antérieures avaient révélé des inexactitudes et des biais dans la technologie de reconnaissance faciale  », comme une étude de 2012 co-écrite par un technologue du FBI qui a trouvé des algorithmes de reconnaissance faciale utilisés par la police en Californie, dans le Maryland, En Pennsylvanie et ailleurs, les performances des Afro-Américains étaient constamment inférieures de 5 à 10% à celles des Caucasiens. « Je reste extrêmement préoccupé par le fait qu’Amazon Rekognition aggravera encore les problèmes de préjugés raciaux dans la société, en particulier là où ils sont déployés par les forces de l’ordre », écrit-il. Amazon, pour sa part, a déclaré que dans des « scénarios du monde réel », l’outil de reconnaissance est « presque exclusivement utilisé pour aider à restreindre le champ et permettre aux humains d’examiner et d’examiner rapidement les options en utilisant leur jugement ». Le porte-parole d’AWS a ajouté que le but de la technologie n’est « pas de prendre des décisions totalement autonomes ». En mai, l’ACLU a rapporté qu’Amazon avait présenté Rekognition aux agences d’application de la loi pour surveiller les citoyens, et que le comté de Washington et Orlando en Oregon l’utilisaient depuis 2017. Le rapport a incité les employés d’Amazon, les actionnaires et une poignée de groupes de défense des droits civiques à lancer un mouvement et demander au PDG d’Amazon Jeff Bezos de mettre fin aux contrats avec la police. Parmi eux se trouvait le Congressional Black Caucus, qui a écrit une lettre exprimant sa préoccupation au sujet des « conséquences négatives profondes et involontaires » que la surveillance pourrait avoir pour les Noirs, les sans-papiers et les manifestants. Bezos n’a pas fait de déclaration publique en réponse. En mai dernier, un porte-parole d’Amazon Web Services a déclaré à BuzzFeed News que « la qualité de vie serait bien pire aujourd’hui si nous interdisions les nouvelles technologies parce que certaines personnes pourraient choisir d’en abuser ». « Imaginez si les clients ne pouvaient pas acheter un ordinateur car il était possible d’utiliser cet ordinateur à des fins illégales », a déclaré le porte-parole, ajoutant qu’Amazon obligeait les clients à se conformer à la loi et à utiliser Rekognition de manière responsable. Les contrevenants aux services de l’entreprise seront suspendus, a déclaré Amazon. Peu de temps après le contrecoup, la ville d’Orlando a déclaré qu’elle allait débrancher le programme de reconnaissance faciale. Mais les défenseurs de la vie privée et des libertés civiles qui s’opposent à la technologie ont encore un long chemin à parcourir. Des représentants d’Orlando ont déclaré en juillet que la ville avait reconsidéré sa position et que le service de police allait s’asseoir avec Amazon pour définir un tout nouveau pilote.