Le recours à des prestataires privés soulève des questions sensibles de contrôle
Une étude menée à l’université de Stanford et à la New York University s’est intéressée à la manière dont les agences gouvernementales américaines ont concrètement recours à l’intelligence artificielle (IA) dans leurs activités. Contrairement à l’idée reçue que « les agences gouvernementales travaillent avec des systèmes et des procédures archaïques », il s’avère qu’un grand nombre d’entre elles ont déjà expérimenté des programmes d’intelligence artificielle et de machine learning (voir La rem n°30-31, p.75).
La Securities and Exchange Commission (SEC), la Customs and Border Protection (CBP), la Social Security Administration (SSA) ou encore l’U.S. Patent and Trademark Office (PTO) sont quelques-unes des 142 agences gouvernementales étudiées par les universitaires. Près de la moitié de ces agences (64, soit 45 %) ont expressément manifesté leur intérêt pour l’intelligence artificielle et le machine learning « en planifiant, pilotant ou mettant en œuvre de telles techniques ». C’est notamment le cas de la National Oceanic and Atmospheric Administration (NOAO) qui utilise l’IA pour affiner les systèmes de suivi météorologique à fort impact, afin d’améliorer la prise de décision en temps réel. La Transportation Security Administration (TSA) étudie l’utilisation de la reconnaissance d’images pour contrôler les bagages des passagers et rechercher des engins explosifs. Les Centers for Medicare and Medicaid Services (CMMS) développent des outils basés sur l’IA pour prédire la fraude dans le domaine des soins de santé. Le Department of Housing and Urban Development, quant à lui, a déployé un prototype de chatbot qui informe les citoyens sur les aides au logement, les différents programmes des agences gouvernementales et les procédures de plainte en matière de droits civils. Une autre idée reçue serait que la majorité des algorithmes sont créés par des prestataires de droit privé, or « plus de la moitié des applications (84 cas d’utilisation, soit 53 %) ont été réalisées en interne », ce qui suggère un réel intérêt et une forte appropriation au sein même des agences gouvernementales.
Ce n’est toutefois pas le cas du service des douanes et de la protection des frontières – Customs and Border Protection (CBP), agence du département de la Sécurité intérieure forte de 60 000 employés, qui filtre l’entrée sur le territoire américain d’éventuels terroristes ainsi que l’introduction d’armes, de drogues, de produits de contrebande ou non autorisés, et qui lutte également contre l’immigration illégale. Le CBP utilise aux frontières deux outils d’intelligence artificielle parmi les plus controversés : des technologies de reconnaissance faciale et des technologies de prédiction des risques, en s’appuyant souvent sur des entreprises de droit privé. Sur la seule année 2018, l’agence a reçu 196 millions de dollars pour acquérir et déployer des systèmes de reconnaissance biométrique. Le CBP a lancé, en 2017, le CBP’s Traveler Verification Service, programme de reconnaissance faciale, dans le cadre du « Biometric Entry/Exit », dorénavant en service dans plusieurs aéroports sur le territoire : « Lorsque les passagers montent à bord d’un avion, le système capture leur photo, qui sera ensuite traitée par un algorithme pour s’assurer que leur visage à l’embarquement correspond bien à la photo enregistrée. » Le CBP souhaite créer ainsi une base de données centralisée qui servira également à des opérateurs privés pour mettre en œuvre « les bornes de dépôt des bagages en libre-service et les portes d’auto-embarquement à reconnaissance faciale, ainsi que d’autres équipements ». Les photos et vidéos capturées par ces prestataires privés sont envoyées au CBP’s Traveler Verification Service. Quant aux données enregistrées, « l’agence ne conserve les photos des citoyens américains que jusqu’à ce que leur identité soit confirmée, mais peut conserver les photos des citoyens non américains pendant une période pouvant aller jusqu’à quinze ans ».
Le CBP déploie également des algorithmes d’intelligence artificielle et de machine learning dans le cadre de technologies de « prédiction des risques », notamment à travers l’« Automated Targeting System », dont les premières données ont été rendues publiques en 2006. Selon le CBP, « le système génère et attribue une note à chaque entité qui franchit les frontières américaines, déterminant la menace potentielle que représente cette entité donnée ainsi que le niveau et la priorité de l’inspection/filtrage qui lui seront appliquées. Un sous-système contrôle les passagers – y compris en marquant les passagers des compagnies aériennes pour un contrôle supplémentaire – tandis qu’un autre contrôle le fret ». Les technologies de prédiction des risques éventuels représentés par les voyageurs se distinguent par la mise en œuvre de « techniques d’observation non invasives et par la mise au point d’un système de notation formel permettant à un agent d’évaluer les soupçons sur la base d’indicateurs comportementaux et d’indicateurs non verbaux ». Si les outils d’intelligence artificielle et de machine learning « élargissent considérablement le champ d’action et la portée d’une agence en lui permettant de rendre ses opérations plus efficaces et plus précises, ces programmes augmentent les risques en matière de protection de la vie privée et de sécurité, et révèlent des tensions fondamentales entre les objectifs de l’application de la loi et la transparence des agences ». D’autant plus que le recours à des prestataires privés soulève des questions sensibles de contrôle, le CBP n’a ainsi pas été en mesure d’expliquer le taux d’échecs d’une application de lecture biométrique, en l’occurrence le balayage de l’iris, en raison de l’utilisation d’une « technologie propriétaire ».
Si le recours du CBP à des algorithmes d’intelligence artificielle et de machine learning est un sujet parmi les plus controversés, l’étude universitaire analyse également 157 cas d’usage mis en œuvre par des agences gouvernementales, bien moins polémiques.
Government by Algorithm : Artificial Intelligence in Federal Administrative Agencies, David Freeman Engstrom – Stanford University, Daniel E. Ho – Stanford University, Catherine M. Sharkey – New York University, Mariano-Florentino Cuéllar – Stanford University and Supreme Court of California, February, 2020.
