Lancé dans le cadre du programme « One Hundred Year Study on AI » de l’université de Stanford, l’Artificial Intelligence Index 2017 est un projet, ouvert et sans but lucratif, ayant pour objectif de suivre l’activité et les progrès dans le domaine de l’intelligence artificielle, sujet d’une attention grandissante de la part des praticiens, des leaders de l’industrie, des décideurs et du grand public. Mais « à bien des égards, nous sommes aveugles dans nos discussions sur l’intelligence artificielle et nous manquons de données dont nous avons besoin pour évaluer de façon crédible l’activité » explique Yoav Shoham, professeur d’informatique émérite à l’université de Stanford et membre du comité d’organisation de l’AI Index. Publié chaque année, l’Index fournira « un outil de mesure basé sur les faits [des données], sur lequel nous pouvons suivre les progrès et alimenter une conversation plus approfondie sur l’avenir du domaine », à partir de la combinaison de séries de données librement accessibles via l’internet, ainsi que des données originales.
L’AI Index est organisé en trois grandes parties. La première présente les progrès de l’intelligence artificielle dans le domaine académique et montre l’intérêt commercial croissant qu’elle suscite. La deuxième partie s’attache à mesurer, et à comparer parfois, les performances techniques des systèmes d’intelligence artificielle à l’aune des performances humaines. La troisième partie, enfin, recueille les commentaires et avis sur les enseignements mis en lumière par l’Index, de la part de personnalités et experts du sujet issus du monde de la recherche universitaire, de l’industrie, du gouvernement et des médias.
Tout d’abord, l’Index dresse le portrait chiffré de l’intelligence artificielle à travers le prisme du monde académique, de l’industrie des start-up, des logiciels open source ou encore, de l’intérêt du public et des médias. Parmi ses enseignements, l’Index révèle que le nombre d’articles scientifiques portant sur l’intelligence artificielle a été multiplié par neuf depuis 1996. Le nombre de start-up américaines actives au développement d’un système d’intelligence artificielle a, quant à lui, été multiplié par quatorze depuis l’année 2000 et les investissements ont été multiplié par six.
L’Index se propose également d’analyser les performances techniques dans des domaines aussi variés que la détection d’objet, la compréhension du langage naturel, la reconnaissance de la parole, la traduction automatique ou encore l’analyse sémantique. Ainsi, la progression des techniques apparaît constante. Un exemple : le taux d’erreur de la reconnaissance d’image et de leur étiquetage est passé de 28,5 % à 2,5 % depuis 2010.
Il s’agit également de comparer les performances des systèmes d’intelligence artificielle avec les performances humaines. Il ne fait pas de doute que l’intelligence artificielle surpasse les capacités humaines dans des domaines très précis, comme le calcul ou la détection d’objets. En revanche, les performances des systèmes d’intelligence artificielle, dès que ceux-ci deviennent plus généralistes et que les questions sont ouvertes, sont plus aléatoires. Dans le domaine de l’analyse textuelle, les hommes font encore beaucoup mieux qu’un système d’intelligence artificielle, et dans le domaine de la reconnaissance de la parole, les meilleurs systèmes techniques égalent à peine le niveau des performances humaines.
Fort de ces premiers constats, dont les auteurs reconnaissent le caractère encore parcellaire, l’Index donne la parole à des experts du domaine. Pour Barbara Grosz, professeur d’intelligence artificielle, de traitement du langage naturel et de systèmes multi-agents à l’université de Harvard, la première qualité de l’Index est de reconnaître ses lacunes. Concernant notamment la section sur le traitement du langage naturel, qui regroupe l’analyse syntaxique, la traduction automatique et la capacité à trouver les réponses à des questions dans un document désigné, l’Index ne prend pas encore en compte le développement des agents conversationnels (chatbots, voir La rem n°38-39, p.67) qui ont pourtant aujourd’hui la capacité de dialoguer avec des humains. En cause, la difficulté de mettre au point les outils de mesure pour quantifier les progrès dans ce domaine.
Toujours selon Barbara Grosz, l’intérêt de l’Index mais aussi toute la difficulté de sa mise en place serait de mesurer le développement des capacités de l’intelligence artificielle, au moins lorsque celles-ci « complètent ou augmentent les capacités des gens plutôt que de viser à reproduire l’intelligence humaine ». En ce qui concerne les données issues du monde universitaire, elle souligne tout l’intérêt qu’il pourrait y avoir à étudier, outre le nombre d’étudiants inscrits aux cours d’intelligence artificielle, le nombre d’enseignements « consacrés aux préoccupations éthiques soulevées par le domaine. […] Comme les systèmes d’intelligence artificielle ont pour vocation de faciliter toujours plus la vie quotidienne de leurs utilisateurs, les cours doivent montrer aux étudiants l’importance de considérer l’éthique dès le début de leur conception ».
Eric Joel Horvitz, directeur de Microsoft Research Labs, se félicite, quant à lui, de la publication d’un tel index, même s’il relève les inévitables lacunes de cette première édition, notamment dans la section « des mesures dérivées » qui, selon lui, « est créative et utile, même si elle ne fournit que des signaux grossiers – et des signaux qui laissent place à l’interprétation ».
Tout deux tempèrent l’enthousiasme de Kai-Fu Lee, président de Sinovation Venture’s Artificial Intelligence Institute qui, soulignant toutefois que cette première version fait état en priorité du marché américain de l’intelligence artificielle, se félicite de la situation en Chine, pays qui compte « le plus grand nombre de téléphones mobiles et d’internautes dans le monde, soit environ trois fois plus qu’aux États-Unis ou en Inde ». Selon Kai-Fu Lee, le temps est désormais lointain où la Chine n’était qu’un imitateur, puisque le pays génère une quantité astronomique de données, matière indispensable aux progrès en intelligence artificielle, notamment dans le domaine de l’apprentissage profond (deep learning, voir La rem n°40, p.91). « Il a fallu 10 mois à la société de partage de vélo Mobike pour passer de 0 à 20 millions de commandes par jour. Il y a plus de 20 millions de déplacements à vélo transmettant leur coordonnées GPS et autres mesures en temps réel, générant quelque 20 téraoctets de données tous les jours ». Autant de matières qui auront permis à la Chine de ravir la première place aux équipes de Google, Microsoft et Facebook à l’occasion de défis organisés autour de la vision assistée par ordinateur. Le témoignage de Kai-Fu Lee montre bien que la Chine va devenir un centre mondial d’innovation en matière d’intelligence artificielle d’ici à 2030, appuyée par son gouvernement qui a annoncé, en juillet 2017, un « plan de développement de l’intelligence artificielle de prochaine génération » particulièrement ambitieux.
Chef du département informatique de l’université d’Oxford et chercheur en intelligence artificielle, Michael Wooldridge invite au contraire à prendre du recul face à l’enthousiasme grandissant, parlant même d’une « bulle autour de l’IA », ce que montrerait finalement la lecture de l’Index publié par Stanford. Selon son analyse, si l’Index dépeint une intelligence artificielle de plus en plus précise dans de nombreux domaines, cette bulle pourrait suivre « une lente déflation plutôt qu’une explosion spectaculaire ». Il constate aussi un aspect absent dans la section « performance technique » de l’Index, celui du progrès de l’intelligence artificielle dite générale, en opposition à une intelligence artificielle restreinte (accomplir des tâches spécifiques dans un environnement limité). En l’occurrence, personne ne sait en effet mesurer les progrès de l’intelligence artificielle générale, c’est-à-dire capable de créativité, de déduction et de non spécificité. L’Index montre finalement que nous en sommes encore loin. « Cela semble particulièrement important, ne serait-ce que pour apaiser ou dissiper les craintes d’une augmentation soudaine de la compétence générale de l’IA – craintes qui semblent encore préoccuper beaucoup la presse et vraisemblablement beaucoup de profanes », affirme Michael Wooldridge.
Reprenant un certain nombre de remarques formulées par ses pairs, Alan Mackworth, professeur au département d’informatique de l’université de la Colombie-Britannique prévient que « les données faciles à obtenir peuvent ne pas être les plus informatives », s’interrogeant tout particulièrement sur la dimension américaine des données ayant permis de construire ce premier Index.
Pour Megan Smith, troisième Chief Technology Officer des États-Unis sous la présidence de Barack Obama et ancienne vice-présidente de Google, ainsi que pour Susan Alzner, travaillant au service de liaison non gouvernemental des Nations unies, « la diversité et l’inclusion sont primordiales », s’agissant des personnes qui bénéficieront des progrès de l’IA, afin d’éviter les biais technologiques qui caractérisent l’innovation dans le secteur. Des propos qui viennent faire échos à ceux tenus par Tim Cook, PDG d’Apple Computer au MIT, en juin 2017 : « Je ne m’inquiète pas de l’intelligence artificielle qui donne aux ordinateurs la capacité de penser comme les humains. Je suis plus préoccupé par les gens qui pensent comme des ordinateurs sans valeurs ni compassion, sans se soucier des conséquences ».
Pour cette première édition, les auteurs de l’Index sont pleinement conscients des écueils identifiés par les experts. Nombre de données et de champs exploratoires manquent encore à leur étude. « L’Index ne sera réellement utile que s’il devient un effort communautaire », espèrent-ils, avec le souhait d’agréger des données venant d’autres pays et d’autres continents. Le rendez-vous est pris pour l’année prochaine.
Artificial Intelligence Index, 2017 annual report, Calvin LeGassick, project manager ; steering committee : Yoav Shoham (Stanford University), Raymond Perrault (SRI international), Erik Brynjolfsson (MIT), Jack Clark (OpenAI), November 2017
