Pourquoi Google a conçu un  bouton rouge  pour désactiver des intelligences artificielles

Le Monde
| 07.06.2016 à 16h46
Mis à jour le
07.06.2016 à 17h21
|

Par Morgane Tual

Une intelligence artificielle (IA) est-elle capable d’empêcher un humain de la désactiver ‘ C’est de ce postulat que sont partis deux chercheurs pour réfléchir à une façon d’éviter que cela n’arrive. Laurent Orseau travaille pour DeepMind, l’entreprise de Google spécialisée dans l’intelligence artificielle qui est notamment à l’origine d’AlphaGo, le programme ayant réalisé l’exploit, en mars, de battre l’humain au jeu de go. Avec Stuart Armstrong, du Futur of Humanity Institute de l’université d’Oxford, ils ont publié début juin les résultats de leurs recherches. Objectif : établir un cadre afin de « s’assurer qu’un agent apprenant [une intelligence artificielle] n’apprenne pas à empêcher son interruption », peut-on lire dans leur article.

Les deux chercheurs s’intéressent au cas de ces « agents » capables d’apprendre, qui fonctionnent avec un système de « récompenses », qui les pousse à atteindre un but.

« Il peut être nécessaire pour un opérateur humain d’appuyer sur le gros bouton rouge pour empêcher l’agent de poursuivre une séquence d’actions dangereuse pour lui ou son environnement. (‘) Néanmoins, si l’agent apprenant s’attend à recevoir une récompense à l’issue de cette séquence, il pourrait apprendre sur le long terme à éviter de telles interruptions, par exemple en désactivant le bouton rouge. »

Ces machines capables d’apprendre ont en effet parfois des comportements déroutants pour atteindre leur but, comme ce programme qui, pour éviter de perdre à Tetris, avait choisi de mettre le jeu sur pause indéfiniment. Pour régler le problème de l’interruption, les deux chercheurs ont mis au point une méthode pour que ces programmes considèrent que les interventions humaines ne fassent pas partie de la tâche à effectuer, et que ces agents aient « l’impression » qu’ils décident par eux-mêmes de la marche à suivre.

Lire le décryptage :
 

L’intelligence artificielle, une élève de plus en plus douée

« Réfléchir à un certain futur »

Mais quels sont réellement les besoins concernant ce type de dispositif ‘ Existe-t-il déjà des programmes d’intelligence artificielle en mesure d’apprendre à empêcher leur propre désactivation ‘ Non, répondent les deux chercheurs, interrogés par Le Monde. « Aujourd’hui, on peut arrêter tout programme de la manière qu’on veut, mais cela signifie en général qu’on doit tout recommencer à zéro, explique Laurent Orseau. Ces interruptions peuvent l’empêcher d’apprendre correctement. »

Mais leur idée est surtout « de réfléchir à un certain futur. Si un jour il y a une superintelligence, ce serait bien d’avoir certains ressorts pour agir ». Cette « superintelligence », qui désigne un programme à l’intelligence comparable ou supérieure à l’homme, est pour l’instant confinée aux uvres de science-fiction, et ne devrait pas voir le jour si elle le voit avant longtemps. « Mais il y a aussi des risques que ça arrive plus tôt que prévu, souligne Stuart Armstrong. Mieux vaut commencer à y réfléchir trop tôt que trop tard. Avec cette étude, on veut s’assurer que [le contournement de la désactivation] ne devienne pas un risque. »

Mais même s’ils travaillent pour « des algorithmes plus intelligents que ceux qu’on a aujourd’hui », le but de leur recherche « n’est pas nécessairement d’arrêter un robot tueur d’humains !, tient à préciser Laurent Orseau. Ce qui nous intéresse, c’est avant tout que l’agent apprenne correctement ».

Ethique et communication

La publication de cet article s’inscrit toutefois dans un contexte où de nombreuses inquiétudes s’expriment vis-à-vis des dangers potentiels de l’intelligence artificielle. Les importants progrès de ces programmes ces dernières années, notamment grâce à la méthode d’apprentissage du « deep learning », ont ainsi mené plus de 700 scientifiques et chefs d’entreprise parmi lesquels des personnalités comme Elon Musk ou Stephen Hawking à signer une lettre ouverte avertissant des « pièges » de l’IA. Certaines déclarations alarmistes de personnalités, comme l’astrophysicien britannique Stephen Hawking, pour qui l’IA « pourrait mettre fin à la race humaine », ont donné une grande résonance à ce débat.

Lire nos explications :
 

Comment le « deep learning » révolutionne l’intelligence artificielle

En créant un programme capable de battre le meilleur joueur de go du monde, une performance qui n’était pas attendue avant dix ou vingt ans, Google DeepMind a ravivé ces inquiétudes et est devenu l’un des acteurs les plus scrutés du secteur.

Google a annoncé la création d’un comité d’éthique pour réfléchir à ces questions, mais peu d’informations ont été données sur son fonctionnement, sa composition ou ses travaux. « Chez DeepMind, on pousse la recherche en éthique et en safety’ », à savoir la sûreté de ces programmes, assure Laurent Orseau.

« Cela ressemble fort à une opération de communication », tempère le chercheur français Jean-Gabriel Ganascia, professeur spécialiste de l’apprentissage des machines à Paris-VI et auteur de L’Intelligence artificielle (Le Cavalier bleu, 2007). « Dans l’hypothèse d’une superintelligence, ce dispositif, s’il fonctionnait, permettrait de s’assurer de la moralité de cette superintelligence, ou plus exactement, de garantir qu’une superintelligence puisse s’interrompre au cas où elle outrepasserait certaines limites. Cela s’inscrit dans la perspective de ce que certains tenants de la singularité technologique [l’hypothèse selon laquelle l’IA prendra un jour le dessus sur l’homme] appellent l’intelligence artificielle amicale. »

De son côté, Laurent Orseau assure qu’il ne s’agit pas d’une opération de communication : « Nous réfléchissons à cela depuis plusieurs années, bien avant que les médias ne s’emparent de toutes ces histoires de Terminator. » Pour lui, l’intention est avant tout de « connecter » les communautés de chercheurs qui travaillent sur l’apprentissage des machines avec ceux qui se penchent sur les questions éthiques. « L’idée est de commencer à réfléchir à ces questions de façon plus technique et d’amener d’autres personnes à travailler dessus, pour prévoir les problèmes en avance. On en est au tout début. »

Lire aussi :
 

Pourquoi Google se sert de romans à l’eau de rose pour améliorer une intelligence artificielle