Comment baliser des machines autonomes capables de prises de décision ? La question s’est posée il y a déjà plus de 60 ans.
The Miriam and Ira D. Wallach Division of Art, Prints and Photographs: Photography Collection, The New York Public Library. (1936). Automat, 977 Eighth Avenue, Manhattan. Retrieved from http://digitalcollections.nypl.org/items/510d47d9-4f4a-a3d9-e040-e00a18064a99
Le champ de l’éthique de la technique a pour objet de baliser des pratiques responsables, compte tenu de l’impact social des artefacts technologiques. Il est né dans les années 1950, dans la foulée des travaux du philosophe et mathématicien américain Norbert Wiener (1894-1954), considéré comme le père fondateur de la cybernétique (Martin 2014), qui prédisait une nouvelle révolution industrielle où la robotique allait remplacer des milliers d’emplois manuels et intellectuels (Van den Hieven et Weckert 2008). Wiener estimait nécessaire de définir des règles éthiques, de manière à encadrer les agents artificiels capables de prendre des décisions [1]. La vision de Wiener était pessimiste, augurant de « mauvais » usages des technologies, lesquelles allaient transformer le monde dans une nouvelle révolution industrielle [2]. Ses interrogations portaient essentiellement sur les conséquences d’une société automatisée, dans un état d’esprit moins utopiste que pragmatique [3].
Dans “Computing Machinery and Intelligence”, Alan Turing (1912-1954) s’interrogeait sur l’interchangeabilité homme-machine : une machine peut-elle penser ? Cet article décrivait d’un jeu de l’imitation destiné à évaluer si une machine est capable de tromper un être humain en n’étant pas reconnaissable en tant que machine mais en tant qu’être humain. En soulevant cette question, Turing soulignait la résistance humaine que l’hypothèse d’une réponse positive engendrerait : “Nous aimons croire que l’homme est, d’une certaine manière, supérieur au reste de la création”. Turing rappelait aussi l’objection levée par Ada Lovelace selon laquelle une machine n’est pas capable de faire autre chose que ce qui lui est demandé. Turing y opposait que les machines le « surprenaient fréquemment ». S’il envisageait la possibilité de machines construites à la manière des réseaux neuronaux humains, des machines qui seraient capables d’apprendre (learning machines), Turing se concentrait sur les seules capacités d’un ordinateur, pas aux conditions morales dans lesquelles celles-ci se développent.
La question éthique sera plus vive au cours des années 1960, tandis que les sciences de l’informatique se développent. Plusieurs langages de programmation ont fait leur apparition à l’époque – le FORTRAN en 1954, l’ALGOL en 1958, le COBOL en 1969, et le BASIC en 1964, pour ne citer que le principaux -, mais l’usage de l’informatique reste le fait d’élites. S’il n’est pas encore question d’établir des normes destinées à encadrer les pratiques informatiques, la réflexion est amorcée en interrogeant non seulement l’aspect autonome de systèmes confrontés aux prises de décision, mais aussi la manière d’engager pratiquement la responsabilité morale des ingénieurs. Aux Etats-Unis, les premiers programmes axés sur les aspects éthiques de la technologie voient le jour, mais le domaine de l’informatique est moins le moteur de cette démarche que celui de l’environnement, où des chercheurs dénoncent les effets nuisibles d’une industrie faisant usage de technologies en dehors de tout contrôle [4].
« Bien que certains d’entre nous traitent directement avec les ordinateurs, chacun d’entre nous tombe sous leur sphère d’influence sans cesse croissante. Nous avons donc tous besoin de comprendre leurs capacités et leurs limites. »
Marvin Minsky
En 1967, Marvin Minsky (1927-2016), l’un des pionniers du domaine de l’intelligence artificielle, publie « Computation: finite and infinite machines » dans lequel il admet qu’il n’y a aucune raison de supposer que les machines ont des limitations non partagées par l’homme. Il y rappelle la fonction première des machines en tant que modèles physiques de représentations abstraites : résoudre des problèmes. Minsky distingue les machines à états finis (les automates) ; les réseaux neuronaux, qui renferment la notion de « boîtes noires » ; et les machines infinies, caractérisées par leurs successions de procédures algorithmiques destinées « à rencontrer les standards humains ».
Minsky estimait que le problème n’est pas tant de savoir les processus que renferment les boîtes noires, mais de comprendre la manière dont elles se comportent. Quelques années plus tôt, en 1961, Wiener définissait en quoi les « boîtes noires » sont différentes des « boites blanches » : « dans les premières, nous n’avons pas de connaissance relative à la manière dont l’opération est effectuée ; dans les secondes, la relation entre l’entrée (input) et la sortie (output) apparaît conformément à un plan structurel défini » [5]. En 2000, Latour revenait sur cette notion de boîte noire, considérant que plus les systèmes techniques prolifèrent, plus ils deviennent opaques [6].
Un tram qui fonce à toute allure : la doctrine du double effet
Contemporaine de Minsky, la philosophe anglo-américaine Philippa Foot (1920-2010) conceptualise, en 1967, la doctrine du double effet, en référence aux effets attendus d’une action et aux effets prévus mais non souhaités d’une action. Elle citait l’exemple d’un conducteur de tram fonçant à toute allure qui, arrivé à un embranchement, aurait le choix entre poursuivre sa route d’un côté et tuer cinq travailleurs à l’œuvre sur les rails, ou emprunter l’autre branche et tuer un travailleur isolé [7]. Admettons que le tram ne soit pas piloté par un être humain mais par un système informatique – ce qui est devenu un cas d’école – et la dimension éthique prend alors tout son sens.
Le début des années 1970 coïncide avec le renforcement de dispositifs permettant de mieux prendre en compte les impératifs éthiques dans l’enseignement des sciences et technologies [4]. Aux Etats-Unis, le Centre Hastings, créé en 1977, jouera un rôle important en se donnant notamment pour mission d’introduire les considérations éthiques dans l’enseignement supérieur. Il commandite le rapport Baum, en 1980, qui traite de l’éthique dans l’ingénierie. Celle-ci y est définie comme le traitement des jugements et décisions qui concernent les actions individuelles et collectives des ingénieurs [4].
Les premières monographies dédiées à l’éthique de l’espace technique sont publiées à cette époque. La généralisation de l’usage de l’informatique puis d’internet contribueront à renforcer ces préoccupations, dans un monde devenu de plus en plus dépendant des technologies de l’information. En Europe, l’éthique de l’ingénierie et de l’informatique deviendront un centre d’attention systématique dès les années 1990.
Références
[1] Jeroen Van Den Hoven et John Weckert. Information technology and moral philosophy. Cambridge University Press, 2008.
[2] Kenneth E. Himma et Herman T. Tavani. The handbook of information and computer ethics. John Wiley & Sons, 2008.
[3] Agathe Martin. Norbert Wiener : une pensée pragmatique des technologies en société. 2014.
[4] Henk Zandvoort et alli. Ethics in the engineering curricula : topics, trends and challenges for the future. European journal of engineering education, 25(4) :291–302, 2000.
[5] Norbert Wiener. Cybernetics or Control and Communication in the Animal and the Machine, volume 25. 1961.
[6] Latour Bruno. La fin des moyens. Réseaux, 18(100) :39–58, 2000.
[7] Philippa Foot. The problem of abortion and the doctrine of double effect. 1967.
