Dear Member of the European Parliament,

on Wednesday 12 December, you will make a decisive vote on the proposal for a European Defence Fund to dedicate €13 billion for research and development projects in military technologies during the next multi-financial framework.

44 non-profit organisations across Europe have recently alerted about the risks the current proposal entails, regarding the diversion of funds from civilian priorities and the over-influence of the arms industry, as well as the possible contribution to the development of killer-robots and the future exports of EU-funded goods.

European scientists are also alarmed by this military turn of the EU and the potential development of autonomous weapons, echoing previous concerns from the international rersearch community at large

The ombudsman raised concerns about the lack of transparency around the advisory role of the industry on the setting-up of EU funds for military research, which could lead to a perception of conflict of interest, and concluded to maladministration by the European Commission for not answering adequately to civil society requests for information.

In your role as direct representatives of EU citizens, we urge you to pay a particular attention to the coming vote and, if not to reject the proposal as such, to at least support those amendments that could mitigate some of the mentioned risks, by:

• excluding projects related to armed drones until there is a legal framework for their use;

• excluding projects that could contribute to the development of fully autonomous weapons;

• introducing a stricter control on the future exports of EU-funded military technologies.

Sincerely yours,

Lisez plus sur Sciences Citoyennes

Par Bénédicte Jeannerod, directrice France d’Human Rights Watch , Anne-Sophie Simpere , coordinatrice en France de la Campagne Stop Killer Robots , François Warlop, ingénieur, administrateur de Sciences Citoyennes, membre de la campagne internationale Stop Killer Robots et Tony Fortin, chargé d’études à l’Observatoire des Armements.

Alors que mercredi se tient à Genève la réunion annuelle de la Convention sur certaines armes classiques (CCAC), la France ne peut que négocier un traité pour interdire ces machines.

Nous n’avons pas encore d’images de membres arrachés ou de civils traumatisés, couverts de sang et de poussière. Nous n’avons pas encore de témoignages de familles racontant comment leurs proches ont été tués sans sommation. Les futures victimes des robots tueurs n’ont pas encore été touchées, et c’est une chance. Il est encore possible de les protéger, et la France peut y contribuer de manière décisive en défendant l’ouverture de négociations pour un traité d’interdiction des armes entièrement autonomes. La réunion annuelle de la Convention sur certaines armes classiques (CCAC), qui s’ouvre mercredi à Genève, lui en donne l’occasion.

Les robots tueurs sont des systèmes d’armes qui ont la capacité de choisir et de tirer sur une cible sans contrôle humain suffisant. Des armes «moralement révoltantes», selon le Secrétaire général des Nations unies, Antonio Guterres, qui a appelé à leur interdiction lors du Forum de Paris sur la paix. Des milliers de scientifiques et d’experts refusent d’ores et déjà de participer à leur développement. Ils considèrent, à juste titre, que des algorithmes ne devraient pas se voir confier la décision de vie ou de mort sur un être humain. Accorder ce pouvoir à une machine revient à franchir une ligne rouge morale.

Les scientifiques rappellent aussi qu’aucun programme n’est capable de comprendre pleinement une situation de conflit et de s’y adapter, de distinguer les combattants des non-combattants, de prévoir l’inévitable imprévu sur un champ de bataille. Comment imaginer que des informaticiens basés à Paris puissent correctement programmer une machine pour aller tuer des humains dans un village afghan ou au fin fond du Sahel ?

Les robots tueurs seraient, par essence, incapables de respecter le droit international humanitaire, notamment les principes de distinction, de proportionnalité et de précaution que seules les capacités d’analyse humaines peuvent appliquer dans des situations de combat complexes et changeantes.

Des machines dotées de mitrailleuses

Des études montrent également que les logiciels tendent à exacerber les biais et préjugés des ingénieurs qui les conçoivent. On sait par exemple que les logiciels de reconnaissance faciale font bien plus d’erreurs dans l’identification des personnes ayant une peau foncée, moins représentées dans les ensembles de données utilisées pour concevoir les programmes. Les algorithmes n’ont pas non plus pas la capacité de s’adapter à ce qui sortirait de leur «norme», c’est-à-dire des données qui les constituent. Impossible de prévoir avec certitude la façon dont un robot se comporterait face à une personne handicapée dont les béquilles, par exemple, pourraient être prises pour une arme.

Les véhicules autonomes, développés pour des contextes connus, font déjà face à d’immenses difficultés. Dans le cas des robots tueurs, il s’agit d’autonomiser des machines dotées de mitrailleuses ou d’explosifs. Des appareils incapables de douter une fois qu’une suite de calculs les a amenés à prendre une décision. Certains soutiennent qu’il sera possible, à terme, de les faire progresser. Ils semblent oublier que dans ces phases de test, chaque erreur implique de tuer ou de blesser des humains. Accepter de prendre ce risque pour améliorer des programmes de guerre marquerait un recul de notre humanité, et une perspective terrifiante, immorale et dangereuse.

L’utilisation de robots tueurs pose par ailleurs un problème juridique majeur : qui sera responsable de leurs actes ? Le sujet du droit est l’être humain : on ne peut traduire une machine en justice. Il serait compliqué de mettre en cause le commandement militaire ou le programmeur, dont on ne peut exiger qu’ils prévoient toutes les actions du robot une fois celui-ci activé. En cas de crime, les victimes risqueraient donc d’être privées de tout recours.

Enfin, les armes entièrement autonomes représentent une menace pour la sécurité internationale. Une fois développés, les robots tueurs pourraient proliférer rapidement, et on n’ose imaginer le désastre en cas de piratage informatique ou de détournement.

Beaucoup d’Etats veulent négocier un traité

A plusieurs reprises, par le passé, la communauté internationale a su empêcher l’émergence de nouvelles armes ou interdire celles qui étaient reconnues comme inhumaines et inacceptables : armes chimiques, armes à sous-munitions, lasers aveuglants, armes incendiaires ou encore, mines antipersonnel. Dans chacun de ces cas, il a fallu un traité international. Seuls les traités permettent d’interdire un système d’armes, en établissant des règles contraignantes et claires pour les Etats, les industriels et les investisseurs.

Certes, adopter un traité d’interdiction n’est pas un processus facile. Cela implique d’âpres négociations sur les définitions et les champs d’application concernés et nécessite des mécanismes de contrôle pour en assurer le suivi. Mais c’est possible, et même indispensable et urgent. Car une fois ces armes développées, il deviendra très difficile de contenir leur développement et leur prolifération.

Il y a des raisons d’être optimistes. La campagne contre les robots tueurs, lancée il y a seulement cinq ans par Human Rights Watch et une douzaine d’autres organisations, rassemble maintenant 86 ONG dans 49 pays. Aujourd’hui, une majorité d’Etats veut négocier un traité et vingt-six ont déjà demandé cette interdiction. Seule une poignée d’Etats, très minoritaires, y est opposée.

La France doit se placer du côté de ceux qui se seront battus pour le traité d’interdiction des robots tueurs. Le président Macron s’est déclaré «catégoriquement opposé» à leur développement et la ministre des Armées, Florence Parly, a affirmé que la France ne les laissera pas émerger. Ces déclarations sont importantes mais insuffisantes et la France doit maintenant agir.

«Au service de la paix»

Donner à la CCAC un mandat pour négocier un traité sur les armes autonomes est une première étape essentielle à côté de laquelle le gouvernement français ne doit pas passer, s’il est réellement déterminé, selon les mots du président Macron à «tracer […] la voie d’actions concrètes au service de la paix».

Pour empêcher le développement et la prolifération des robots tueurs, la France n’a pas le choix : elle doit d’urgence passer des paroles aux actes. Elle doit agir sans attendre les images des premières victimes des robots tueurs, et prévenir des désastres qui peuvent encore être évités.

La campagne Stop Killer Robots réunit 85 ONG dans 48 pays et plaide pour un traité d’interdiction préventive des systèmes d’armement entièrement autonomes.

Lisez plus sur Sciences Citoyennes

Les armes entièrement autonomes ou robots tueurs sont des systèmes qui, une fois activés, peuvent choisir et attaquer une cible sans contrôle humain. Si des systèmes entièrement autonomes n’ont pas encore été développés, compte tenu des avancées de la robotique et de l’intelligence artificielle, ils pourraient apparaître d’ici quelques années.

Depuis 2013, les Nations Unies se penchent sur la question, dans le cadre de la Convention sur certaines armes classiques (CCAC). Après six réunions sur le sujet, 26 Etats se sont prononcés pour une interdic- tion des robots tueurs, et une majorité est prête à négocier un traité. Seule une poignée de pays, dont la Russie et les Etats-Unis, résiste encore.

Autoriser un robot à tuer un humain représente une ligne rouge morale, une menace pour le droit inter- national et les droits humains, et un danger pour la sécurité internationale. La France doit donc soutenir l’adoption d’un traité international d’interdiction préventive des robots tueurs.

Les robots tueurs : un risque moral, juridique et pour la sécurité internationale

Déléguer à une machine ou à un algorithme la décision de vie ou de mort d’un humain représente une ligne rouge morale, incompatible avec la clause de Martens qui exige que les technologies émergentes soient jugées sur la base des « lois de l’humanité » et des « exigences de la conscience publique » lorsqu’elles ne sont pas déjà couvertes par les dispositions d’autres traités. Octroyer un choix de vie ou de mort sur un humain à une machine dépourvue de jugement moral et de compassion est contraire au principe d’humanité et aux exigences de la conscience publique.

Les systèmes d’armes autonomes ne peuvent pas respecter les grands principes du droit international humanitaire (DIH) et notamment les principes de proportionnalité, de distinction et de précaution. Le respect de ces principes requiert de comprendre pleinement et de s’adapter à des situations complexes et changeantes, ce qui nécessite la capacité d’analyse d’un cerveau humain, qu’aucune machine ne peut atteindre ni ne pourra atteindre dans un futur prévisible. En outre, l’usage de robots tueurs ne permettrait pas d’établir de responsabilité claire en cas de crime.

Il existe un risque élevé et systématique que ces robots tueurs s’attaquent aux mauvaises personnes : les programmes informatiques sont basés sur des données imparfaites et les robots n’auraient pas la capacité de douter ou de prendre conscience du risque d’erreur.

Les robots tueurs risquent de faciliter le déclenchement de conflits de grande ampleur. Ils exigeraient moins de moyens humains, abaissant considérablement le coût d’entrée en guerre. Les dégâts causés par les robots tueurs pourraient être d’une ampleur démesurée : les machines sont infatigables, elles ont la capacité d’agir à très grande échelle et à grande vitesse, et n’ont pas la faculté d’évaluer la moralité d’un ordre. Faciles à produire une fois que les programmes ont été conçus, les robots tueurs pourraient rapidement proliférer et finir entre les mains de nombreux Etats et groupes non-étatiques, dont certains violent déjà le DIH et les droits humains. Sans compter le risque de piratage par d’autres groupes ou Etats.

Enfin, au-delà des conflits armés, une fois développés, les robots tueurs pourraient être utilisés pour le maintien de l’ordre ou la fermeture des frontières. Là encore, ils se rendraient vraisemblablement coupables de violations des droits humains, sans réelle possibilité d’engager leur responsabilité.

Pourquoi il faut un traité pour interdire les robots tueurs

Compte tenu de la menace qu’ils représentent, il faut empêcher le développement des robots tueurs. Une simple déclaration politique ou le droit international humanitaire existant ne seront pas suffisants.

Un traité est le seul moyen de clari er les obligations des Etats. Un traité envoie un signal clair et stigmatise les armes visées, ce qui a un impact même sur les Etats qui ne sont pas signataires, ainsi que sur les industriels et les investisseurs. L’interdiction préventive d’un type d’armes n’est pas une nouveauté : le protocole IV de la CCAC a déjà interdit les lasers aveuglants à titre préventif. Par ailleurs, l’interdiction d’un type de technologie pour des armements (lasers aveuglants, armes chimiques…) n’a jamais entravé la recherche dans le secteur civil ou pour d’autres applications militaires.

Les traités d’interdiction sont ef caces. Les lasers aveuglants n’ont jamais été utilisés sur un champ de bataille. Le Traité d’Ottawa, qui interdit les mines antipersonnel, aura drastiquement diminué le nombre de victimes au cours des vingt dernières années.

Affirmer qu’un traité serait prématuré est une stratégie dilatoire, qui avait déjà été utilisée par les Etats opposés à l’interdiction des mines antipersonnel ou des armes à sous-munitions.

Un large mouvement en faveur d’une interdiction préventive des robots tueurs

De Stephen Hawking au cofondateur d’Apple Steve Wozniak, ils sont des milliers de scientifiques et d’experts de l’intelligence artificielle à sonner l’alerte, demander l’interdiction préventive des robots tueurs, et s’engager à ne pas contribuer à leur développement. En juin 2018, Google a adopté des lignes de conduite qui engagent l’entreprise à ne pas concevoir ou développer d’intelligence artificielle destinée à être utilisée dans des armes.

160 leaders religieux, 20 prix Nobel de la paix et des dizaines d’associations de défense des droits humains ont également demandé l’interdiction préventive des robots tueurs. Depuis son lancement en avril 2013, la Campagne contre les robots tueurs s’est développée et compte aujourd’hui 85 groupes dans 48 pays, dont Human Rights Watch, Amnesty International, Handicap International et Sciences Citoyennes.

Plusieurs rapports des Nations Unies recommandent l’adoption d’un texte juridique contraignant sur les systèmes d’armes létales autonomes, et le Secrétaire général des Nations Unis Antonio Guterres s’est engagé à soutenir les efforts des Etats dans ce sens.

Le Parlement européen a également adopté trois résolutions appelant à l’interdiction des robots tueurs et à l’adoption d’un traité. Les parlements islandais et belge ont voté des résolutions similaires, et plusieurs députés d’autres pays commencent à se pencher sur la question et à interpeler leurs gouvernements sur le sujet (Norvège, Finlande, Royaume-Uni, Suisse…)

Le trouble jeu de la France

Alors que le Président Emmanuel Macron s’est dit « catégoriquement opposé » au développement des robots tueurs et que la ministre des Armées Florence Parly affirme que « la France ne laisse pas émerger les robots tueurs », la France ne propose que l’adoption d’une déclaration politique au niveau des Nations Unies.

Cette position peu ambitieuse pourrait être expliquée par la tentation qu’auraient le ministère des Armées et des industriels de la défense de se lancer dans la course aux robots tueurs. De nombreux systèmes militaires français comportent déjà des éléments d’autonomie et les programmes de recherche en cours (Neuron, Furious ou Man-Machine Team) visent également à développer des systèmes de plus en plus autonomes.

Conclusion et recommandations

Le temps presse pour empêcher le développement des robots tueurs : la France doit dépasser ses contradictions et miser sur le respect des droits fondamentaux plutôt que sur des intérêts militaires de court terme ou la recherche de profit des industriels. Que ce soit pour l’interdiction des mines antiper sonnel ou des armes à sous munitions, la France a déjà su faire ce choix par le passé, et prendre des décisions ambitieuses en matière de désarmement.

Les gouvernements ne doivent pas attendre qu’on leur présente les premières victimes de ces nouvelles armes pour agir.

La campagne contre les robots tueurs appelle donc la France à :

• S’engager à négocier sans délai un traité d’interdiction préventive juridiquement contraignant pour déterminer comment et où fixer les limites de l’autonomie future dans les systèmes d’armes ;
• Préciser les contrôles humains nécessaires et requis dans le cadre des fonctions essentielles d’identification, de sélection et d’attaque de cibles, ainsi qu’au cours d’attaques individuelles ;
• Adopter des politiques nationales et des législations pour empêcher le développement, la production, et l’utilisation d’armes entièrement autonomes.

Télécharger le rapport

Lisez plus sur Sciences Citoyennes

Les armes entièrement autonomes ou robots tueurs sont des systèmes qui, une fois activés, peuvent choisir et attaquer une cible sans contrôle humain. Si des systèmes entièrement autonomes n’ont pas encore été développés, compte tenu des avancées de la robotique et de l’intelligence artificielle, ils pourraient apparaître d’ici quelques années.

Depuis 2013, les Nations Unies se penchent sur la question, dans le cadre de la Convention sur certaines armes classiques (CCAC). Après six réunions sur le sujet, 26 Etats se sont prononcés pour une interdic- tion des robots tueurs, et une majorité est prête à négocier un traité. Seule une poignée de pays, dont la Russie et les Etats-Unis, résiste encore.

Autoriser un robot à tuer un humain représente une ligne rouge morale, une menace pour le droit inter- national et les droits humains, et un danger pour la sécurité internationale. La France doit donc soutenir l’adoption d’un traité international d’interdiction préventive des robots tueurs.

Les robots tueurs : un risque moral, juridique et pour la sécurité internationale

Déléguer à une machine ou à un algorithme la décision de vie ou de mort d’un humain représente une ligne rouge morale, incompatible avec la clause de Martens qui exige que les technologies émergentes soient jugées sur la base des « lois de l’humanité » et des « exigences de la conscience publique » lorsqu’elles ne sont pas déjà couvertes par les dispositions d’autres traités. Octroyer un choix de vie ou de mort sur un humain à une machine dépourvue de jugement moral et de compassion est contraire au principe d’humanité et aux exigences de la conscience publique.

Les systèmes d’armes autonomes ne peuvent pas respecter les grands principes du droit international humanitaire (DIH) et notamment les principes de proportionnalité, de distinction et de précaution. Le respect de ces principes requiert de comprendre pleinement et de s’adapter à des situations complexes et changeantes, ce qui nécessite la capacité d’analyse d’un cerveau humain, qu’aucune machine ne peut atteindre ni ne pourra atteindre dans un futur prévisible. En outre, l’usage de robots tueurs ne permettrait pas d’établir de responsabilité claire en cas de crime.

Il existe un risque élevé et systématique que ces robots tueurs s’attaquent aux mauvaises personnes : les programmes informatiques sont basés sur des données imparfaites et les robots n’auraient pas la capacité de douter ou de prendre conscience du risque d’erreur.

Les robots tueurs risquent de faciliter le déclenchement de conflits de grande ampleur. Ils exigeraient moins de moyens humains, abaissant considérablement le coût d’entrée en guerre. Les dégâts causés par les robots tueurs pourraient être d’une ampleur démesurée : les machines sont infatigables, elles ont la capacité d’agir à très grande échelle et à grande vitesse, et n’ont pas la faculté d’évaluer la moralité d’un ordre. Faciles à produire une fois que les programmes ont été conçus, les robots tueurs pourraient rapidement proliférer et finir entre les mains de nombreux Etats et groupes non-étatiques, dont certains violent déjà le DIH et les droits humains. Sans compter le risque de piratage par d’autres groupes ou Etats.

Enfin, au-delà des conflits armés, une fois développés, les robots tueurs pourraient être utilisés pour le maintien de l’ordre ou la fermeture des frontières. Là encore, ils se rendraient vraisemblablement coupables de violations des droits humains, sans réelle possibilité d’engager leur responsabilité.

Pourquoi il faut un traité pour interdire les robots tueurs

Compte tenu de la menace qu’ils représentent, il faut empêcher le développement des robots tueurs. Une simple déclaration politique ou le droit international humanitaire existant ne seront pas suffisants.

Un traité est le seul moyen de clari er les obligations des Etats. Un traité envoie un signal clair et stigmatise les armes visées, ce qui a un impact même sur les Etats qui ne sont pas signataires, ainsi que sur les industriels et les investisseurs. L’interdiction préventive d’un type d’armes n’est pas une nouveauté : le protocole IV de la CCAC a déjà interdit les lasers aveuglants à titre préventif. Par ailleurs, l’interdiction d’un type de technologie pour des armements (lasers aveuglants, armes chimiques…) n’a jamais entravé la recherche dans le secteur civil ou pour d’autres applications militaires.

Les traités d’interdiction sont ef caces. Les lasers aveuglants n’ont jamais été utilisés sur un champ de bataille. Le Traité d’Ottawa, qui interdit les mines antipersonnel, aura drastiquement diminué le nombre de victimes au cours des vingt dernières années.

Affirmer qu’un traité serait prématuré est une stratégie dilatoire, qui avait déjà été utilisée par les Etats opposés à l’interdiction des mines antipersonnel ou des armes à sous-munitions.

Un large mouvement en faveur d’une interdiction préventive des robots tueurs

De Stephen Hawking au cofondateur d’Apple Steve Wozniak, ils sont des milliers de scientifiques et d’experts de l’intelligence artificielle à sonner l’alerte, demander l’interdiction préventive des robots tueurs, et s’engager à ne pas contribuer à leur développement. En juin 2018, Google a adopté des lignes de conduite qui engagent l’entreprise à ne pas concevoir ou développer d’intelligence artificielle destinée à être utilisée dans des armes.

160 leaders religieux, 20 prix Nobel de la paix et des dizaines d’associations de défense des droits humains ont également demandé l’interdiction préventive des robots tueurs. Depuis son lancement en avril 2013, la Campagne contre les robots tueurs s’est développée et compte aujourd’hui 85 groupes dans 48 pays, dont Human Rights Watch, Amnesty International, Handicap International et Sciences Citoyennes.

Plusieurs rapports des Nations Unies recommandent l’adoption d’un texte juridique contraignant sur les systèmes d’armes létales autonomes, et le Secrétaire général des Nations Unis Antonio Guterres s’est engagé à soutenir les efforts des Etats dans ce sens.

Le Parlement européen a également adopté trois résolutions appelant à l’interdiction des robots tueurs et à l’adoption d’un traité. Les parlements islandais et belge ont voté des résolutions similaires, et plusieurs députés d’autres pays commencent à se pencher sur la question et à interpeler leurs gouvernements sur le sujet (Norvège, Finlande, Royaume-Uni, Suisse…)

Le trouble jeu de la France

Alors que le Président Emmanuel Macron s’est dit « catégoriquement opposé » au développement des robots tueurs et que la ministre des Armées Florence Parly affirme que « la France ne laisse pas émerger les robots tueurs », la France ne propose que l’adoption d’une déclaration politique au niveau des Nations Unies.

Cette position peu ambitieuse pourrait être expliquée par la tentation qu’auraient le ministère des Armées et des industriels de la défense de se lancer dans la course aux robots tueurs. De nombreux systèmes militaires français comportent déjà des éléments d’autonomie et les programmes de recherche en cours (Neuron, Furious ou Man-Machine Team) visent également à développer des systèmes de plus en plus autonomes.

Conclusion et recommandations

Le temps presse pour empêcher le développement des robots tueurs : la France doit dépasser ses contradictions et miser sur le respect des droits fondamentaux plutôt que sur des intérêts militaires de court terme ou la recherche de profit des industriels. Que ce soit pour l’interdiction des mines antiper sonnel ou des armes à sous munitions, la France a déjà su faire ce choix par le passé, et prendre des décisions ambitieuses en matière de désarmement.

Les gouvernements ne doivent pas attendre qu’on leur présente les premières victimes de ces nouvelles armes pour agir.

La campagne contre les robots tueurs appelle donc la France à :

• S’engager à négocier sans délai un traité d’interdiction préventive juridiquement contraignant pour déterminer comment et où fixer les limites de l’autonomie future dans les systèmes d’armes ;
• Préciser les contrôles humains nécessaires et requis dans le cadre des fonctions essentielles d’identification, de sélection et d’attaque de cibles, ainsi qu’au cours d’attaques individuelles ;
• Adopter des politiques nationales et des législations pour empêcher le développement, la production, et l’utilisation d’armes entièrement autonomes.

Télécharger le rapport

Lisez plus sur Sciences Citoyennes

Sciences Citoyennes participe également à l’appel de l’ENAAT (réseau européen contre le commerce des armes) puisque l’Union Européenne devait voter jeudi 28 juin un budget sans précédent de 13 milliards d’euros pour la recherche militaire en Intelligence Artificielle. Voir communiqué joint.

Sciences Citoyennes est à ce jour la seule ONG française, mais invite ses partenaires à nous rejoindre!

Voir le site de la coalition

Lisez plus sur Sciences Citoyennes