Point d'entrée#3 : les nécrotechniques
Réaction à « Sortir des nécrotechniques des frontières », Hubert Guillaud, Dans les algorithmes, 29 septembre 2026
Dans sa lettre n°86, Hubert Guillaud consacre un long article aux travaux de l’avocate et anthropologue Petra Molnar. Il y relaie une tribune parue dans Tech Policy Press, dans laquelle Molnar propose un mot pour nommer ce que les débats sur la surveillance des frontières laissent de côté : les morts. Par nécrotechniques des frontières, elle désigne:
les systèmes automatisés, les bases de données et les architectures de surveillance au moyen desquels États et entreprises décident quelles vies seront exposées à la mort, à l’expulsion ou à une surveillance sans fin, à la frontière et au-delà. Les décès causés par ces dispositifs ne relèvent pour elle ni du dysfonctionnement ni de l’effet secondaire : ils sont « le fonctionnement normal du système ».
Je ne souhaite pas discuter des faits rapportés dans l’article. Il y a cependant un diagnostic qui est posé et qui me paraît excessif sur deux points : l’intention qu’on prête aux fournisseurs de ces outils, et l’impuissance du droit et plus généralement de la réglementation.
L’intention des fournisseurs
Dire que la mort est le fonctionnement normal du système revient à lui prêter une finalité. Or, l’intention se loge d’abord (et/ou aussi) chez celui qui décide de déployer et donc d’utiliser. Les fournisseurs de systèmes d’intelligence artificielle ne sont généralement pas les utilisateurs de leurs propres systèmes. Je ne reprendrai pas l’image du marteau, qui sert à bâtir comme à tuer, tant elle a été usée, mais le raisonnement s’en approche. Il y a aussi toute la question de l’absence de neutralité d’une technique que j’ai déjà abordée et qui doit servir d’éclairage à cette réflexion.
Par son propos, Molnar vise essentiellement les entreprises. Sa définition nomme incidemment les États mais elle décrit surtout une responsabilité des acteurs privés. Toutefois, en plaçant fournisseurs et utilisateurs dans un même système doté d’une finalité propre, on place sur le même plan celui qui conçoit un outil et celui qui choisit de le pointer vers des personnes.
Certains outils d’IA sont paramétrés de manière critiquable, parfois sans aucune justification, mais il faut éviter que la critique se concentre sur les fournisseurs, car elle manque ce que le texte de Molnar met en lumière malgré lui : la volonté de plus en plus concrète de certains utilisateurs de mobiliser l’IA, et la technologie en général, à des fins mortifères. Ces outils sont proposés et utilisés parce que des acteurs ne s’embarrassent pas de certaines questions “éthiques”. Le recours à Palantir par les autorités américaines dans la chasse aux migrants me semble être une illustration éclairante de cette situation. La fin justifie les moyens et en plus, on ne s’embarrasse plus de réfléchir à cette fin….
Néanmoins, faire porter la responsabilité sur le seul fournisseur prive la réflexion d’épaisseur et, surtout, de fondement juridique. C’est sur ce terrain que ce compte rendu pose le plus de difficultés.
Le règlement sur l’IA
Molnar s’appuie sur le règlement (UE) 2024/1689 sur l’intelligence artificielle pour conclure qu’il semble impossible de réformer le déploiement de ces outils. Selon elle, le texte classe
sur le papier les systèmes de contrôle aux frontières parmi les systèmes à haut risque, tout en excluant de son champ les applications liées au maintien de l’ordre, à la sécurité nationale et au contrôle migratoire. Il confierait la supervision de leurs effets à l’auto-évaluation et à la conformité interne, sans perspective réelle de recours.
Cette lecture me semble inexacte, et sur certains points contraire au texte.
D’abord, le champ d’application. L’article 2, paragraphe 3, exclut les systèmes d’IA utilisés exclusivement à des fins militaires, de défense ou de sécurité nationale, et rappelle que le règlement n’affecte pas les compétences des États membres en matière de sécurité nationale. Le maintien de l’ordre et le contrôle migratoire ne sont pas exclus : ils figurent à l’annexe III, points 6 et 7, parmi les domaines à haut risque. Ce qui échappe au règlement relève donc de matières régies par le droit national.
Ce n’est pas une exclusion totale de la réglementation. Ce sont les États qui adopteront, ou non, les lois autorisant tel ou tel usage. La précision n’a rien d’anecdotique et c’est le point central de ma critique.
Ensuite, les mécanismes de contrôle ne sont pas absents. Il y a toute une série de mécanismes prévus par le Règlement. Il y a pour la plupart des systèmes à haut risque de l’annexe III, une évaluation de conformité à faire qui repose sur le contrôle interne du fournisseur. La critique de l’auto-évaluation n’est donc pas inexacte mais ne suffit pas, à mon sens, à conclure qu’aucune réforme ne soit possible. Par ailleurs, sur le point de la gestion des migrations, de l’asile et des contrôles aux frontières, les systèmes d’IA à haut risque visés sont au nombre de 4 mais sont “autorisés” dans la mesure où leur utilisation est également autorisée par le droit de l’Union ou le droit national applicable.
Ce n’est donc pas tout à fait le désert. Il y a, sur ces sujets, un contrôle législatif qu’il ne faut pas négliger ou mettre de côté.
Le législatif garde la main
Dans ces domaines, ce sont donc les institutions politiques et donc législatives qui décident de l’usage de tel ou tel dispositif. C’est l’assemblée parlementaire qui tranche la question de savoir si nous acceptons, en tant que société, des ingérences de cette nature. L’article 5, paragraphe 5, du règlement l’illustre bien : un État membre peut prévoir dans sa loi nationale la possibilité d’autoriser l’identification biométrique à distance en temps réel dans l’espace public. S’il ne le fait pas, l’interdiction du règlement IA est maintenue.
Nous avons donc conservé le contrôle démocratique de ces choix. L’impossibilité de réformer que décrit Molnar est donc à fortement nuancer puisque nous avons la possibilité de nous opposer à ce type d’utilisation par le biais de lois nationales.
J’avais défendu une idée proche dans une note consacrée aux systèmes d’IA en ressources humaines. Des recruteurs s’inquiétaient, à l’approche de l’entrée en application du règlement IA, de savoir s’ils pourraient continuer à utiliser des systèmes testant la résistance au stress des candidats. À mon estime, ces systèmes ne devraient pas pouvoir être utilisés, parce qu’ils reviennent à légitimer une certaine forme de “torture”. Sur un autre sujet, nos institutions ont voté des règles qui écartent la possibilité de procéder à la reconnaissance des émotions sur le lieu de travail, sauf pour des raisons médicales ou de sécurité.
Surveiller aussi le législateur
Le rôle du politique ne cesse de se complexifier. L’histoire récente de la régulation de ces dispositifs, ou durant la période de la crise sanitaire, montre que les institutions politiques ont tendance à recourir à des moyens disproportionnés pour atteindre certains objectifs.
La Cour de justice de l’Union européenne et la Cour européenne des droits de l’homme partagent les critères qui encadrent toute ingérence dans les droits fondamentaux des citoyens : elle doit être nécessaire dans une société démocratique et proportionnée au but poursuivi. Ces critères servent régulièrement à censurer des dispositions nationales qui sont allées trop loin. La Belgique l’a vécu avec des annulations de lois sur la conservation des données, par exemple. Nous devons donc rester attentifs aux gesticulations des Big Tech, mais aussi à l’attitude de nos régulateurs et de nos législateurs nationaux.
À cet égard, la tribune de Molnar laisse de côté un autre volet du règlement : les pratiques dont le risque est jugé inacceptable et qui sont, à ce titre, interdites (article 5). À l’analyse, la plupart de ces pratiques n’avaient pas besoin d’un règlement sur l’IA pour être interdites. Le RGPD, la directive (UE) 2016/680 relative aux traitements de données par les autorités répressives, la Charte et la Convention européenne des droits de l’homme formaient déjà un arsenal suffisant pour encadrer ces comportements.
Une lecture plus fine montre cependant que le règlement a surtout organisé les conditions dans lesquelles les autorités publiques peuvent déroger à ces interdits. L’identification biométrique à distance en temps réel dans l’espace public, interdite par principe, reste permise pour rechercher des victimes d’enlèvement ou de traite, prévenir une menace imminente pour la vie ou une attaque terroriste, ou localiser une personne soupçonnée de certaines infractions graves. La disproportion que je mentionnais plus haut risque de ressurgir ici, logée dans les exceptions aux pratiques interdites invoquées par certaines autorités publiques via des lois votées à la va-vite.
Notre société traverse des turbulences. Elles sont multiples et depuis l’arrivée des systèmes génératifs et d’autres dispositifs technologiques complexes, prennent une nouvelle configuration et tournure démocratique. La critique des fournisseurs de systèmes d’IA est utile et nécessaire, mais reste parfois un peu facile. Celle de nos propres usages ou de nos propres institutions demande davantage d’effort, parce qu’elle nous renvoie à nos propres contradictions. Placer la responsabilité là où le droit la place, chez ceux qui autorisent et chez ceux qui utilisent, c’est mon réflexe de juriste, attaché au respect de l’État de droit.
Cela ne doit pas nous empêcher de garder un œil sur ceux qui autorisent et sur ceux qui utilisent. Ceux-là, c’est aussi vous et moi. C’est un parti pris que je continue à prendre et il faudra peut-être le réviser si certains cessent de jouer leur rôle.
Note sur l’usage d’un dispositif génératif
Vu le sujet, il me paraît normal de préciser que les idées, les références et le plan de ce texte viennent de mes notes personnelles. J’ai demandé à Claude (Anthropic) de les mettre en forme. J’ai relu et amendé le résultat avant publication.
Ces notes font partie de Dualité, mon carnet de notes numériques. Si vous souhaitez les recevoir directement dans votre boîte mail, vous pouvez vous abonner à la newsletter.