CERD/C/GC/36
des pratiques discriminatoires des organes concourant à l’application de la loi. Les citoyens
devraient pouvoir porter plainte auprès de mécanismes indépendants.
G.
Intelligence artificielle
58.
Les États doivent veiller à ce que les systèmes de profilage algorithmique utilisés pour
les besoins de l’application de la loi soient pleinement conformes au droit international des
droits de l’homme. Ils devraient pour ce faire, avant d’acquérir ou d’adopter ces systèmes,
adopter les mesures législatives, administratives et autres qui s’imposent pour déterminer
l’objectif de leur utilisation et pour réglementer le plus précisément possible les critères et
les garanties destinés à empêcher des violations des droits de l’homme. Ces mesures
devraient viser, en particulier, à faire en sorte que l’adoption de systèmes de profilage
algorithmique ne compromette pas le droit de ne pas subir de discrimination, le droit à
l’égalité devant la loi, le droit à la liberté et à la sécurité de sa personne, le droit à la
présomption d’innocence, le droit à la vie, le droit à la vie privée, la liberté de circulation, la
liberté de réunion et d’association pacifiques, les protections contre l’arrestation arbitraire et
d’autres interventions, et le droit à un recours effectif.
59.
Les États devraient évaluer avec précaution les effets potentiels sur les droits de
l’homme avant de recourir à la technologie de reconnaissance faciale, qui peut conduire à des
erreurs d’identification en raison d’un manque de représentativité dans la collecte des
données. Avant tout déploiement à l’échelle nationale, les États devraient prévoir une période
pilote supervisée par un organe de contrôle indépendant dont la composition reflète la
diversité de la population, afin de prévenir tout cas possible d’erreur d’identification et de
profilage fondé sur la couleur de la peau.
60.
Les États devraient veiller à ce que les systèmes de profilage algorithmique mis en
place pour les besoins de l’application de la loi soient conçus dans un souci de transparence,
et devraient permettre à des chercheurs et à la société civile d’accéder à leur code et d’en
faire l’analyse. Une évaluation et un suivi réguliers des effets de ces systèmes sur les droits
de l’homme doivent être effectués tout au long de leur cycle de vie, et les États devraient
prendre des mesures d’atténuation appropriées si des risques pour les droits de l’homme ou
des atteintes aux droits de l’homme sont détectés. Ces processus devraient examiner les effets
discriminatoires potentiels et effectifs du profilage algorithmique d’après les motifs de la
race, de la couleur, de l’ascendance ou de l’origine nationale ou ethnique et leur intersection
avec d’autres motifs, comme la religion, le sexe et le genre, l’orientation sexuelle et l’identité
de genre, le handicap, l’âge, le statut migratoire et le travail ou toute autre situation. Ils
devraient intervenir préalablement au développement ou à l’acquisition de tels systèmes,
autant que possible, et au minimum avant leur mise en exploitation, et pendant toute leur
durée de vie. Ces processus devraient prévoir des études d’impact sur les différentes
populations. Les groupes qui sont potentiellement ou effectivement concernés, et des experts
compétents devraient faire partie des processus d’évaluation et d’atténuation.
61.
Les États devraient prendre toutes mesures appropriées pour garantir la transparence
dans l’utilisation des systèmes de profilage algorithmique. Ils devraient notamment rendre
publique l’utilisation de ces systèmes et fournir des explications utiles sur leur
fonctionnement, les séries de données utilisées, et les mesures adoptées pour prévenir ou
atténuer les atteintes aux droits de l’homme.
62.
Les États devraient faire en sorte que des organes de contrôle indépendants soient
chargés de superviser l’utilisation des outils d’intelligence artificielle par le secteur public, et
de les évaluer selon des critères définis conformément à la Convention pour veiller à ce qu’ils
n’ancrent pas davantage les inégalités ou ne produisent pas de résultats discriminatoires. Les
États devraient aussi veiller à ce que le fonctionnement de ces systèmes soit contrôlé et évalué
régulièrement afin d’analyser les déficiences et de prendre les mesures correctives
nécessaires. Quand les résultats d’une évaluation d’une technologie indiquent un risque élevé
de discrimination ou d’autres atteintes aux droits de l’homme, les États devraient prendre des
mesures pour éviter l’utilisation de la technologie considérée.
63.
Les États devraient adopter des mesures pour faire en sorte que la conception, le
déploiement et la mise en œuvre par le secteur privé de systèmes d’intelligence artificielle
GE.20-17272
13