CERD/C/GC/36 des décisions et de l’action des représentants de la loi, le risque est grand que parallèlement, ils ne perpétuent et renforcent les préjugés, et n’aggravent les pratiques discriminatoires ou ne favorisent de telles pratiques22. Étant donné l’opacité de l’analyse et de la prise de décision algorithmiques, en particulier si des méthodes d’intelligence artificielle sont utilisées, il est fréquent que les effets discriminatoires du profilage algorithmique soient moins visibles, et plus difficiles à détecter que ceux de décisions humaines, et donc plus difficiles à contester 23. En outre, les défenseurs des droits de l’homme, bien souvent, ne sont pas suffisamment outillés sur le plan technologique pour détecter ces méthodes discriminatoires. 32. Les préjugés peuvent emprunter divers points d’accès pour s’installer dans les systèmes de profilage algorithmique, notamment la façon dont les systèmes sont conçus, les décisions quant à l’origine et à la couverture des séries de données utilisées pour entraîner les systèmes, les préjugés sociétaux et culturels qui, du côté de leurs auteurs, peuvent avoir influencé les séries de données, les modèles d’intelligence artificielle proprement dits, et la façon dont les résultats du modèle d’intelligence artificielle sont mis en pratique24. En particulier, les facteurs liés aux données ci-après peuvent aboutir à des effets négatifs : a) les données utilisées incluent des renseignements concernant des caractéristiques faisant l’objet d’une protection ; b) les données comportent ce que l’on appelle une information indirecte − ainsi, les codes postaux liés à des quartiers ségrégés des villes donnent souvent une indication indirecte de la race ou de l’origine ethnique ; c) les données utilisées sont biaisées au détriment de tel ou tel groupe25 ; et d) les données utilisées sont de mauvaise qualité, du fait notamment qu’elles sont mal sélectionnées, incomplètes, incorrectes ou inactuelles26. 33. Des risques apparaissent en particulier si le profilage algorithmique est utilisé pour déterminer la probabilité de la délinquance soit dans certaines localités, soit chez certains groupes, voire certains individus. Les méthodes de police prédictive qui s’appuient sur des données antérieures pour prédire les événements futurs éventuels peuvent facilement aboutir à des effets discriminatoires, en particulier si les séries de données utilisées présentent un ou plusieurs des défauts mentionnés précédemment27. À titre d’exemple, les données antérieures sur les arrestations dans tel ou tel quartier peuvent avoir été établies à partir de pratiques policières entachées de préjugés raciaux. Si on charge ces données dans un modèle de police prédictive, on risque en les utilisant d’orienter les prédictions futures en fonction des mêmes préjugés, ce qui peut aboutir à un interventionnisme policier excessif dans le même quartier, et par contrecoup à davantage d’arrestations dans ledit quartier, ce qui crée une boucle de rétroaction dangereuse. 34. On a signalé la présence de mécanismes analogues au sein des systèmes judiciaires28. Pour appliquer une sanction ou se prononcer sur les peines (incarcération, placement en liberté sous caution ou autre peine), les États ont de plus en plus recours au profilage algorithmique, de manière à prévoir dans quelle mesure un individu est susceptible de commettre un ou plusieurs délits à l’avenir. Les autorités réunissent des renseignements au sujet des antécédents judiciaires de l’individu, de sa famille et de ses amis et de sa situation sociale, y compris ses antécédents professionnels et éducatifs, afin d’évaluer le niveau de 22 23 24 25 26 27 28 8 pas un seul objet, mais plutôt une constellation de techniques et de procédés permettant d’utiliser des ordinateurs pour accompagner ou remplacer des opérateurs humains dans des tâches de résolution de problèmes ou de prise de décisions (A/73/348, par. 3). Voir A/HRC/44/57. AI Now, « The AI Now report: the social and economic implications of artificial intelligence technologies in the near-term », résumé de la conférence publique AI Now organisée par la Maison blanche et l’Institut de droit de l’information de l’Université de New York le 7 juillet 2016, p. 7. A/73/348, par. 38. Ainsi, quand des pratiques discriminatoires passées − des arrestations, par exemple − qui ont eu une incidence disproportionnée sur les membres d’un certain groupe, sont prises en compte dans les données utilisées pour le profilage, cela aura une incidence sur les résultats du profilage algorithmique. Agence des droits fondamentaux de l’Union européenne, étude intitulée « #BigData: discrimination in data-supported decision making », p. 4 et 5. Voir Rashida Richardson, Jason M. Schultz et Kate Crawford, « Dirty data, bad predictions: how civil rights violations impact police data, predictive policing systems, and justice », New York University Law Review, vol. 94 (mai 2019). Voir, à titre d’exemple, Julia Angwin et al., « Machine bias », ProPublica, 23 mai 2016. GE.20-17272