« Pour la CAF, l'algorithme est neutre, alors qu'il a des effets discriminatoires évidents »

Tous les deux journalistes d'investigation pour la rubrique Decodex du Monde, ils enquêtent sur les politiques publiques, les problèmes de société, en faisant souvent appel à la data. Pour Rembobine, ils reviennent sur l’importance d’une transparence accrue dans l’utilisation des algorithmes publics, la responsabilité des journalistes dans le décryptage de ces systèmes, et la nécessité de donner une voix aux citoyens directement impactés.

Comment avez-vous procédé pour décrypter cet algorithme et surtout rendre intéressantes toutes ces données pour le grand public ?

Manon Romain — À travers des demandes de documents par la procédure CADA, nous avons obtenu la communication d'une ancienne version de l'algorithme. Dès le départ, nous voulions rendre ce sujet complexe accessible en utilisant des formats visuels et interactifs. Une part essentielle du travail a été de collaborer avec une équipe de design et de direction artistique pour illustrer concrètement comment fonctionne cet algorithme. Cela nous a permis de transformer des données en éléments pédagogiques, compréhensibles pour tous.

Nous avons également eu l'envie d'ajouter un témoignage de personne concernée, pour montrer l'impact concret sur la vie de gens. Un article s'est concentré sur le cas d'une allocataire type, en démontrant comment certains critères de l'algorithme pouvaient aboutir à des contrôles ciblés.

Dans la vie de Juliette, mère isolée, précaire et cible de l’algorithme des CAF

« Le Monde » raconte comment une bénéficiaire du RSA est devenue un dossier « à risque » pour l’organisme, et les conséquences de ce ciblage sur sa vie.

Le MondeAdrien Sénécat

Adrien Sénécat — On se rend très vite compte en effet de pourquoi l'allocataire que nous avons interviewée avait été contrôlée. L'effet de l'algorithme, c'est celui-là, le score calculée est lié à qui l'on est et pas au comportement qu'on a. En connaissant les critères, j'ai vite vu par exemple que ma propre famille n'avait quasiment aucune chance d'être sélectionnée pour se faire contrôler.

Quels sont les critères qui vous ont le plus étonnés ?

Manon Romain — Un des critères qui m'a le plus surpris est sans aucun doute le "mode de réception" de l'Allocation Adulte Handicapé (AAH). Si une personne reçoit cette allocation de manière trimestrielle, ce qui correspond souvent à un emploi dans le secteur privé, son score de risque augmente. En revanche, celles qui la perçoivent annuellement, généralement via un ESAT [les établissements et services d'aide par le travail, pour l'insertion des personnes handicapées, NDLR], sont moins souvent contrôlés. Ce genre de critères nous parait problématique, car il ne semble pas reposer sur un raisonnement logique et équitable et veut surtout dire qu'être handicapé·e augmente son score.

Adrien Sénécat — Par ailleurs, nous avons été frappés par la manière dont les critères défavorisent systématiquement les parents isolé·es par rapport aux couples, créant ainsi une discrimination implicite. Pour avoir la meilleure note, le foyer doit avoir travaillé 15 mois dans l'année, de fait impossible pour une personne seule.

Dans quelle mesure peut-on affirmer que l’algorithme est discriminatoire, en fonction de la nationalité ou de la race ?

Adrien Sénécat — C’est une question délicate. On ne peut pas dire qu'il y a une discrimination raciale, d’autant que la CAF ne collecte pas de données ethniques, conformément à la loi française. Un des points d'interrogation que nous avons, c'est que dans la version de l'algorithme que nous avons, trois variables manquent. Nous ne savons pas lesquels, mais une hypothèse qu'ont notamment la Quadrature du Net qui ont aussi travaillé sur l'algorithme, c'est que l'un d'entre eux pourrait être le "Code Commune". Et donner un score en fonction de celui-ci pourrait indirectement discriminer, en ciblant des zones géographiques où résident majoritairement des populations précaires ou issues de l’immigration.

À la CAF, l’algorithme qui cible les plus vulnérables

Le Monde et Lighthouse Reports ont obtenu et analysé le code source de cet algorithme, révélant des dérives systémiques.

Rembobine, le média qui lutte contre l'obsolescence de l'infoTimothée Vinchon

La CAF n'a pas de procédure de contrôle éthique autour de ce genre d'algorithme ?

Adrien Sénécat — Il n'y a pas d'étude, en tout cas pas d'étude qui ait été rendue publique, de la CAF de recherche de biais de son algorithme et de correction s'il sont jugés discriminants. Ce n'est pas quelque chose qui est pensé comme un risque, ce qui est pourtant assez banal quand on conçoit ce genre de programme. La CAF estime que l'algorithme est neutre, alors qu'il a des effets discriminatoires évidents, et c'est ça le plus problématique.

Pour prendre un exemple, ils ne se posent pas la question de si ça touche plus les hommes ou les femmes. Ils répondraient que ce n’est pas un critère dans l’algorithme. Mais quand on cible plus les familles monoparentales, statistiquement, on touche plus les femmes.

Avec l'émergence de l'IA dans les administrations, risque-t-on d'avoir encore plus d'algorithmes et d'automatisations problématiques ?

Manon Romain — On va avoir beaucoup plus de travail je pense. Ici, on a de la chance, c'est un algorithme relativement basique, bien qu'appliqué à des décisions sensibles. Il contient quelques centaines de lignes de codes où les critères sont clairement identifiables.

Si on bascule sur des outils plus modernes d’intelligence artificielle, ça pourrait rendre encore plus opaques les biais et discriminations. Nous sommes sur des dispositifs qui vont concerner une population massive. L'exemple de la CAF montre que ces outils algorithmiques et d'intelligence artificielle nécessitent déjà un encadrement éthique et légal extrêmement rigoureux.