À la CAF, l’algorithme qui cible les plus vulnérables
Retour sur l'enquête des journalistes Manon Romain et Adrien Sénécat pour Le Monde et Lighthouse Reports révélant les biais de l'utilisation par la CAF d'un algorithme opaque pour prioriser ses contrôles.
Depuis 2010, la Caisse nationale des allocations familiales (CNAF) utilise un algorithme de "data mining" pour prioriser les contrôles sur ses 13,8 millions de foyers allocataires. Ce système, basé sur un "score de risque", repose sur des critères personnels pour identifier les dossiers qu'il faut surveiller et contrôler en priorité. Présenté comme un simple outil de détecté des irrégularités, il est accusé par des associations et des expert·es de discriminer les publics les plus vulnérables, notamment les allocataires précaires, les parents isolé·es ou les bénéficiaires de l'allocation adulte handicapé (AAH).
⏳ Comprendre l'enquête en 30 secondes
→ Depuis 2010, la CAF utilise un algorithme opaque pour prioriser ses contrôles en attribuant un "score de risque" aux allocataires, souvent basé sur des critères discriminatoires comme la précarité ou la situation familiale. Le Monde et Lighthouse Reports ont obtenu et analysé le code source de cet algorithme, révélant des dérives systémiques qui ciblent injustement les plus vulnérables, suscitant des critiques éthiques et légales.
💥 Et son impact en encore moins de temps !
→ L'enquête a eu un large écho médiatique et certain·es politiques s'en sont emparé, mais les pouvoirs publics ont peu réagi. Quinze organisations de la société civile ont saisi le Conseil d'État pour demander l'arrêt de cet outil jugé injuste.
Quand le profilage social s’invite dans l’attribution des aides
L’enquête menée par Le Monde et Lighthouse Reports a permis de dévoiler une partie de cette "boîte noire". Grâce à des demandes de documents administratifs, les journalistes ont eu accès au code source d'une version précédente de l'algorithme. Ils ont pu découvrir les critères qui augmentent les risques de contrôle : situations de vulnérabilité économique, changements dans la composition familiale, ou encore obligations déclaratives fréquentes pour certaines aides. Ces critères, jugés discriminatoires, alimentent une suspicion généralisée à l’encontre des allocataires les plus fragiles.
Allison Zarouri
Découvrez en vidéo les critères qui augmentent les risques de contrôle.
Cette priorisation grâce à l'algorithme soulève des questions éthiques et légales. ATD Quart Monde, cité dans l'article estime que ce système constitue une maltraitance institutionnelle qui pénalise les plus précaires et complexifie leur accès aux droits. De leur côté, les dirigeants de la CNAF défendent une approche statistique visant à limiter les erreurs, tout en reconnaissant les limites du système.
Quelques jours avant la publication de l’enquête, l’association La Quadrature du Net avait déjà dévoilé le code source de l’algorithme et proposé une analyse approfondie liée à son domaine d’expertise : les droits numériques et la transparence des algorithmes. Un premier coup de projecteur qui a contribué à alimenter le débat public.
💥 En quête d'impact
Un an après la publication de l'enquête menée par Le Monde et Lighthouse Reports, des mesures ont-elles été prises pour limiter les discriminations liées au profilage social des allocataires ? La CNAF et le gouvernement ont-ils réagi face aux accusations de maltraitance institutionnelle ? Des citoyen·nes ou associations se sont-iels emparé·es du sujet pour réclamer plus de transparence et d’équité ?
Rembobine vous propose de découvrir l'impact de l'enquête, d'après une méthodologie inspirée du média d'investigation Disclose et de son rapport d'impact. Rendez-vous sur le site pour comprendre ce qui peut être inclus dans ce tableau.
→ Contactée par Le Monde lors de l’enquête, la ministre des solidarités d’alors, Aurore Bergé, n’a pas souhaité s’exprimer. "L'action des Caf et les contrôles qu'elles mènent sont au service des allocataires", avait pour sa part répondu Fadila Khattabi, ministre des Personnes handicapées, le 6 décembre.
→ La CAF avait très rapidement réagi, se défendant de surveiller les allocataires. « Non, les CAF n’utilisent pas d’algorithme pour "surveiller les allocataires". Depuis 2011, elles l’utilisent pour classer les dossiers portant le plus de risque d’erreurs. Les détecter rapidement, c’est garantir des droits justes et éviter des remboursements postérieurs importants » écrivait-elle sur X.
→ Auditionné au Sénat en janvier 2024 sur la surreprésentation des familles monoparentales lors des contrôles révélée par l'enquête, le directeur de l’organisme Nicolas Grivel a encore défendu l’algorithme. Des promesses d'audit, sans effet pour le moment, ont été formulées.
→ Plusieurs députés ont abordé la question à l'Assemblée nationale. Les député·es insoumi·ses Murielle Lepvraud et Louis Boyard ont interrogé le gouvernement sur les discriminations potentielles engendrées par cet algorithme et les mesures correctives envisagées.
→ Les différents articles publiés début décembre 2023 ont été lus plus de 500 000 fois au moment de leur publication. L'enquête a suscité une large couverture médiatique, plusieurs médias ont repartagé l'information, elle a même servi de supports pour des chroniques de Thomas Piketty dans Le Monde sur la pauvrophobie et une d’Esther Duflo sur France Culture.
→ Les articles du Monde ont été traduits en anglais.
→ Les deux journalistes ont organisé un Reddit “Ask Me Anything”. Le principe est simple, les utilisateur·rices de Reddit posent des questions dans le forum et les journalistes répondent. L’objectif : faire connaître plus largement le problème à l’international.
→ Le Monde a saisi en décembre 2023 le tribunal administratif afin d’obtenir la communication de documents relatifs à ce « score de risque ». Mais l’organisme public maintient son refus. La rédaction attend l'audience.
→ Le 6 décembre 2023, la Défenseure des droits a été saisie par Stéphane Troussel, président du département de Seine-Saint-Denis, "afin de statuer sur le caractère discriminatoire des critères utilisés par l'algorithme”. Le 13 novembre 2024, l’organisme a publié un rapport qui appelle à la vigilance sur l’usage des algorithmes par les services publics.
→ En octobre 2024, quinze organisations de la société civile, dont Changer le cap, La Quadrature du Net et Amnesty International, ont attaqué l’algorithme de notation des allocataires en justice, devant le Conseil d’État.
→ La Quadrature du Net continue ses investigations et reste vigilante sur le dossier. Elle révélait notamment en mars 2024 que la CAF cherchait à étendre la surveillance de l’algorithme via l’intégration du suivi en « temps réel » des revenus de l’ensemble des allocataires.
→ Des chercheurs ont proposé des solutions concrètes sur la transparence des algorithmes publics.
→ Plusieurs ONG comme ATD-Quart Monde ont dénoncé ce ciblage inacceptable dès la parution et à nouveau en février en envoyant une lettre ouverte à l’ex-premier ministre Gabriel Attal.
Les coulisses de l'enquête 🕵️♀️
Manon Romain et Adrien Sénécat sont journalistes d'investigation pour la rubrique Decodex du Monde. Ils enquêtent sur les politiques publiques, les problèmes de société, en faisant souvent appel à la data. Pour Rembobine, ils reviennent sur l’importance d’une transparence accrue dans l’utilisation des algorithmes publics, la responsabilité des journalistes dans le décryptage de ces systèmes, et la nécessité de donner une voix aux citoyens directement impactés.
Timothée Vinchon
Des ressources pour mieux suivre le sujet ? 🧰
Alors mauvaise nouvelle, l'algorithme de la CAF n’est pas un cas isolé. D'autres administrations comme France Travail et Assurance Maladie leur donnent accès à de plus en plus de données pour prendre des décisions. Bonne nouvelle, La Quadrature du Net veille au grain. Ils ont publié en juin 2024 la première étude sur l’algorithme de France Travail. Pour l'instant, il est destiné à mesurer l’employabilité de la personne en recherche d’emploi. Mais l'association s'inquiète des risques de dérives. Mediapart vient également de révéler le déploiement par la sécu de robots pour gérer certains dossiers considérés sans « valeur ajoutée ».
Dans ce monde de data, une autre solution, disparaître. Arte consacrait en 2023 un très bel épisode de Sous le radar des algorithmes aux solutions alternatives à la portée de tou·tes pour protéger ses activités numériques de la surveillance et de la malveillance.
Lecteur·rices, citoyen·nes...Vous avez le pouvoir de renforcer l'impact du travail des journalistes !
1. Diffusez l'article et l'enquête d'impact via vos réseaux sociaux, auprès de vos amis et famille pour les sensibiliser aux enjeux des libertés numériques
2. Demandez votre score. Toute administration est tenue par la loi de communiquer à qui en fait la demande les valeurs du « score de risque » qu’elle alloue aux allocataires.
3. Rejoignez ou faites un don aux associations impliquées dans l'action collective devant le Conseil d'État, comme Changer de Cap ou La Quadrature du Net.
4. Interpellez vos élu·es pour leur demander de se positionner sur l'utilisation de l'algorithme et des mesures pour garantir son équité.
Rembobine, le média qui lutte contre l'obsolescence de l'info Bulletin
Inscrivez-vous à la newsletter pour recevoir les dernières mises à jour dans votre boîte de réception.
