How an algorithm kicks small businesses out of the food stamps program on dubious fraud charges (2018)

newfoodeconomy.org/usda-algori

"It’s a justice system that puts the burden of proof on the accused — and one in which most cases are decided long before they reach a courtroom. In the blink of an eye, the owners of small, neighborhood grocery stores can lose half their income."

Suivre

Exemple intéressant d'effets problématiques de l'utilisation d'un algorithme pour résoudre un problème.

Les US ont un programme de bons alimentaire appelé SNAP. Il concerne des personnes ayant peu ou pas de revenus et leur permet de régler leurs courses. Il concerne environ un foyer américain sur dix.

Or, pour détecter les utilisations frauduleuses de ces bons (genre, les échanger contre du cash), le département d'agriculture a récemment mis en place un algoritme (ALERT).

ALERT analyse les transactions SNAP des supermarchés. Si des motifs de transactions suspicieuses sont détectés, les magasins sont disqualifiés de recevoir des paiement en bons à l'avenir.

Et là, ça devient intéressant (ou déprimant). Parce qu'en regardant quel type de magasins sont disqualifiés, on retrouve énormément de petits magasins locaux, dans des quartiers pauvres et marginalisés.

D'autant plus problématique qu'ils dépendent souvent d'une clientèle recevant des aides, et réciproquement.

Puisque oui, qu'est-ce qu'une transaction suspicieuse ?

Par exemple, le fait de payer une grosse partie des bons d'un seul coup. Or, cf article, certains magasins mettent en place des systèmes de crédit informels (c'est illégal) pour permettre aux client.e.s qui recoivent des aides (par ex personnes agées) de payer leurs courses en fin de mois.

Le fait de payer des sommes rondes. Alors qu'il est coutumier dans certaines cultures de demander "10 dollars de viande", et non 1 kilo.

Le fait d'opérer beaucoup de transaction dans un cours laps de temps. Alors que les femmes de certains quartier allaient faire leurs courses en groupe, ensemble, pour mutualiser les transports quand elles ont peu d'accès à une voiture.

Bref, le paramètrage de la suspicion est informé par les habitues culturelles. Et, comme l'explique l'article, le fonctionnement de l'algoritmes et le choix des paramètres est tout sauf transparent dans le cas d'ALERT, et les recours sont difficiles.

Évidemment il y a mille choses à direct sur la chasse aux pauvres, le racisme, l’incompetence technique et politique dans tout ça. Je m’en tiens là, mais beaucoup de choses frappantes dans cet exemple.

@arden

Je ne suis pas vraiment d'accord, ce n'est pas une défaillance de l'algorithme (qui fait son boulot correctement), c'est un malentendu fondamental lié à prise de pouvoir des gestionnaires (voire à la médiocratie qui lui est liée) irresponsables par rapport au réel.

@arden

Un algorithme (ou avant eux tout mécanisme d'examen statistique) a pour objectif de réaliser automatiquement un pré-filtrage de situations à aller examiner.
Jamais quelqu'un de compétent ne prendra une décision sur la base d'un signalement statistique (à part la décision d'aller voir ce qui se passe bien sûr, c'est fait pour ça).

@arden

C'est bien cet aspect qui est passé à la trappe lorsque les gestionnaires ont cessé d'être au service de ceux qui font concrètement le travail pour devenir les donneurs d'ordre, sans pour autant comprendre les conditions de réussite des objectifs fixés à l'organisation (les objectifs de gestion prennent le dessus sur la réalisation des objectifs concrets).

@arden

Oui bien sûr, la connerie assistée par ordinateur renforce énormément les moyens des gestionnaires bornés, surtout du fait de l'incompétence technique et politique dont tu parles qui donne une appréhension magique du fonctionnement de l'informatique et de l'IA, mais ce n'est qu'un renforcement, pas la question de fond.

@LienRag Je ne crois pas avoir parlé de défaillance de l'algorithme, et en ce sens ce que tu dis est dans la continuation du propos de mon fil.

@popolon @arden

Oui, j'en avais parlé ici miaou.drycat.fr/@LienRag/10302

(là c'est directement l'algorithme qui avait été conçu pour mesurer une valeur sans réelle pertinence opérationnelle)

Inscrivez-vous pour prendre part à la conversation
Framapiaf

Mastodon est un réseau social utilisant des protocoles Web ouverts et des logiciels libres. Tout comme le courriel, il est décentralisé.