Transparence, fiabilité, loyauté des algorithmes...

+6 votes
343 vues
posée par fylb Crapaud fou (32 points) 27-Novembre-2017 dans cercle-génie-digital

Ola,

Sujet délicat à aborder que celui de la loyauté, transparence, fiabilité des algorithmes, notamment d'apprentissage machine; nous oublierons APBwink. L'inria a bien proposé le projet https://www.inria.fr/actualite/actualites-inria/transalgo à la suite de la loi Lemaire mais ce projet semble resté à l'état d'annonce. sad

La question est plus précisément: comment traquer des déviances algorithmiques (opacité, défaillance, entrave à la concurrence, biais) comme le fait par exemple aux USA l'excellent site https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Problème difficile mais on peut peut être assez fou pour en discuter.

Des éléments d'information sont disponibles dans une contribution au débat ouvert par la CNIL sur le thème "éthique numérique; les algorithmes en question".

https://hal.archives-ouvertes.fr/hal-01544701/

Bonne soirée

5 Réponses

0 votes
répondu par Olivier Crapaud dingue (89 points) 28-Novembre-2017
Bonjour @fyl et merci pour ce sujet qui est sans doute un sujet fondamental aujourd'hui !

Pour répondre à la question "comment traquer les algorithmes ?" plusieurs possibilités semblent se présenter. La première est la création de jeux de données "métier" validés (du point de vu juridique, réglementaire, d'usage, éthique, etc.) partagés et transparents suivi de manière distribuée (utilisant une solution basée sur la blockchain) et qui permettraient à chacun de tester ses algo et dont la preuve de test et la validation seraient, là aussi enregistré sur une blockchain pour que chaque utilisateur d'un service utilisant l'algo en question puisse vérifier qu'il aura bien été vérifié. Un moyen de "labéliser" de manière distribué des algo en toute transparence. La transparence, sans doute un second aspect de ce sujet et c'est là que l'open source peut jouer un rôle. En effet, en rendant les codes ouverts, chacun aura le loisir de vérifier les algo avant de les utiliser.

Ce ne sont que des éléments de réponses et j'espère que cette discussion va continuer et que d'autres vont y apporter des éléments de réponse.
commentée par fred Tétard déjanté (29 points) 28-Novembre-2017
un autre point de vue sur le sujet: l'algorithme doit pouvoir non seulement enregistrer et prouver ses resultats sur un jeu standard de "data input", mais doit également être capable d'expliquer en language naturel son raisonnement qui a mené à ses conclusions, chose qui est imaginable dans les systèmes basés règles (RBS, les bons vieux systèmes experts), mais qui est beaucoup plus difficile dans le contexte de deep learning (par exemple basé réseaux de neurones, dont celui ci est un des precurseurs dans la reconnaissance de patterns: http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf )
0 votes
répondu par eric Batracien fou (256 points) 29-Novembre-2017

@fylb, cher Shadok, c'est quoi APB? blush

commentée par fylb Crapaud fou (32 points) 30-Novembre-2017
Admission Post Bac (maintenant Parcours Sup) algorithme "procédural" par opposition à algorithme d'apprentissage guidé par les données.
0 votes
répondu par fylb Crapaud fou (32 points) 30-Novembre-2017
edité par fylb 01-Décembre-2017

Bonjour,

Je tente de résumer.

@Olivier propose une procédure sécurisée de "certification" intéressante mais qui me semble soulever quelques problèmes dont:

  • Elle suppose l'existence de normes ou instances officielles pour être contraignante. Les lois et règlement européens n'en parlent pas.
  • Chaque domaine, chaque problème devrait être assorti d'un ensemble de jeux de données afférents. je crains que la complexité ne soit rédhibitoire sauf pour des domaines (crédit bancaire?) où la concurrence et les enjeux sont importants.
  • Un algorithme d'apprentissage n'est pas biaisé (raciste, sexiste...) en tant que tel. En revanche les données d'apprentissage, reflet de notre société, le sont et l'algorithme, sans précaution particulière, ne fait que reproduire ce biais.

C'est pour ces raison et sans doute d'autres qu'il me semble prioritaire de chercher et pouvoir "prouver", a posteriori, les déviances d'une décision issue d'un algorithme d'apprentissage.

@fred pose la question de la transparence ou plus précisément de l"explicabilité" d'une décision. Nous sommes d'accord, hormis les modèles statistiques (linéaires), arbres binaires de décision ou systèmes experts, du siècle dernier, les algorithmes plus récents et largement popularisés (deep learning, xgboost....) sont des boîtes noires.Disposer du code ne suffit pas.

Il ne suffit pas non plus de signer la charte https://www.partnershiponai.org (ibm, google, microsoft, facebook, apple...) qui prévoit dans son article 7

7. We believe that it is important for the operation of AI systems to be understandable and interpretable by people, for purposes of explaining the technology

pour que cela devienne une réalité.

0 votes
répondu par rémi4435 Crapaud fou (56 points) 06-Décembre-2017
Bonjour,

sujet très intéressant et fondamental, je pense.

Pour ma part, je pense qu'un algorithme n'est pas "neutre" d'un point de vue éthique, et ce n'est pas qu'une question de données utilisées.

Je pense qu'il est possible d'introduire de l'éthique dans le coeur d'un algorithme (même de type deep learning...) et que inversement il est possible d'introduire un comportement "non éthique".

Par exemple, dans de l'analyse de traces de comportements humains en lien avec des systèmes numériques, s'interdire de prendre en compte les données concernant les orientations sexuelles (ou autres...), ou bien modifier le traitement qui les concerne.

Cela pose bien sûr la question de la définition de l'éthique, à partir du moment où il faudrait en tenir compte de manière numérique... Et mettre des frontières à l'éthique n'est peut-être pas une bonne idée !
0 votes
répondu par rémi4435 Crapaud fou (56 points) 07-Décembre-2017
Une petite pierre de plus apportée à l'édifice.

Un article intéressant sur le problème juridique et éthique de la "non explicabilité" des résultats de certains algorithmes de deep learning : https://www.maddyness.com/technologie/2017/11/13/ia-deep-learning-trou-noir-intelligence-artificielle/

Bienvenue à toi
Crapaud Fou

Vous avez une idée folle après avoir lu le manifeste du Crapaud Fou? Proposez-la ici et recueillez les opinions des autres crapauds fous.

Rejoignez aussi la mare aux crapauds pour des discussions en direct.
...