Retour aux articles
Comment améliorer le fonctionnement et l’acceptabilité des algorithmes au service de l’action publique ?
Tech&droit - Intelligence artificielle
16/11/2017
L’Office parlementaire d'évaluation des choix scientifiques et technologiques (OPECST) organisait le 16 novembre dernier une audition publique, menée par Gérard Longuet, sénateur, et Cédric Villani, député, sur le thème des algorithmes au service de l’action publique. Après quatre heures d’exposés portant principalement sur les modalités d’amélioration de l’algorithme d’admission post-bac (APB), le moins que l’on puisse déduire, c’est qu’aucun consensus ne se dégage…
APB est-il réellement coupable ?
Comme le souligne la Cour des comptes dans son rapport rendu public mi-octobre, « APB traverse aujourd’hui une crise de légitimité, qui éclipse complètement ses dimensions positives » (Cour des comptes, Admission post-bac et accès à l’enseignement supérieur, oct. 2017).
Quelques chiffres, nécessaires. En 2017, plus de 864 000 candidats s’étaient inscrits sur APB pour la procédure normale. L’échec au baccalauréat réduit bien entendu le nombre des inscrits, ce qui fait que, mi-juillet 2017, ils n’étaient plus que 642 135 candidats inscrits sur la plateforme. Sur ce nombre, 541 204 candidats ont reçu d’APB une proposition d’admission dans l’enseignement supérieur. Et en septembre, la ministre annonçait que, in fine, 3 729 bacheliers restaient sans affectation à l’issue de la procédure complémentaire. Pour ces derniers, l’absence de désignation d’un établissement est difficilement supportable. Pose, également, de sérieux problèmes, l’admission des bacheliers handicapés et des étudiants en réorientation.
Mais est-ce l’algorithme le « responsable » de cet échec ?
Comme l’ont rappelé certains intervenants, de nombreux candidats attribuent à APB des décisions qui relèvent pourtant, en pratique, des établissements de l’enseignement supérieur.
Rappelons qu’APB est un algorithme d’appariement qui croise les préférences exprimées par les candidats et par les établissements. En 2017, APB a ainsi traité près de 8 millions de vœux d’orientation (chaque candidat pouvant émettre jusqu’à 24 vœux). Sans refaire l’historique de cet algorithme, il faut néanmoins rappeler qu’il avait été initialement conçu pour l’affectation dans des filières sélectives de l’enseignement supérieur et ensuite, seulement, étendu à l’admission en licence, par adjonction d’un algorithme de classement. Or c’est précisément les modalités de ce dernier algorithme qui posent le plus de problèmes. Pour la Cour des comptes, « la sophistication progressive des règles de fonctionnement de la procédure, ayant pour seul objectif de tenter de régler par APB le problème des licences en tension, a rendu le dispositif incompréhensible. L’absence d’un véritable accompagnement de ses utilisateurs, voire la rétention par le ministère d’une partie des informations relatives aux modalités de fonctionnement d’APB, a contribué à l’opacité du système (…) ». Autrement dit, le responsable n’est pas l’algorithme : « Cette situation critique n’est pas le signe d’une défaillance intrinsèque de l’outil, qui peut toujours être adapté. Sa programmation n’est que le révélateur des choix ministériels en matière d’accès à l’enseignement supérieur, qui ne répondent pas à la réalité de la situation ».
Une analyse confirmée par bon nombre d’intervenants à cette audition publique : les problèmes d’APB proviennent moins de l’algorithme lui-même que des règles juridiques (APB est la transcription en code des prescriptions de la loi, pas toujours très explicites) qui l’encadrent et des décisions politiques prises par le passé. Ce que souligne Cédric Villani : « qui avait la décision, qui avait la responsabilité ? Cette chaîne de responsabilité n’est pas claire ».
Aucune unanimité sur les propositions de solutions
Pour ne pas se retrouver avec la même pagaille à la rentrée prochaine, des réflexions sont en cours pour faire évoluer l’algorithme. D’autant que, comme le souligne Cédric Villani, « Le calendrier est extrêmement serré ».
Des modifications ont ainsi été présentées dans le cadre du « Plan Étudiants », le 31 octobre dernier. Parmi celles-ci, le changement de nom de la plateforme et, surtout, la suppression du tirage au sort. Parmi les autres annonces, un nombre de vœux limité à dix, une procédure d’affectation au fil de l’eau et une absence de hiérarchie dans les choix formulés par les bacheliers. C’est ce dernier point qui a cristallisé le plus d’inquiétudes et de discussions entre les spécialistes de cette question. Des doutes existent, en effet, sur la capacité de l’algorithme à fonctionner sans classement des vœux.
Au terme de tous ces échanges, le moins que l’on puisse dire, c’est qu’aucun consensus n’est apparu. Ni sur le cahier des charges, ni sur la procédure…
Des pistes pour améliorer l’acceptabilité des algorithmes au service de l’action publique
APB est en quelque sorte un cas d’école pour l’utilisation des algorithmes dans la sphère publique. Des pans entiers de l’action publique sont actuellement confiés à des algorithmes et le mouvement va nécessairement s’accentuer. La lutte contre la fraude fiscale ou sociale, la reconnaissance d’objets volés, doivent ainsi leur efficacité à l’utilisation de logiciels. Autre exemple, l’Agence de biomédecine, qui utilise un traitement algorithmique pour attribuer le bon organe à la bonne personne. La Direction générale des finances publiques (DGFiP), également, pour calculer l’impôt sur le revenu et ce, sans jamais avoir soulevé de vagues de critiques. Pour quelles raisons ? D’abord parce que l’algorithme de la DGFiP ne vise pas à traiter une situation de mise en concurrence entre plusieurs candidats. Ensuite, parce que l’usager est non seulement informé pendant tout le processus déclaratif que le résultat est donné par un algorithme, mais aussi parce des liens lui sont proposés vers de la documentation qui explique l’algorithme.
L’information, une notion clef. À la fois pour permettre l’accompagnement de l’usager, s’assurer de sa bonne compréhension du fonctionnement de la plateforme, mais aussi parce que la transparence favorise l’acceptabilité. Une transparence qui passe également par la publication du code source et l’ouverture des données…
Mieux écrire la loi ensuite, pour aider les codeurs et ne pas les laisser interpréter les vides juridiques, ce qui n’est pas leur métier.
Et traiter les problématiques dans le bon ordre. Pour Gérard Berry, professeur au Collège de France, membre de l’Académie des sciences, de l’Académie des technologies et du Conseil scientifique de l’OPECST, il faut repartir des spécifications (que veut-on faire et ne pas faire ? Quels sont les critères de succès ? Comment est-ce que l’on fait l’explicabilité ? Quels sont les effets de bord ? etc.), avant de créer l’algorithme, puis le logiciel et ensuite, de le vérifier, puis enfin, de vérifier la vérification.
« APB est un cas extrêmement simple par rapport aux cas que nous allons avoir à gérer dans l’avenir », prévient Cédric Villani…
Comme le souligne la Cour des comptes dans son rapport rendu public mi-octobre, « APB traverse aujourd’hui une crise de légitimité, qui éclipse complètement ses dimensions positives » (Cour des comptes, Admission post-bac et accès à l’enseignement supérieur, oct. 2017).
Quelques chiffres, nécessaires. En 2017, plus de 864 000 candidats s’étaient inscrits sur APB pour la procédure normale. L’échec au baccalauréat réduit bien entendu le nombre des inscrits, ce qui fait que, mi-juillet 2017, ils n’étaient plus que 642 135 candidats inscrits sur la plateforme. Sur ce nombre, 541 204 candidats ont reçu d’APB une proposition d’admission dans l’enseignement supérieur. Et en septembre, la ministre annonçait que, in fine, 3 729 bacheliers restaient sans affectation à l’issue de la procédure complémentaire. Pour ces derniers, l’absence de désignation d’un établissement est difficilement supportable. Pose, également, de sérieux problèmes, l’admission des bacheliers handicapés et des étudiants en réorientation.
Mais est-ce l’algorithme le « responsable » de cet échec ?
Comme l’ont rappelé certains intervenants, de nombreux candidats attribuent à APB des décisions qui relèvent pourtant, en pratique, des établissements de l’enseignement supérieur.
Rappelons qu’APB est un algorithme d’appariement qui croise les préférences exprimées par les candidats et par les établissements. En 2017, APB a ainsi traité près de 8 millions de vœux d’orientation (chaque candidat pouvant émettre jusqu’à 24 vœux). Sans refaire l’historique de cet algorithme, il faut néanmoins rappeler qu’il avait été initialement conçu pour l’affectation dans des filières sélectives de l’enseignement supérieur et ensuite, seulement, étendu à l’admission en licence, par adjonction d’un algorithme de classement. Or c’est précisément les modalités de ce dernier algorithme qui posent le plus de problèmes. Pour la Cour des comptes, « la sophistication progressive des règles de fonctionnement de la procédure, ayant pour seul objectif de tenter de régler par APB le problème des licences en tension, a rendu le dispositif incompréhensible. L’absence d’un véritable accompagnement de ses utilisateurs, voire la rétention par le ministère d’une partie des informations relatives aux modalités de fonctionnement d’APB, a contribué à l’opacité du système (…) ». Autrement dit, le responsable n’est pas l’algorithme : « Cette situation critique n’est pas le signe d’une défaillance intrinsèque de l’outil, qui peut toujours être adapté. Sa programmation n’est que le révélateur des choix ministériels en matière d’accès à l’enseignement supérieur, qui ne répondent pas à la réalité de la situation ».
Une analyse confirmée par bon nombre d’intervenants à cette audition publique : les problèmes d’APB proviennent moins de l’algorithme lui-même que des règles juridiques (APB est la transcription en code des prescriptions de la loi, pas toujours très explicites) qui l’encadrent et des décisions politiques prises par le passé. Ce que souligne Cédric Villani : « qui avait la décision, qui avait la responsabilité ? Cette chaîne de responsabilité n’est pas claire ».
Aucune unanimité sur les propositions de solutions
Pour ne pas se retrouver avec la même pagaille à la rentrée prochaine, des réflexions sont en cours pour faire évoluer l’algorithme. D’autant que, comme le souligne Cédric Villani, « Le calendrier est extrêmement serré ».
Des modifications ont ainsi été présentées dans le cadre du « Plan Étudiants », le 31 octobre dernier. Parmi celles-ci, le changement de nom de la plateforme et, surtout, la suppression du tirage au sort. Parmi les autres annonces, un nombre de vœux limité à dix, une procédure d’affectation au fil de l’eau et une absence de hiérarchie dans les choix formulés par les bacheliers. C’est ce dernier point qui a cristallisé le plus d’inquiétudes et de discussions entre les spécialistes de cette question. Des doutes existent, en effet, sur la capacité de l’algorithme à fonctionner sans classement des vœux.
Au terme de tous ces échanges, le moins que l’on puisse dire, c’est qu’aucun consensus n’est apparu. Ni sur le cahier des charges, ni sur la procédure…
Des pistes pour améliorer l’acceptabilité des algorithmes au service de l’action publique
APB est en quelque sorte un cas d’école pour l’utilisation des algorithmes dans la sphère publique. Des pans entiers de l’action publique sont actuellement confiés à des algorithmes et le mouvement va nécessairement s’accentuer. La lutte contre la fraude fiscale ou sociale, la reconnaissance d’objets volés, doivent ainsi leur efficacité à l’utilisation de logiciels. Autre exemple, l’Agence de biomédecine, qui utilise un traitement algorithmique pour attribuer le bon organe à la bonne personne. La Direction générale des finances publiques (DGFiP), également, pour calculer l’impôt sur le revenu et ce, sans jamais avoir soulevé de vagues de critiques. Pour quelles raisons ? D’abord parce que l’algorithme de la DGFiP ne vise pas à traiter une situation de mise en concurrence entre plusieurs candidats. Ensuite, parce que l’usager est non seulement informé pendant tout le processus déclaratif que le résultat est donné par un algorithme, mais aussi parce des liens lui sont proposés vers de la documentation qui explique l’algorithme.
L’information, une notion clef. À la fois pour permettre l’accompagnement de l’usager, s’assurer de sa bonne compréhension du fonctionnement de la plateforme, mais aussi parce que la transparence favorise l’acceptabilité. Une transparence qui passe également par la publication du code source et l’ouverture des données…
Mieux écrire la loi ensuite, pour aider les codeurs et ne pas les laisser interpréter les vides juridiques, ce qui n’est pas leur métier.
Et traiter les problématiques dans le bon ordre. Pour Gérard Berry, professeur au Collège de France, membre de l’Académie des sciences, de l’Académie des technologies et du Conseil scientifique de l’OPECST, il faut repartir des spécifications (que veut-on faire et ne pas faire ? Quels sont les critères de succès ? Comment est-ce que l’on fait l’explicabilité ? Quels sont les effets de bord ? etc.), avant de créer l’algorithme, puis le logiciel et ensuite, de le vérifier, puis enfin, de vérifier la vérification.
« APB est un cas extrêmement simple par rapport aux cas que nous allons avoir à gérer dans l’avenir », prévient Cédric Villani…
Source : Actualités du droit
