Élèves protestant contre la notation de niveau A, 14 août 2020

Copyright de l’image
Getty Images

Légende

De nombreux étudiants n’étaient pas satisfaits des résultats que leur donnait l’algorithme

Le régulateur national des statistiques intervient pour revoir l’algorithme utilisé par Ofqual pour décider des notes de niveau A pour les étudiants qui ne pouvaient pas passer les examens.

Un expert a déclaré que le processus était fondamentalement défectueux et que l’algorithme choisi par le chien de garde de l’examen était essentiellement “triché”.

Au milieu d’un tollé public, le gouvernement a décidé de ne pas utiliser les données qu’il a générées pour déterminer les notes des élèves.

Elle soulève des questions sur le contrôle des algorithmes utilisés dans la société.

Les résultats produits par l’algorithme ont laissé de nombreux étudiants mécontents, ont conduit à des protestations généralisées et ont finalement été abandonnés par le gouvernement en faveur d’évaluations menées par les enseignants.

L’Office for Statistics Regulation (OSR) a déclaré qu’il procéderait maintenant à un examen urgent de l’approche adoptée par Ofqual.

“L’examen cherchera à mettre en évidence les leçons tirées des défis rencontrés dans ces circonstances sans précédent”, a-t-il déclaré.

Tom Haines, professeur en apprentissage automatique à l’Université de Bath, a étudié la documentation publiée par Ofqual décrivant comment l’algorithme a été conçu.

“De nombreuses erreurs ont été commises à de nombreux niveaux différents. Cela incluait des erreurs techniques où les personnes implémentant les concepts ne comprenaient pas ce que signifiaient les calculs qu’ils avaient tapés”, a-t-il déclaré.

Copyright de l’image
Getty Images

Légende

Ofqual a testé 11 algorithmes pour voir dans quelle mesure ils pouvaient calculer les résultats A-level 2019

Dans le cadre de ce processus, Ofqual a testé 11 algorithmes différents, les chargeant de prédire les notes pour les examens de 2019 et de comparer les prévisions aux résultats réels pour voir lequel produisait les résultats les plus précis.

Mais selon M. Haines: “Ils l’ont mal fait et ils ont en fait donné aux algorithmes les résultats de 2019 – donc l’algorithme qu’ils ont finalement sélectionné était celui qui était essentiellement le meilleur pour tricher.”

Il y avait, dit-il, un besoin de surveillance beaucoup plus grande du processus par lequel les algorithmes prennent des décisions.

“Il y a quelques centaines d’années, les gens ont mis en place un pont et espéraient juste que ça marchait. On ne fait plus ça, on vérifie, on valide. Il doit en être de même pour les algorithmes. On est toujours de retour à ces quelques centaines il y a des années et nous devons réaliser que ces algorithmes sont des artefacts fabriqués par l’homme, et si nous ne cherchons pas de problèmes, il y aura des conséquences. “

‘Interdit de parler’

En réponse, Ofqual a déclaré à la BBC: «Tout au long du processus, nous avons mis en place un groupe consultatif d’experts, les rencontrant pour la première fois début avril.

“Le groupe comprend des membres indépendants issus des communautés de statistique et d’évaluation. Le groupe consultatif a fourni des conseils, des conseils, des idées et une expertise pendant que nous développions les détails de notre approche de normalisation.”

La Royal Statistical Society (RSS) a offert l’aide de deux de ses statisticiens principaux à Ofqual, a déclaré le directeur général Stian Westlake à la BBC.

“Ofqual a déclaré qu’ils ne les considéreraient que s’ils signaient un accord de non-divulgation onéreux qui leur aurait effectivement interdit de parler de tout ce qu’ils avaient appris du processus pendant une période pouvant aller jusqu’à cinq ans”, a-t-il déclaré.

“Étant donné que la transparence et l’ouverture sont des valeurs fondamentales pour le RSS, nous avons estimé que nous ne pouvions pas dire oui.”

La lecture multimédia n’est pas prise en charge sur votre appareil

Légende du médiaRoger Taylor: “Cela n’a tout simplement pas été une expérience acceptable pour les jeunes”

Le président d’Ofqual, Roger Taylor, est également président du Centre britannique pour l’éthique et l’innovation des données, un organisme créé par le gouvernement pour fournir des conseils sur la gouvernance des technologies basées sur les données.

Elle a confirmé à la BBC qu’elle n’était pas invitée à revoir l’algorithme ou les processus qui ont conduit à sa création, affirmant que ce n’était pas son travail “d’auditer les algorithmes des organisations”.

M. Haines a déclaré: «On a l’impression que ces organes sont créés par des entreprises et des gouvernements parce qu’ils estiment qu’ils devraient les avoir, mais ils ne sont pas dotés d’un pouvoir réel.

“C’est un geste symbolique et nous devons nous rendre compte que l’éthique n’est pas quelque chose que vous appliquez à la fin d’un processus, c’est quelque chose que vous appliquez tout au long.”

Le RSS a salué l’examen de l’OSR et a déclaré qu’il espérait que des leçons seraient tirées du fiasco.

“Le processus et l’algorithme ont été un échec”, a déclaré M. Westlake.

«Il y avait des défaillances techniques, mais aussi les choix faits lors de sa conception et les constructions sous lesquelles il fonctionnait.

«Il fallait trouver un équilibre entre l’inflation de qualité et l’injustice individuelle, et même s’il y avait peu d’inflation de qualité, il y avait énormément de gens déçus et cela a créé un sentiment manifeste d’injustice.

“Ce n’est pas un problème statistique, c’est un choix sur la façon dont vous construisez l’algorithme.”

Usage futur

Les algorithmes sont utilisés à tous les niveaux de la société, allant des algorithmes les plus basiques aux exemples complexes utilisant l’intelligence artificielle.

«La plupart des algorithmes sont tout à fait raisonnables, simples et bien définis», a déclaré M. Haines – mais il a averti qu’à mesure qu’ils devenaient plus complexes dans leur conception, la société devait faire une pause pour réfléchir à ce qu’elle attendait d’eux.

“Comment gérons-nous les algorithmes qui prennent des décisions et ne prennent pas ceux que nous supposons qu’ils le feront? Comment nous protégeons-nous contre cela?”

Et certaines choses ne devraient jamais être laissées à un algorithme à déterminer, a-t-il déclaré.

“Aucun autre pays n’a fait ce que nous avons fait avec les examens. Ils ont soit compris comment organiser les examens, soit ont eu des essais pour lesquels ils ont pris des moyennes. En fin de compte, le but des examens est que les étudiants déterminent leur avenir et vous ne pouvez pas y parvenir avec un algorithme. .

“Certains problèmes ont juste besoin d’un être humain.”

Leave a Reply