Национальный статистический регулятор вмешивается, чтобы пересмотреть алгоритм, используемый Ofqual для определения оценок уровня A для студентов, которые не могут сдать экзамены.
Один эксперт сказал, что процесс был в основном ошибочен, а алгоритм, выбранный наблюдателем за экзаменами, по существу "обманут".
На фоне протестов общественности правительство решило не использовать полученные данные для определения оценок учащихся.
Это вызывает вопросы по поводу надзор за алгоритмами, используемыми в обществе.
Результаты, полученные с помощью алгоритма, оставили недовольство многих студентов, вызвали массовые протесты и в конечном итоге были отброшены b • Правительство в пользу оценок, проводимых учителями.
Управление статистического регулирования (OSR) заявило, что теперь оно проведет срочную проверку подхода, принятого Ofqual.
"Обзор будет стремиться выделить уроки из проблем, с которыми пришлось столкнуться в этих беспрецедентных обстоятельствах », — говорится в сообщении.
Том Хейнс, преподаватель машинного обучения в Университете Бата, изучил документацию, выпущенную Ofqual, в которой описывается, как алгоритм был разработан.
«Многие ошибки были сделаны на разных уровнях. Сюда входили технические ошибки, когда люди, реализующие концепции, не понимали, что означает введенная ими математика », — сказал он.
В рамках этого процесса Ofqual протестировал 11 различных алгоритмов, поставив перед ними задачу прогнозировать оценки за экзамены 2019 года и сравнивать
Но, по словам г-на Хейнса: «Они сделали это неправильно и фактически дали алгоритмам результаты 2019 года, поэтому алгоритм, который они в конечном итоге выбрали, был тем самым по сути, это лучший способ обмана ».
По его словам, существует потребность в гораздо более строгом надзоре за процессом, посредством которого алгоритмы принимают решения .
«Несколько сотен лет назад люди построили мост и просто надеялись, что он сработает. Мы этого больше не делаем, мы проверяем, проверяем. То же самое должно быть верно и для алгоритмов. Мы все еще вернулись к тому этапу, который был несколько сотен лет назад, и нам нужно понять, что эти алгоритмы — искусственные артефакты, и если мы не будем искать проблемы, будут последствия ».
'Запрещено говорить '
В ответ Офкуал сказал Би-би-си: «На протяжении всего процесса у нас была экспертная консультативная группа, первая встреча с которой состоялась в начале апреля.
» В состав группы входят независимые члены, привлеченные от статистических и оценочных сообществ. Консультативная группа предоставляла советы, рекомендации, идеи и знания по мере того, как мы детально разрабатывали наш подход к стандартизации ».
Королевское статистическое общество (RSS) предложило помощь двух из своих Старшие статистики Ofqual, председатель Стиан Вестлейк сказал BBC.
«Ofqual сказал, что они будут рассматривать их только в том случае, если они подпишут обременительное соглашение о неразглашении, которое фактически запретило бы им говорить обо всем, что они узнали. от процесса на срок до пяти лет », — сказал он.
« Учитывая прозрачность и открытость, которые являются основными ценностями для RSS, мы чувствовали, что не можем сказать «да».
Воспроизведение мультимедиа не поддерживается на вашем устройстве
Председатель Ofqual Роджер Тейлор также является председателем Британского Центра этики данных и инноваций, органа, созданного правительством для надзора за использованием государственных данных.
Он подтвердил BBC, что это было не приглашены для обзора алгоритма или процессов, которые привели к его созданию, заявив, что это не его работа «проверять алгоритмы организаций».
Г-н Хейнс сказал: «Такое ощущение, что эти органы созданы компаниями и правительства, потому что они считают, что они должны иметь их, но им не дают действовать
«Это символический жест, и мы должны понимать, что этика — это не то, что вы применяете в конце любого процесса, это то, что вы применяете повсюду».
RSS приветствовал обзор OSR и выразил надежду, что из этого фиаско будут извлечены уроки.
«Процесс и алгоритм потерпели неудачу», — сказал г-н Вестлейк.
«Были технические недостатки, но также выбор, сделанный при его проектировании, и конструкции, под которыми он работал.
«Он должен был уравновесить инфляцию оценок с индивидуальной несправедливостью, и хотя инфляция оценок была небольшой, было ужасно много разочарованных людей, и это создало явное чувство несправедливости.
» То есть не статистическая проблема, это выбор того, как вы построите алгоритм ».
Использование в будущем
Алгоритмы используются на всех уровнях общества, от самых простых до сложных примеров, использующих искусственный интеллект.
«Большинство алгоритмов совершенно разумны, просты и четко определены», — сказал г-н Хейнс, но предупредил, что по мере того, как они становятся более сложными в дизайне, обществу необходимо сделать паузу, чтобы подумать, чего оно от них хочет. .
«Как мы обрабатываем алгоритмы, которые принимают решения, а не принимают те, которые, как мы предполагаем, они будут делать? Как мы защитимся от этого? »
И некоторые вещи никогда не следует оставлять на усмотрение алгоритма, — сказал он.
« Ни одна другая страна не сделала того, что мы сделали с экзаменами. Они либо придумали, как проводить экзамены, либо составили эссе, за которое они брали средние значения. В конечном итоге цель экзаменов состоит в том, чтобы студенты сами определяли свое будущее, а этого нельзя достичь с помощью алгоритма.
«Для некоторых задач нужен только человек».
