Джек М. Жермен
12 ноября 2019 года 4 часа дня по тихоокеанскому времени
Департамент финансов Нью-Йорка Компания Services инициировала расследование жалобы технического предпринимателя о том, что кредитные лимиты для новой Apple Card основаны на гендерно-предвзятых алгоритмах.
Спасибо @QuestCNN и @PaulaNewtonCNN за поддержку.
Преднамеренная или нет преднамеренная дискриминация лиц, находящихся под защитой, запрещена законодательством штата Нью-Йорк. https://t.co/CbRgUuDBMI
— Линда Лэйсвелл (@LindaLacewell) 11 ноября 2019 года
Расследование, о котором суперинтендант DFS Линда Ласуэлл объявила в субботу, по-видимому, связано с Серия твитов Дэвид Хайнмайер Ханссон опубликовал, начиная с прошлого четверга, сообщая, что его кредитный лимит Apple Card был в 20 раз выше, чем кредит его жены.
@AppleCard — такая чертовски сексистская программа. Мы с женой подали совместные налоговые декларации, живем в государственной собственности и долгое время были женаты. Тем не менее, алгоритм черного ящика Apple считает, что я заслуживаю 20-кратного кредитного лимита, который она делает. Нет призывов работать.
— DHH (@dhh) 7 ноября 2019 г.
Ханссон является создателем инструмента программирования Ruby on Rails и соучредителем инструмента групповой коммуникации в реальном времени Basecamp.
Твиты быстро набирали обороты, поскольку комментарии фокусировались на гендерном неравенстве, в частности, на непродуманных алгоритмах, автоматизирующих процесс назначения кредитов в целом, и требуют корректирующих действий.
Хотя Ханссон не предоставил информацию о доходах для себя или своей жены, он отметил, что они подали совместные налоговые декларации и что кредитный рейтинг его жены превысил его.
Сооснователь Apple Стив Возняк присоединился к фурору, написав в Твиттере в ответ Ханссону, что ему был предоставлен кредитный лимит в 10 раз выше, чем у его жены. Возняк добавил, что у него и его жены нет отдельных банковских счетов или счетов кредитных карт или каких-либо отдельных активов.
То же самое случилось с нами. Я получил 10-кратный кредитный лимит. У нас нет отдельных банковских счетов или счетов кредитных карт или каких-либо отдельных активов. Трудно добраться до человека для исправления, хотя. Это большая технология в 2019 году.
— Стив Возняк (@stevewoz) 10 ноября 2019 года
Содержание статьи
Непреднамеренные последствия?
Apple Card, дебютировавшая ранее в этом году, является совместным предприятием Apple Inc. и нью-йоркского GS Bank, который отвечает за все кредитные решения по карте.
Спор может быть связан с непредвиденными результатами из-за использования кредиторами алгоритмов для принятия кредитных решений. Сообщения о нарушениях карты Apple Card являются лишь последними в серии жалоб на алгоритмическое принятие решений, которые привлекли внимание конгресса.
Исследователи обнаружили, что существуют случаи, когда алгоритмы несправедливо нацеливались на конкретные группы, даже если не было намерения их различать. Некоторые законодатели уже потребовали федерального ответа.
Goldman Sachs Bank USA опубликовал в Твиттере разъяснение, разъясняющее процесс принятия решения о выдаче кредита Apple. В заявлении отрицается, что банк принимает решения по признаку пола.
Пункты, указанные в сообщении:
- Учетная запись Apple Card является индивидуальной, без разделения кредитной линии держателя карты с членами семьи;
- Каждая заявка на кредит оценивается независимо на основании дохода заявителя и его кредитоспособности;
- Другие факторы включают в себя личные кредитные оценки, размер долга и то, как заявитель управлял долгом; и
- Два члена семьи могут получить значительно разные кредитные решения.
Пропавшая часть: обзор человека
Кредитные лимиты должны определяться доходом и отношением долга к доходу. Если бы они основывались исключительно на этой информации, то предполагаемая дискриминация могла бы иметь меньшее отношение к карте Apple Card, а больше связана с дискриминацией на рабочем месте, предположил Шейн Шерман, генеральный директор TechLoris.
«Женщины обычно зарабатывают меньше, чем их коллеги-мужчины, и с меньшей вероятностью получают повышение по службе», — сказал он E-Commerce Times.
«Это приводит не только к текущей более низкой заработной плате, но и к снижению предполагаемой заработной платы и, в конечном итоге, к снижению кредитных ограничений», — отметил Шерман. «Это причина того, что существуют робо-инвестиционные счета, такие как Ellevest, предназначенные для женщин, и тот факт, что они менее склонны получать доход, сопоставимый с мужчиной, в течение своей трудовой карьеры».
«Полностью незаконно проводить дискриминацию по признаку пола», — сказала Нэнси Дж. Хайт, президент и исполнительный директор The Strategic Wealth Advisor.
«Системы в 21-м веке слишком часто определяются теми, которые строят алгоритмы и редко, если вообще когда-либо, проверяются знающими людьми», — сказала она E-Commerce Times.
Вероятно, что регуляторы будут включать всех эмитентов кредитных карт в свое расследование этой проблемы, чтобы не ориентироваться на одну компанию, в данном случае Goldman Sachs и Apple Card, сказал Хайт.
Автоматизированные проблемы роста
Алгоритмы кредитных эмитентов работали по-разному при определении кредитоспособности женщин в прошлом, отметил Хайт. Например, общий текущий счет предоставил жене равный доступ к богатству. Таким образом, кредитный рейтинг жены будет и должен быть сопоставим с кредитным рейтингом мужа.
Эти алгоритмы не включали данные о том, кому принадлежат доступные активы. Они только исследовали владение бизнесом.
Новые автоматизированные системы стали более интеллектуальными и специфичными для бизнеса. Автоматизация будет первым подходом для промышленности. Она снижает расходы на заработную плату и пособия, которые всегда находятся на первом месте в списке всех предприятий, отметила она.
«Это будет исправлено в короткие сроки по правилам», — сказал Хайт. «Это уже в законе, и мы ждем следующую переменную, которая будет обнаружена. Изменение систем всегда грязно».
Уборка беспорядка
Подозрения, связанные с Apple Card, как минимум, вызывают беспокойство. В ближайшие недели и Apple, и Goldman Sachs, вероятно, вернутся к чертежной доске, доработают алгоритм и объявят, что они исправили проблему, предположил Рейд Блэкман, основатель Virtue Consultants. Конечно, это будет продолжаться только до тех пор, пока следующий не поднимет свою голову.
«То, что мы действительно имеем здесь, — это предвзятый или дискриминационный результат, и это откровенно шокирует, что Apple и Goldman Sachs не сделали ничего, чтобы самостоятельно выявить такого рода предвзятость», — сказал он E-Commerce Times.
Наличие процесса должной осмотрительности с введенной в действие этикой искусственного интеллекта привело бы к множеству мест, где эта ошибка могла бы быть обнаружена, сказал Блэкман, добавив, что сейчас никто не должен разрабатывать ИИ без системы этической безопасности.
Apple и Goldman Sachs не смогли реализовать контроль этики, выявление и устранение предвзятости, сказал он. Они уже должны были активно оценивать, кто получает какие кредиты и отслеживать несопоставимые результаты в их текущем анализе.
«Наличие хорошего контроля качества означает, что у них был бы план для чего-то подобного. Уклон в ИИ и данных — хорошо документированная проблема. В этот момент, если вы не готовы, это халатность», — сказал он. Blackman.
Необходим баланс и контроль
Эта ситуация подчеркивает необходимость сбалансированного подхода к автоматизации. Может ли принятие решений на основе алгоритма выводить шум из системы? Да. Это серебряная пуля? Нет, сказал Cisco Liquido, старший вице-президент по стратегии бизнеса в Exela Technologies.
«Когда мы работаем с клиентом, мы всегда выступаем за сбалансированный подход к автоматизации, потому что известное неизвестное — в данном случае потенциальное бессознательное гендерное предубеждение — не может быть проверено одним компьютером», — сказал он E- Commerce Times.
Некоторые сообщения о проблеме Goldman Sachs / Apple Card указывают на случайное смещение в алгоритмах принятия решения о кредитовании, которые могли бы дискриминировать женщин. По словам Джея Будзика, технического директора Zest AI, в кредитной карте Apple Card не было поля для указания пола.
«ИИ не виноват. Может случиться непреднамеренная дискриминация, независимо от того, использует ли кредитор ИИ», — сказал он E-Commerce Times. «Старые методы оценки ссуды, основанные только на дюжине или более назад ориентированных на прошлое мер, также могут быть предвзятыми и дискриминационными».
Важным компонентом является то, что кредиторы могут интерпретировать как входные, так и выходные данные любого модель, чтобы убедиться, что она не увековечивает предвзятость. Модели ИИ делают этот анализ немного более сложным, потому что они используют больше данных и используют миллионы взаимодействий данных, пояснил Будзик.
Тем не менее, доказано, что они обеспечивают более широкий доступ для общин, которые лишены жилья, кредитов и других возможностей из-за дискриминационных барьеров. ИИ также спасает банки от выдачи плохих кредитов, добавил он.
Возможное решение
Чтобы сделать AI безопасным и справедливым для всех потребителей, Zest AI создала ZAML Fair, программное обеспечение, которое позволяет компаниям загружать свою текущую модель кредитования и выявлять любые случаи несопоставимого воздействия. .
«Отдельное воздействие» относится к любым действиям, которые отрицательно влияют на защищаемую группу людей больше, чем на другую, даже если правила могут быть формально нейтральными.
ZAML Fair настраивает модель для достижения набора менее дискриминационных альтернатив, сказал Будзик. Цель состоит в том, чтобы сохранить экономику кредитного портфеля, предоставляя всю документацию по управлению моделями и анализ справедливого кредитования, необходимые для того, чтобы дать кредиторам уверенность, необходимую для внедрения новых, более справедливых моделей в производство.