Когда Facebook попытался заставить свой внешний Наблюдательный совет решить, следует ли запретить Дональда Трампа навсегда, совет возразил и бросил горячую картошку обратно в Facebook, приказав Компания сделает последний звонок в течение шести месяцев. Но один человек невольно преподал важный урок модерации контента, который Facebook и другие технологические компании до сих пор упускают, — сам Трамп.
Он таков: прогнозировать влияние подстрекательского контента и принимать правильные решения о том, когда вмешайтесь, подумайте, как люди на это реагируют.
Пытаться оценить, может ли тот или иной пост склонить кого-то к насилию только по своему содержанию, неэффективен. Отдельные сообщения неоднозначны, и, кроме того, они наносят свой ущерб совокупно, как и многие другие токсичные вещества.
Другими словами, оценивать сообщения исключительно по их содержанию — все равно что изучать сигареты, чтобы понять их токсичность. Это одна из полезных форм данных, но чтобы понять, что курение может сделать с легкими человека, изучите легкие, а не только дым.
Если бы сотрудники социальных сетей анализировали ответы на твиты и сообщения Трампа за несколько недель до нападения на Капитолий 6 января, они бы увидели, как обретают форму конкретные планы погромов, и могли бы принять меры, когда Трамп был все еще разжигает насилие, а не после того, как оно произошло.
Было 1:42 ночи 19 декабря, когда Трамп написал в Твиттере: «Большой протест в Вашингтоне 6 января. Будь там, будет диким! » Фраза «будет диким» стала своего рода кодом, который широко появился на других платформах, включая Facebook. Трамп не призывал к насилию открыто и не предсказывал его этими словами, но тысячи его последователей поняли, что он приказывает им доставить в Вашингтон оружие, готовые применить его. Они открыто заявили об этом в Интернете.
Участники форума TheDonald почти мгновенно отреагировали на бессонный твит. «У нас есть приказ о выступлении, братан», — говорится в одном сообщении. И еще один: «Он не может открыто сказать вам, чтобы вы восстали. Это самое близкое из того, что он когда-либо мог получить ». На что последовал ответ: «Тогда принесем ружья».
Их планы восстания, к счастью, были необычными, но то, что они были видимы, не было. Люди болтают в сети. Социальные сети создают огромное хранилище человеческих коммуникаций, которые технологические компании могут изучить на предмет токсических эффектов, таких как миллиарды отравленных легких.
Чтобы лучше предотвращать насилие со стороны экстремистов, компании должны начать с создания программного обеспечения, чтобы искать определенные сдвиги в ответах на посты влиятельных фигур по всему миру. Они должны сосредоточиться на держателях счетов, которые в равной мере поставляют и привлекают язвы — политиках, священнослужителях, знаменитостях СМИ, помощниках, которые публикуют язвительные и клеветнические сообщения от имени своих боссов, и типах QAnon.
Программное обеспечение может искать знаки. что эти влиятельные лица интерпретируются как поддерживающие или призывающие к насилию. Разработчики алгоритмов умеют находить теги, которые указывают на все виды человеческого поведения; они делают это, например, для повышения эффективности рекламы. Они также могут находить сигналы, которые указывают на насилие в процессе создания.
Тем не менее, никакое вмешательство не должно производиться только на основе программного обеспечения. Люди должны пересмотреть то, что помечается, и выяснить, не опасно ли подстрекается критическая масса последователей.
Что считается решающим для принятия решения, зависит от контекста и обстоятельств. Модераторам придется отфильтровывать тех, кто публикует ложные планы насилия. У них есть практика в этом; попытки систем модерации игрового контента — обычное дело.
И они будут работать с контрольным списком факторов. Насколько распространен эффект? Те, кто отвечает на известные угрозы? Есть ли у них доступ к оружию и к намеченным жертвам? Насколько специфичны их схемы?
Когда модераторы считают, что сообщение подстрекает к насилию, они уведомляют владельца аккаунта с помощью следующего сообщения: «Многие из ваших подписчиков понимают, что вы поддерживаете или призываете к насилию. . Если это не ваше намерение, пожалуйста, скажите об этом четко и публично ».
Если владелец аккаунта откажется или вяло призовет своих последователей уйти (как это сделал Трамп), бремя будет переложено обратно на техническую компанию. вмешаться. Он может начать с публичного объявления своих выводов и попытки убедить владельца счета отказаться от насилия. Или он может закрыть учетную запись.
Этот метод «исследования легких» не всегда работает; в некоторых случаях данные могут быть получены слишком поздно, чтобы предотвратить насилие, или контент будет распространяться настолько широко, что вмешательство компаний, работающих в социальных сетях, мало что изменит. Но сосредоточение внимания на ответах, а не только на первых сообщениях, имеет много преимуществ.
Во-первых, когда дело доходило до этого, компании удаляли контент, основываясь на продемонстрированных эффектах, а не на оспариваемых интерпретациях смысла сообщения. Это увеличит шансы на то, что они будут пресекать подстрекательство, а также защищать свободу выражения мнений.
Такой подход также предоставит владельцам счетов уведомление и возможность ответить. Теперь сообщения или учетные записи часто удаляются кратко и с минимальным объяснением.
Наконец, это установит процесс, который справедливо относится ко всем плакатам, а не, как сейчас, технологические компании, предоставляющие политикам и общественным деятелям преимущество сомнение, которое слишком часто позволяет им пренебрегать общественными стандартами и подстрекать к насилию.
Например, в сентябре 2019 года Facebook заявил, что больше не будет применять свои собственные правила, запрещающие язык вражды в сообщениях политиков и политических кандидатов. «Это не наша роль — вмешиваться, когда политики говорят», — сказал Ник Клегг, руководитель Facebook и бывший руководитель британского офиса. Facebook делал исключения «там, где речь опасна для людей», но Клегг не объяснил, как компания будет определять такую речь.
Основные платформы, такие как Twitter и Facebook, также предоставили политикам более широкую свободу действий с исключениями «информационная ценность» или «общественный интерес»: почти все, что сказано или написано общественными деятелями, должно быть оставлено в сети. Обоснование гласит, что общественность должна знать, что говорят такие люди.
Конечно, частные компании не должны подавлять публичный дискурс. Но люди, занимающие видные должности, всегда могут достучаться до публики без приложений или платформ. Кроме того, в социальных сетях правило «право общественности знать» имеет циклический эффект, поскольку информационная ценность повышается и понижается вместе с доступом. Предоставление политикам нефильтрованной связи дает им влияние и делает их выступления достойными освещения в СМИ.
В случае Трампа компании социальных сетей позволяли ему угрожать и подстрекать к насилию в течение многих лет, часто с помощью лжи. Facebook, например, вмешался только тогда, когда он грубо нарушил его политику в отношении дезинформации о COVID-19, пока, наконец, не приостановил действие своей учетной записи 7 января, спустя много времени после того, как его последователи взломали Капитолий. Ожидая насилия, компании сделали свои правила против подстрекательства к насилию беззубыми.
Каким бы ни было окончательное решение Facebook о запрете бывшего президента, будет слишком поздно, чтобы предотвратить ущерб, который он нанес нашей демократии с помощью подстрекательства и дезинформации в Интернете. У технологических компаний есть мощные инструменты для обеспечения соблюдения своих правил в отношении такого контента. Им просто нужно эффективно их использовать.
Сьюзан Бенеш — основатель и директор проекта «Опасная речь», который изучает речь, которая вдохновляет межгрупповое насилие, и способы его предотвращения, одновременно защищая свободу слова. Она также является научным сотрудником Центра Беркмана Кляйна по Интернету и обществу при Гарвардском университете.