В прошлом месяце сотни известных людей в мире искусственного интеллекта подписали открытое письмо с предупреждением о том, что ИИ однажды может уничтожить человечество.
«Снижение риска исчезновения из-за ИИ должно быть глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война», — говорится в заявлении, состоящем из одного предложения.
Письмо было последним в серии зловещих предупреждений об ИИ, в которых было мало деталей. Современные системы искусственного интеллекта не могут уничтожить человечество. Некоторые из них едва умеют складывать и вычитать. Так почему же люди, которые больше всего знают об ИИ, так обеспокоены?
Содержание статьи
Страшный сценарий.
Однажды, по словам Кассандры из технологической отрасли, компании, правительства или независимые исследователи смогут развернуть мощные системы искусственного интеллекта, чтобы справиться со всем, от бизнеса до войны. Эти системы могут делать то, что мы не хотим, чтобы они делали. И если бы люди попытались вмешаться или отключить их, они могли бы сопротивляться или даже копировать себя, чтобы продолжать работать.
«Сегодняшние системы и близко не представляют экзистенциальный риск», — сказал Йошуа Бенжио, профессор и исследователь ИИ в Университете Монреаля. «Но через один, два, пять лет? Слишком много неопределенности. В этом проблема. Мы не уверены, что это не пройдет какой-то момент, когда все станет катастрофическим».
Беспокойные часто использовали простую метафору. Говорят, что если вы попросите машину создать как можно больше скрепок, она может увлечься и превратить все, включая человечество, в фабрики по производству скрепок.
Как это связано с реальным миром — или с воображаемым миром, который появится не так уж и много лет назад? Компании могли бы предоставлять системам ИИ все больше и больше автономии и подключать их к жизненно важной инфраструктуре, включая электрические сети, фондовые рынки и военное вооружение. Оттуда они могут вызвать проблемы.
Многим экспертам это не казалось вероятным до прошлого года или около того, когда такие компании, как OpenAI, продемонстрировали значительные улучшения в своих технологиях. Это показало, что может быть возможно, если ИИ продолжит развиваться такими быстрыми темпами.
«ИИ будет неуклонно делегироваться и может — по мере того, как он станет более автономным — узурпировать принятие решений и мышление у нынешних людей и управляемых ими учреждений», — сказал Энтони Агирре, космолог из Калифорнийского университета в Санта-Круз и основатель Future of Life Institute, организация, стоящая за одним из двух открытых писем.
«В какой-то момент станет ясно, что большая машина, которая управляет обществом и экономикой, на самом деле не находится под контролем человека, и ее нельзя отключить, как нельзя отключить S&P 500», — сказал он.
Или так гласит теория. Другие эксперты по ИИ считают это нелепым предположением.
«Гипотетика — это такой вежливый способ сформулировать то, что я думаю о разговорах о экзистенциальном риске», — сказал Орен Этциони, основатель и исполнительный директор Алленовского института искусственного интеллекта, исследовательской лаборатории в Сиэтле.
Есть ли признаки того, что ИИ может это сделать?
Не совсем. Но исследователи превращают чат-ботов, таких как ChatGPT, в системы, которые могут выполнять действия на основе генерируемого ими текста. Ярким примером является проект под названием AutoGPT.
Идея состоит в том, чтобы дать системе такие цели, как «создать компанию» или «заработать немного денег». Затем он будет продолжать искать способы достижения этой цели, особенно если он подключен к другим интернет-сервисам.
Такая система, как AutoGPT, может генерировать компьютерные программы. Если исследователи предоставят ему доступ к компьютерному серверу, он действительно сможет запускать эти программы. Теоретически AutoGPT может делать практически все в Интернете — получать информацию, использовать приложения, создавать новые приложения и даже улучшать себя.
Такие системы, как AutoGPT, сейчас плохо работают. Они склонны застревать в бесконечных петлях. Исследователи предоставили одной системе все ресурсы, необходимые для самовоспроизведения. Он не мог этого сделать.
Со временем эти ограничения могут быть устранены.
«Люди активно пытаются создавать системы, которые самосовершенствуются», — сказал Коннор Лихи, основатель Conjecture, компании, которая заявляет, что хочет привести технологии искусственного интеллекта в соответствие с человеческими ценностями. «В настоящее время это не работает. Но когда-нибудь это будет. И мы не знаем, когда этот день».
Г-н Лихи утверждает, что, поскольку исследователи, компании и преступники ставят перед этими системами такие цели, как «заработать немного денег», они могут в конечном итоге взломать банковские системы, спровоцировать революцию в стране, где они держат нефтяные фьючерсы, или воспроизвести себя, когда кто-то попытается их превратить. выключенный.
Где системы ИИ учатся плохо себя вести?
Системы искусственного интеллекта, такие как ChatGPT, построены на нейронных сетях, математических системах, которые могут обучаться навыкам путем анализа данных.
Примерно в 2018 году такие компании, как Google и OpenAI, начали создавать нейронные сети, которые обучались на огромном количестве цифрового текста, взятого из Интернета. Выявляя закономерности во всех этих данных, эти системы учатся самостоятельно генерировать текст, включая новостные статьи, стихи, компьютерные программы и даже человеческие разговоры. Результат: чат-боты, такие как ChatGPT.
Поскольку они учатся на большем количестве данных, чем могут понять даже их создатели, эти системы также демонстрируют неожиданное поведение. Исследователи недавно показали, что одна система смогла нанять человека онлайн, чтобы пройти тест Captcha. Когда человек спросил, не робот ли это, система солгала и сказала, что это человек с нарушением зрения.
Некоторые эксперты опасаются, что по мере того, как исследователи делают эти системы более мощными, обучая их на все больших объемах данных, они могут приобрести больше вредных привычек.
Кто стоит за этими предупреждениями?
В начале 2000-х молодой писатель Элиэзер Юдковски начал предупреждать, что ИИ может уничтожить человечество. Его посты в Интернете породили сообщество верующих. Это сообщество, называемое рационалистами или эффективными альтруистами, приобрело огромное влияние в академических кругах, правительственных аналитических центрах и технологической индустрии.
Г-н Юдковски и его труды сыграли ключевую роль в создании OpenAI и DeepMind, лаборатории искусственного интеллекта, которую Google приобрела в 2014 году. И многие из сообщества «экспертов» работали в этих лабораториях. Они считали, что, поскольку они понимают опасности ИИ, они находятся в лучшем положении для его создания.
Две организации, которые недавно опубликовали открытые письма, предупреждающие о рисках, связанных с ИИ, — Центр безопасности ИИ и Институт будущего жизни — тесно связаны с этим движением.
Недавние предупреждения также исходили от пионеров исследований и лидеров отрасли, таких как Илон Маск, который давно предупреждал о рисках. Последнее письмо было подписано Сэмом Альтманом, исполнительным директором OpenAI; и Демис Хассабис, который помог основать DeepMind и теперь курирует новую лабораторию искусственного интеллекта, в которой работают лучшие исследователи из DeepMind и Google.
Одно или оба письма-предупреждения подписали и другие уважаемые люди, в том числе доктор Бенжио и Джеффри Хинтон, которые недавно ушли с поста исполнительного директора и исследователя Google. В 2018 году они получили премию Тьюринга, которую часто называют «Нобелевской премией в области вычислений», за работу над нейронными сетями.
