OpenAI открывает новое исследовательское подразделение, занимающееся разработкой методов обучения, чтобы помешать сверхразумному ИИ — искусственному интеллекту, который может перехитрить людей и стать несовместимым с человеческой этикой — от причинения серьезного вреда.
«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля», — написали Ян Лейке и Илья Суцкевер в своем блоге для OpenAI, компании, разработавшей самый известный генеративный ИИ. большая языковая модель, ChatGPT. Они добавили, что, хотя сверхразум может показаться далеким, некоторые эксперты считают, что он может появиться уже в этом десятилетии.
Текущие методы согласования ИИ включают в себя обучение с подкреплением на основе отзывов людей, но Лейке и Суцкевер сказали, что по мере того, как системы ИИ становятся умнее людей, на людей больше нельзя полагаться в контроле за технологией.
«Существующие методы выравнивания не масштабируются до сверхразума. Нам нужны новые научно-технические прорывы», — написали они.
Суцкевер — соучредитель и главный научный сотрудник OpenAI, а Лейке — исследователь машинного обучения. Они будут соруководителями новой команды супервыравнивания OpenAI. Чтобы выполнить свою миссию, в течение следующих четырех лет подразделение получит доступ к 20% вычислительных мощностей компании для создания «автоматизированного исследователя выравнивания на уровне человека», который можно масштабировать для управления сверхразумом.
По словам Лейке и Суцкевера, чтобы привести автоматизированного исследователя в соответствие с человеческой этикой, необходимо будет использовать трехэтапный подход: разработать масштабируемый метод обучения; проверить полученную модель; и стресс-тест всего конвейера выравнивания.
«Мы ожидаем, что наши исследовательские приоритеты будут существенно меняться по мере того, как мы узнаем больше о проблеме, и мы, вероятно, добавим совершенно новые области исследований», — написали они, добавив, что в будущем планируется поделиться более подробной дорожной картой подразделения.
OpenAI признает необходимость снижения потенциального вреда ИИ
Это не первый раз, когда OpenAI публично признает необходимость снижения рисков, связанных с нерегулируемым ИИ. В мае генеральный директор компании Сэм Альтман подписал открытое письмо, в котором говорится, что контроль над технологиями должен быть главным глобальным приоритетом, поскольку эволюция ИИ может привести к исчезновению.
«Снижение риска исчезновения из-за ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война», — говорится в письме.
У OpenAI также есть специальный раздел на своем веб-сайте, где общественность может получить доступ к материалам, связанным с тем, что компания называет разработкой «безопасного и ответственного ИИ», наряду с уставом, в котором излагаются принципы, которых она придерживается для выполнения своей миссии. Однако они в значительной степени связаны с концепцией искусственного общего интеллекта (ИИА) — высокоавтономных систем, которые превосходят людей в большинстве экономически ценных работ.
«Мы попытаемся напрямую создать безопасный и полезный ОИИ, но также будем считать нашу миссию выполненной, если наша работа поможет другим достичь этого результата», — говорится в хартии, опубликованной в 2018 году.
Авторское право © 2023 IDG Communications, Inc.
