OpenAI открывает новое исследовательское подразделение, занимающееся разработкой методов обучения, чтобы помешать сверхразумному ИИ — искусственному интеллекту, который может перехитрить людей и стать несовместимым с человеческой этикой — от причинения серьезного вреда.
«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля», — написали Ян Лейке и Илья Суцкевер в своем блоге для OpenAI, компании, разработавшей самый известный генеративный ИИ. большая языковая модель, ChatGPT. Они добавили, что, хотя сверхразум может показаться далеким, некоторые эксперты считают, что он может появиться уже в этом десятилетии.
Текущие методы согласования ИИ включают в себя обучение с подкреплением на основе отзывов людей, но Лейке и Суцкевер сказали, что по мере того, как системы ИИ становятся умнее людей, на людей больше нельзя полагаться в контроле за технологией.
«Существующие методы выравнивания не масштабируются до сверхразума. Нам нужны новые научно-технические прорывы», — написали они.
Суцкевер — соучредитель и главный научный сотрудник OpenAI, а Лейке — исследователь машинного обучения. Они будут соруководителями новой команды супервыравнивания OpenAI. Чтобы выполнить свою миссию, в течение следующих четырех лет подразделение получит доступ к 20% вычислительных мощностей компании для создания «автоматизированного исследователя выравнивания на уровне человека», который можно масштабировать для управления сверхразумом.
По словам Лейке и Суцкевера, чтобы привести автоматизированного исследователя в соответствие с человеческой этикой, необходимо будет использовать трехэтапный подход: разработать масштабируемый метод обучения; проверить полученную модель; и стресс-тест всего конвейера выравнивания.
Авторское право © 2023 IDG Communications, Inc.
