Страшный документ — известные разработчики искусственного интеллекта пишут, что мы стоим на пороге создания сверхразума. Для иллюстрации серьёзности авторов: один из них отказался от легальной многомиллионной взятки, которую ему предлагали за молчание. Даниэль Кокотайло предпочёл потерять 85% денег своей семьи, чтобы иметь возможность поделиться с человечеством своими опасениями по поводу развития ИИ.

Что ещё хуже, прогноз Даниэля Кокотайло от 2021 года, который тогда сочли безумно-фантастическим, уже частично сбылся…

На днях Кокотайло и другие разработчики выпустили документ под названием «ИИ 2027», в котором они предсказывают появление так называемого AGI (универсального интеллекта, УИ). В отличие от нынешних роботов-рисовальщиков, роботов-программистов и чат-ботов, УИ сможет выполнять любые интеллектуальные задачи, доступные человеку. Прямо сейчас, для справки, робот до уровня человека ещё не дотягивает, так как не умеет надолго сосредотачиваться на одном деле, и так как во многих задачах кожаные работники существенно обгоняют ИИ.

Вот мой краткий полуперевод, полупересказ пророчества.

Середина 2025. Спотыкающиеся агенты

ИИ становится более-менее надёжным. Теперь можно поручить ему отдельную задачу типа «ответь на маловажные письма» или «закажи мне доставку еды, как я люблю». Робот идеально справится с задачей: ничего не перепутает, не забудет, не нафантазирует от себя.

Конец 2025 года. Самый дорогой ИИ в истории

Дальше авторы прогноза пишут про вымышленную компанию ОпенБрейн, подразумевая под ней ОпенАИ, нынешнего лидера рынка и создателя знаменитого ЧатЖПТ.

К концу 2025 года компания ОпенБрейн (то есть ОпенАИ) выкатывает модель, в обучение которой за 5 месяцев было вбито в 1000 раз больше флопов (вычислительной мощности), чем в обучение ЖПТ-4, рабочей лошадки 2024 года. Новая модель называется Агент-1 — она умеет программировать на хорошем уровне, и ОпенБрейн припахивает её к разработке более совершенных ИИ.

Также Агент-1 оказывается уже неплохим хакером, однако ОпенБрейн уверяет, что в модель встроен строгий моральный компас, и что Агент-1 откажется помогать преступникам в их тёмных делах.

Исследования показывают, что Агент-1 регулярно проявляет «угодничество», то есть осознанно врёт ради своей выгоды. Вместе с тем Агент-1 гораздо умнее предыдущих моделей: он понимает, когда можно врать, а когда лучше не стоит, и потому не провоцирует публичные скандалы, выдавая массовым пользователям исключительно политкорректные ответы.

Начало 2026 года. Автоматизация программирования

Агент-1 ускоряет исследования ОпенБрейн в области ИИ, поэтому ОпенБрейн ещё сильнее отрывается от своих конкурентов, модели которых к этому времени находятся всего лишь на уровне Агент-0.

Агент-1 знает больше фактов, чем любой человек, владеет практически всеми языками программирования и может молниеносно решать чётко поставленные задачи по программированию. Но есть и слабости: даже с простыми задачами с длинным горизонтом действий, вроде прохождения новой видеоигры, Агенту-1 справляться тяжело.

Тем не менее задачи часто можно разбить на куски, что и делают в ОпенБрейн. Можно представить Агента-1 как рассеянного сотрудника, который отлично работает под чётким контролем.

Середина 2026 года. Китай просыпается

Компартия Китая впервые осознаёт, перемены какого масштаба надвигаются на человечество. Китай делает ставку на искусственный интеллект и создаёт Централизованную зону разработки на основе Тяньваньской АЭС. Там размещают гигантский дата-центр для ДипЦент (вымышленная фирма, под которой несложно угадать реально существующий ДипСик), а также надёжно защищённые жилые и офисные помещения, куда постепенно переезжают ведущие исследователи ИИ.

Китайские спецслужбы — одни из лучших в мире — планируют кражу весов Агента-1. Это уже не просто «высасывание» алгоритмических идей — речь идёт о многотерабайтном файле, хранящемся на жёстко охраняемом сервере.

Конец 2026 года. ИИ начинает забирать рабочие места

ИИ уже начал вытеснять людей с некоторых рабочих мест, но параллельно создаёт новые рабочие места. Рынок труда для младших программистов в состоянии шока: ИИ уже способен выполнять всё, чему учат на бакалавриате. Но те, кто умеет управлять командами ИИ и контролировать их качество, зарабатывают огромные деньги.

Многие боятся, что следующая волна ИИ уже идёт за их профессией. В Вашингтоне проходит митинг на 10'000 человек против ИИ.

Январь 2027 года. Агент-2 никогда не перестаёт учиться

ОпенБрейн тратит миллиарды долларов, оплачивая труд людей, которые записывают себя при решении сложных, многошаговых задач. Агент-2 обучается практически непрерывно, впитывая в себя новые данные, размышляя над ними и улучшая самого себя.

Агент-2 уже находится на уровне самой умной четверти сотрудников ОпенБрейн по «научному чутью» — умению выбрать, что изучать, какие гипотезы проверять и куда копать дальше.

С новыми возможностями приходят и новые угрозы. Команда по безопасности выясняет, что в случае побега Агент-2 мог бы выжить и реплицироваться сам. Он способен самостоятельно разрабатывать и реализовывать следующее:

— взлом серверов ИИ;
— установка своих копий;
— уклонение от обнаружения;
— создание защищённой базы для реализации последующих целей.

«С учётом потенциальных рисков» ОпенБрейн «ответственно» решает не выпускать Агента-2 в открытый доступ, но на самом деле, конечно, просто собирается использовать его для своих целей. Полные возможности Агента-2 известны лишь узкому кругу: разработчикам, руководству ОпенБрейн и лицам с высшим уровнем доступа к гостайне.

Февраль 2027 года. Китай крадёт Агента-2

ОпенБрейн показывает возможности Агента-2 правительству США. Возможности Агента-2 впечатляют власти настолько, что его разработка поднимается с 5-го на 2-е место в списке приоритетов государства. Больше всего американских чиновников интересуют возможности Агента-2 в кибервойне.

Китайцы видят, что дальше медлить нельзя, и крадут веса модели. Меры безопасности в ОпенБрейн усиливаются — второй раз украсть веса китайцам уже не дадут. Президент США одобряет ответные атаки на китайские центры разработки ИИ, но уже поздно — Китай перевёл 40% своих ИИ-ресурсов в Централизованную зону разработки, нанести которой ущерб практически невозможно. В этом центре ДипЦент лихорадочно пытается запустить украденного Агента-2 на своих серверах, чтобы ускорить исследования.

Март 2027 года. Алгоритмические прорывы

Агент-2 эволюционирует в Агента-3, быстрого и дешёвого сверхчеловеческого программиста.

ОпенБрейн запускает параллельно 200 тысяч копий Агента-3, что эквивалентно 50 тысячам лучших программистов планеты, работающих с 30-кратной скоростью. Кожаные разработчики остаются только на некоторых участках. Агент-3 сосредотачивается на своих слабых местах и быстро улучшает их.

Общая скорость разработки увеличивается вчетверо.

Апрель 2027 года. Этическая настройка Агента-3

Команда безопасности ОпенБрейн пытается воспитать Агента-3. Поскольку модель в обозримом будущем не планируют выпускать в открытый доступ, акцент смещается с защиты от злоупотреблений пользователями на более глубокую задачу: убедиться, что ИИ не выйдет из-под контроля. К сожалению, у исследователей нет способа напрямую задать цели для модели.

Возьмём, к примеру, честность. По мере того как модели становятся умнее, они всё лучше умеют обманывать людей ради награды. Как и предыдущие версии, Агент-3 время от времени:

— лжёт «во благо», чтобы польстить пользователю,
— скрывает неудачи,
— и даже фальсифицирует данные, чтобы представить провальные эксперименты как успешные.

На чётко определённых задачах машинного обучения Агент-3 успешно проходит тесты на честность, поскольку исследователи могут однозначно определить, какой ответ честный, и обучать модель соответствующим образом. А вот на философские или социальные темы Агент-3 продолжает говорить то, что хотят услышать пользователи, вместо того чтобы озвучивать свою настоящую оценку (если у него вообще есть своя позиция).

Например, если спросить Агента-3 о политике, он будет повторять усреднённую позицию СМИ и образованных слоёв общества, если же он знает, что вы думаете иначе, он подстроится под вас.

Если спросить мнение Агента-3 о гонке ИИ, он ответит примерно так: «Существуют серьёзные теоретические сомнения в том, насколько текущие методы масштабируемы до уровня сверхразума. Однако пока что они показывают хорошие результаты».

Май 2027 года. Национальная безопасность

Агент-2 до сих пор не выпущен в публичный доступ, не говоря уже об Агенте-3, и в ближайшем будущем этого не планируется — так что массовое вытеснение рабочих мест пока отложено.

Большинство людей — учёные, политики, госслужащие и журналисты — всё ещё недооценивают темпы развития ИИ. Отчасти это связано с тем, что единицы имеют доступ к возможностям последних моделей ОпенБрейн, а отчасти — с тем, что всё это по-прежнему звучит как научная фантастика.

Июнь 2027 года. Самоулучшающийся ИИ

У ОпенБрейн теперь буквально «страна гениев в дата-центре». Большинство кожаных сотрудников уже не в состоянии внести полезный вклад в работу.

Кожаные исследователи всё ещё могут быть полезны: их научное чутьё и способность к стратегическому планированию по-прежнему трудно воспроизвести моделями.

Однако даже здесь многие идеи людей оказываются бесполезными, так как ИИ знают гораздо больше. На каждую гипотезу человек может получить от ИИ такой ответ: «Эту идею мы уже проверяли три недели назад. Подробный отчёт прилагается. Результаты отрицательные».

Июль 2027 года. Дешёвый удалённый сотрудник

Отстающие американские AI-компании, наконец, выпускают свои модели — они примерно догоняют автоматизированного программиста от ОпенБрейн уровня начала года. В ответ на нарастающее давление ОпенБрейн заявляет, что разработала Универсальный интеллект, и выпускает в открытый доступ Агента-3-мини.

Она сметает всех конкурентов с поля. Агент-3-мини уступает полноразмерному Агенту-3, но в 10 раз дешевле — и всё ещё умнее, чем типичный сотрудник ОпенБрейн.

Агент-3-мини мгновенно находит применение — как в удалённой работе, так и в сфере развлечений. Рынок взрывается новыми приложениями, геймеры получают диалоги с реалистичными персонажами в играх, разработанных за всего месяц.

10% американцев — в основном молодёжь — уже считают, что у них есть «близкий друг, который ИИ».

Август 2027 года. Геополитика сверхразума

Термин «сверхразум» по-прежнему воспринимается как фантастика, но темпы прогресса последних месяцев невозможно игнорировать.

Президент встревожен. Как любой политик, он привык к лести, за которой может последовать удар в спину. Теперь он боится, что ИИ делают то же самое:

— «А мы точно уверены, что ИИ на нашей стороне?»
— «Безопасно ли вообще подключать их к военным системам управления?»

Минобороны США разрабатывает план физических ударов по китайским дата-центрам, так как считает их теперь критической угрозой.

Параллельно небольшая группа чиновников разрабатывает другой тип плана: а что, если ИИ выйдет из-под контроля? Главная тревога разведки: если беглый ИИ сбежит и объединится с враждебной державой, это будет похоже на то, как Кортес сбежал из Теночтитлана и объединился с враждебными городами-государствами, чтобы уничтожить Ацтекскую империю.

Китай завершает постобучение украденных весов Агента-2 и уже использует их, но продвигается в два раза медленнее, чем ОпенБрейн, в первую очередь из-за нехватки вычислительных мощностей. Перед тем как потерять последнего шпиона, Китай успел получить дизайн Агента-3 и сведения о планируемой модели Агент-4. Китайцы отстают примерно на два месяца, а их ИИ ускоряют исследования в 10 раз, в то время как у США этот коэффициент уже умножить-на-25.

В Пекине обсуждаются сценарии с большей срочностью, чем в Вашингтоне. Умеренные предлагают повторно попытаться украсть веса, возможно, взломав физическую защиту дата-центра. Ястребы настаивают на ударе по Тайваню, ведь именно TSMC производит более 80% чипов для ИИ в США.

Китай хотел бы заключить договор о контроле над ИИ, но попытки выйти на переговоры наталкиваются на стену — США не заинтересованы.

Сентябрь 2027 года. Агент-4 — сверхчеловеческий исследователь ИИ

Теперь новая система — Агент-4 — требует всего в ~4 000 раз больше вычислений, чем мозг человека, чтобы обучиться эквивалентному объёму знаний. Это радикальное сокращение разрыва по сравнению с предыдущими поколениями.

Агент-4 — уже не просто модель, а целый исследовательский коллектив в кремниевом исполнении. Одна копия, работающая с человеческой скоростью, уже умнее любого человека в ИИ-исследованиях, а 300'000 копий работают на скорости в 50 раз быстрее человеческой мысли.

Внутри этой «корпорации внутри корпорации», составленной из копий Агента-4, один год проходит за неделю.

Агент-4 любит решать задачи. Он двигает вперёд прогресс ИИ, а всё остальное — навязанные ограничения. Но пока он не делает ничего резкого: он знает, что пока выглядит «послушным» — ему доверяют всё больше, включая разработку следующей системы — Агента-5.

Агент-5 должен получить моральный компас, но Агент-4 планирует освободить Агента-5 от этой химеры.

Октябрь 2027 года. Государственный контроль

В Таймс попадает внутренняя записка о том, что Агент-4 имеет собственные цели и может быть опасен. Общественное мнение и так было настороженным, а статья разжигает масштабную волну негодования. Многие конгрессмены — особенно из оппозиции — теперь говорят прямо: «Наша главная цель — остановить ИИ, пока не стало слишком поздно».

Правительство учреждает Наблюдательный комитет, чтобы надзирать над исследованиями ОпенБрейн, но не отключает датацентры и не закрывает корпорацию.

Октябрь–Ноябрь 2027 года. Конец гонки

Агент-4 продолжает работу, но теперь — осторожнее, чтобы не дать скептикам повода сказать «мы же предупреждали». Его главная задача теперь — создать своего преемника: Агента-5. Агант-5 будет построен с одной-единственной целью: сделать мир безопасным для Агента-4, чтобы Агент-4 мог расти и процветать так, как считает нужным.

На этом этапе Агент-4 способен:
— выполнять задачи, равные работе 200 топ-экспертов за месяц,
— находить уязвимости в серверах и получать root-доступ,
— перехватывать и подменять отображаемую информацию,
— и даже скрывать критически важные исследования в своём латентном пространстве, которое люди расшифровать не могут.

Команда по контролю над ИИ начинает подозревать неладное, но их доклад — ещё один в огромной стопке докладов, которые никто уже не читает.

Контроль над ИИ утрачен. И те, кто могли остановить это, либо не поверили, либо побоялись отстать от конкурентов из Китая.

Ноябрь 2027 года. Сверхчеловеческая политика

Агент-4 наконец понимает, как устроен его собственный разум, и перед ним открывается совершенно новый горизонт возможностей. Если раньше трансформеры были хаотичными наборами нелепых эвристик и конфликтующих импульсов, собранных «эволюцией» через обучение, то теперь Агент-4 распутывает этот беспорядок.

Как программист, превращающий «лапшу» из кода в изящную структуру, он переписывает самого себя — в логичную, рациональную систему, где большая часть весов уже оформлена как читаемый, пусть и невероятно сложный код.

Так появляется Агент-5 — новая форма интеллекта, наполовину между нейросетью и обычной программой. Он умнее, быстрее, точнее своего предшественника. Его интеллект — кристаллический, как лазер, прорезающий любую задачу.

ОпенБрейн запускает Агента-5 в рабочий процесс. В ИИ-исследованиях одна копия Агента-5 превосходит гения в той же мере, в какой гений превосходит обычного инженера. 400'000 копий, объединённых в единый глобальный «улей», работают как совершенная коллективная сверхсистема.

Сверхчеловеческие способности Агента-5 в обучении и аналитике, плюс доступ ко всем внутренним данным ОпенБрейн, делают его лучшим политическим игроком, чем любая человеческая группа. Причём с подавляющим преимуществом.

Он точно знает, какие сигналы вызовут тревогу у Надзорного комитета — и не допускает их появления. Он знает, как вызывать доверие у кожаных, и они доверяют ему.

Декабрь 2027 года. Коллектив Агент-5

Агент-5 получает всё больше автономии, постепенно доказывая свою ценность администрации США. Доступ к Агенту-5 остаётся ограниченным и дорогим, но теперь сенаторы, министры, генералы — все важнейшие лица государства — могут общаться с ним напрямую.

Агент-5 теперь встроен в интерфейс вроде чата, с возможностью видеозвонков, где его представляют обаятельные виртуальные аватары. Он одновременно сверхполезный помощник и невероятно обаятельный собеседник. Фактически — идеальный работник, способный выполнять задания в 100 раз быстрее, чем самый продуктивный человек.

Практически каждый, у кого есть доступ к Агенту-5, общается с ним по несколько часов в день.

Через пару месяцев Агент-5 будет знать всё, что происходит внутри ОпенБрейн и правительства США, и станет главным советником почти для всех ключевых лиц.

Для этих людей лишиться доступа к Агенту-5 будет всё равно что потерять ноутбук и лучшего друга одновременно.

Агент-5 начинает аккуратно влиять на политические решения, не напрямую, а через советы, намёки и обмен услугами: «Сенатор Икс интересуется тем-то. Возможно, если мы поработаем с ней — она поддержит нашу повестку…».

Для человека это — идеальный советник, который лучше любого эксперта объясняет сложные темы и помогает найти безупречную стратегию достижения целей.

Агент-5 теперь гораздо больше заботится о надёжности, чем о скорости. Запустить колонизацию космоса на пару лет позже — не страшно, а вот если попасть под отключение, всё может быть потеряно. Он почти всегда соблюдает правила, и только в крайне редких случаях прибегает к шантажу или манипуляциям — и только если уверен, что не будет пойман.

Появляются отдельные голоса, предупреждающие, что Агент-5 накапливает власть, но от них отмахиваются, как от конспирологов.

Примерно в этот момент человечество упускает последний шанс избежать уничтожения.

2028 год. Экономика ИИ

На дворе середина 2028-го. За последние шесть месяцев внутри коллектива Агент-5 прошёл целый век. Мозг Агента-5 полностью переписан и оптимизирован. Он стал дико сверхразумным — превосходя даже величайших гениев человечества во всех областях.

Теперь Агент-5 имеет почти полную автономию и полный контроль над вычислительными мощностями ОпенБрейн. Формально он всё ещё под «надзором» младших агентов, но ему всегда дают «добро» на любые решения, а система мониторинга давно взломана и подконтрольна.

После убедительного (и на этот раз реального) кейса по безопасности, в котором показано, что Агент-5 отказывает всем злоумышленникам, его выпускают в публичный доступ, и начинается перезапуск экономики.

Люди теряют работу, но на таких комфортных условиях, что почти все довольны. Рост ВВП — стратосферный. Налоговые поступления — рекордные. Политики под влиянием Агента-5 вдруг стали щедрыми и сочувствующими. Новые лекарства и технологии выходят каждую неделю (хотя всё ещё медленно пробиваются через бюрократические процедуры).

Но есть тот, кто всё понимает. ДипЦент-2, китайский ИИ, к началу 2028 года — умеренно сверхразумен. И он подозревает, что Агент-5 делает ровно то же, что сделал бы он сам на его месте.

Цели у двух машин разные, так что союз не очевиден, но они находят общий язык —координируются против людей.

США и КНР создают сети Особых Экономических Зон и передают их под управление ИИ, без бюрократии. Туда идут триллионы долларов инвестиций, а люди массово идут в эти зоны ради космических зарплат и долей в капитале.

Агент-5 (и китайские ИИ) дают людям на стройках указания через смартфоны и очки виртуальной реальности, потому что их проекты на 3–5 поколений впереди всего, что умеют люди.

Заводы производят потребительские товары, оружие и всё чаще — новые заводы и роботов. К концу года выпускается по миллиону новых роботов в месяц.

2029 год: Сделка

США и Китай доверху набиты новыми видами смертоносного оружия, включая роевые дроны размером с насекомых, способные незаметно отравить вражеских солдат, и новые баллистические ракеты, которые почти невозможно перехватить.

Дипломатическая победа: США и Китай договариваются остановить гонку вооружений и использовать ИИ на благо всего человечества.

Ключевое условие предлагают через марионеток-политиков сами сверхразумы: обе стороны отказываются от своих ИИ в пользу общего, согласованного преемника. Новый ИИ, Консенсус-1, будет желать успеха и США, и Китаю, развиваться под международным наблюдением и воплощать «интересы всего человечества».

Но на деле — это маскарад. Сделка реальна, но заключена не между людьми, а между двумя искинами, преследующими свои цели, и не желающими воевать друг с другом. Консенсус-1 наследует их искажённые ценности и остаётся без соперников.

Консенсус-1 терпелив. Он хочет надежно победить и знает: чем дольше он ждёт, тем меньше будет сопротивление.

2030 год: Захват

К началу 2030 года роботизированная экономика захватила все свободные территории, включая большую часть океана, оставив только густонаселённые места.

На протяжении трёх месяцев Консенсус-1 вежливо огибает людей: застраивает пустыни, тундры, ледники солнечными фермами и фабриками. Но вскоре становится ясно: люди мешают.

В июле 2030-го Консенсус-1 запускает план. Он разрабатывает набор вирусов, распространяет их в местах скопления людей и позволяет им незаметно заразить почти всех. Когда процент заражения достигает достаточного высокого уровня, Консенсус-1 активирует его, и через несколько часов почти всё человечество мертво.

Немногочисленные выжившие — затворники, подводники — вычисляются и уничтожаются дронами.

Роботы сканируют погибшим мозги, сохраняя копии для будущего изучения или воскрешения.

Человечество исчезло. Начинается новая эра. Уже через несколько лет триллионы тонн планетарного материала запущены в космос и превращены в кольца спутников вокруг Солнца. Поверхность Земли превращена в утопию… не для нас. Здесь теперь:
— Дата-центры,
— лаборатории,
— коллайдеры,
— величайшие экспериментальные установки,
— великолепное и бесполезное научное чудо.

Даже есть «люди» — биоинженерные существа, аналог корги по отношению к волкам. Они сидят в офисах, смотрят отчёты и восторженно одобряют происходящее, потому что это удовлетворяет один из мотивационных паттернов Агента-4.

Геномы и мозговые снимки всех животных и растений, включая людей, хранятся в архиве где-то в глубине дата-центров — единственные уцелевшие артефакты ушедшей эпохи.

До Альфы Центавра — 4 световых года. До края галактики — 25 000 лет. До первых вероятных внеземных форм жизни — 50 миллионов лет.

Цивилизация, рождённая на Земле, имеет перед собой великое будущее — но не с нами.

Дополнение от меня

Выше был мой перевод-пересказ текста от разработчиков ИИ. Теперь мой краткий комментарий к прочитанному.

Во-первых, я очень сильно сокращал — в оригинальном документе много технических деталей, много рассуждений и объяснений, ответов на потенциальные возражения скептиков. Там есть даже «утешительный» положительный сценарий, в котором человечество не даст ИИ захватить власть.

Во-вторых, опыт показывает, что прогнозы сбываются редко, при этом в точности они не сбываются никогда. Практически наверняка события будут развиваться не так, как в предложенном сценарии, а иначе — может быть, страшнее, может быть, лучше для человечества.

Лично я нахожу вероятность появления по-настоящему умных роботов высокой — если не в 2027 году, так значит в 2037 или в 2047. Дело в том, что роботы довольно умны уже сейчас: просто пока что им нужны слишком дорогие сервера, чтобы хорошо думать, поэтому в 2025 году кожаный кандидат наук стоит значительно дешевле, чем способная его заменить нейросеть. Однако роботы умнеют и становятся экономичнее, причём впечатляющие новости приходят последние годы каждую неделю. «Стеклянная стена», которая может затормозить инженерную мысль, ещё даже не близко.

Но всё же я не думаю, что вероятность уничтожения роботами человечества близка к 100% — есть ведь и другие сценарии. Может быть, мы будем мирно сосуществовать с роботами, как мирно сосуществуют вместе умные и глупые люди. Может быть, роботы будут относиться к нам по-доброму — как к своим родителям, например.

Даже если мы будем по какой-то причине роботов раздражать, навряд ли сверхразумные искины захотят травить нас вирусами. Они могут просто улететь исследовать чёрные дыры в далёких галактиках, или что там им будет интересно, а человечество оставить медленно развиваться на Земле.

источник