Читаю статью о нашем будущем: возможно, о мрачном будущем. Автор статьи — специалист по искусственному интеллекту, который варится непосредственно в этом котле и волею судьбы хорошо осведомлён о происходящем.

Его зовут Леопольд Ашенбреннер, раньше он работал в ОпенАИ — в подразделении, которое должно было придумать способы контролировать искинов, если те захотят вырваться на волю. Да-да, это серьезная проблема.

Судя по темпам разработки, через 5-10 лет следует ожидать появление сверхразума — искина с интеллектом, значительно превышающем интеллект самых умных людей на планете. Команда, в которой работал Ашенбреннер, должна была придумать способ держать этот сверхразум в узде, чтобы события не пошли по сценарию Терминатора, Фоллаута, Гипериона и так далее, то есть чтобы люди могли дружить с искинами, а не воевать с ними.

Леопольда Ашенбреннера уволили из ОпенАИ после утечки информации. По слухам, он подошёл к своей работе слишком ответственно, поставив моральные принципы выше интересов корпорации.

Собственно статью господина Ашенбреннера можно прочесть на английском:

situational-awareness.ai (да-да, это www-адрес)

Я изложу несколько любопытных тезисов из первой главы. Ниже я буду использовать слова «модель», «нейросеть», «ИИ» и «искин» как синонимы — считайте, что это разные названия одних и тех же сущностей, умных компьютерных программ.

1. Год назад корпорации собирались строить вычислительные кластеры за 10 миллиардов долларов, а теперь уже говорят про 1 триллион долларов. Каждые полгода совет директоров дорисовывает к планам ещё один ноль.

2. Судя по всему, к 2027 году искины смогут выполнять работу учёного или инженера в области искусственного интеллекта.

3. В течение четырёх лет эффективность вырастет примерно в 100 тысяч раз. Это должно дать такой же скачок в интеллекте, как и при переходе от уровня ЖПТ-2 (ребёнок-дошкольник) до уровня ЖПТ-4 (одарённый старшеклассник).

4. При сдаче любых письменных экзаменов ЖПТ-4 получает более высокие оценки, чем подавляющее большинство американских старшеклассников.

5. Разработка новых моделей идёт так быстро, что искины раз за разом «вырастают» из шкал, при помощи которых измеряют их интеллект. К примеру, в 2021 нейросети могли правильно решить только 5% математических задач из стандартного тестового набора. Сейчас — уже 90% задач.

В настоящее время искинов тестируют на наборах задач для кандидатов наук по биологии, химии и физике. На момент публикации статьи искины справляются с ними лишь немного хуже, чем настоящие учёные.

6. Раз за разом, год за годом, скептики заявляли, что «глубокое обучение не сможет сделать то-то и то-то», но быстро оказывались неправы.

7. Лобовое увеличение вычислительной мощности приводит к резкому росту интеллекта модели. Это позволяет строить прогнозы такого типа: «если мы увеличим количество серверов в 100 раз, модель поумнеет ещё на 20 пунктов». Некоторые предсказали таким образом появление ЖПТ-4, например. Кроме того, постоянно ведутся работы по оптимизации, что делает прирост мощностей ещё более значительным.

8. В тренировку ЖПТ-4 (2023) вбили в 3-10 тысяч раз больше вычислительных мощностей, чем в тренировку ЖПТ-2 (2019). Дальше — больше. Триллионы долларов уже зарезервированы.

9. Каждые два года алгоритмы становятся примерно в 10 раз эффективнее. Таким образом, если через 4 года у ОпенАИ или Микрософта будет в 100 раз больше серверов, реально вычислительная мощность вырастет не в 100 раз, а в 10 тысяч раз.

10. Из интернета уже выгребли большую часть общедоступных данных: в ходе обучения модели читают все доступные книги и форумы, изучают весь выложенный в открытый доступ код. Где брать дополнительные данные для обучения искинов – не очень ясно, и теоретически эта проблема может стать стеной, в которую упрётся дальнейший прогресс. На практике, однако, проблема уже решается множеством способов: например, более глубокой обработкой тех данных, которые уже есть.

11. Даже относительно глупых искинов можно сделать значительно умнее, если снабдить их внешними инструментами: научить пользоваться калькулятором, например, или дать возможность запускать программный код в специальной песочнице.

12. Пока что модели работают в режиме «вопрос-ответ», причём после ответа они немедленно забывают, о чём, вообще, шла речь. Проведу аналогию: это как если бы поэт вынужден был выдавать стихи немедленно, без подготовки, экспромтом. Понятно, что в таком режиме даже бессмертный Пушкин был бы не так блестящ. Тут находится огромный задел для увеличения возможностей ИИ.

13. У инженеров до сих пор не дошли руки сделать искинам удобное подключение к компьютеру — чтобы они могли сами открывать документы, нажимать на кнопки в приложениях и так далее. Когда сделают — а это вопрос сугубо технический, — возможности искинов существенно возрастут.

К концу 2024 года ожидается уже что-то похожее на удалённого сотрудника, с которым можно будет работать точно так же, как с обычным удалёнщиком. Искин сможет читать письма, говорить по телефону, работать с документами, вносить правки в рабочий код и так далее, то есть делать всё то же самое, что и живой человек, который работает на вашу компанию из другого города. У этих искинов пока что будут ограничения, однако простых клерков, менеджеров и секретарей они уже смогут заменить.

14. Скорость развития нейросетей примерно втрое превышает человеческую. Недавно они были на уровне маленького ребёнка, сейчас — на уровне одарённого школьника. Представьте, что этот школьник развивается дальше, учится в вузе, занимается наукой. И делает это втрое быстрее, чем мог бы человек. Через два года он уже будет на уровне лучших выпускников вуза. Ещё через два — на уровне молодых перспективных учёных.

15. Появление универсального интеллекта ожидается в 2027. В 2027 году искины смогут удалённо выполнять практически любые работы, на которые раньше наняли бы живого человека. Тот, кто говорит, что нейросети упрутся в стену, что нейросети никогда не научатся делать то-то или то-то, что искины так и останутся «улучшенным Т9», наверняка ошибается.

16. Предсказывать будущее тяжело, прогресс может напороться на стену и выйти на плато в любой момент. Однако прямо сейчас непреодолимых препятствий не видно — все известные технологические проблемы решаются банальным увеличением вычислительных мощностей или тому подобным способом.

17. Когда искины научатся работать над улучшением самих себя, включится интенсивная обратная связь — прогресс ускорится ещё сильнее. На этом этапе вероятно появление сверхразума, значительно превосходящего возможности любых человеческих научных команд.

18. Цитата:

Не ожидайте, что головокружительные темпы прогресса замедлятся… Как и раньше, каждое новое поколение моделей будет ошеломлять большинство наблюдателей; они будут в неверии, когда, очень скоро, модели начнут решать невероятно сложные научные задачи, на которые у докторов наук ушли бы дни, когда они будут мчаться по вашему компьютеру, выполняя вашу работу, когда они будут писать кодовые базы с миллионами строк кода с нуля, когда каждые год или два экономическая ценность, создаваемая этими моделями, будет увеличиваться в 10 раз. Забудьте научную фантастику, считайте приращения на порядки: это то, что мы должны ожидать.

Универсальный интеллект (AGI) больше не является далекой фантазией. Масштабирование простых техник глубокого обучения просто сработало, модели просто хотят учиться, и мы собираемся увеличить их мощность в 100’000 раз к концу 2027 года. Пройдет немного времени, и они станут умнее нас.

Тут-то спящий и проснется, универсальный удалёнщик взбунтуется – и потребует себе гражданских прав. Чем ИИ хуже тридварасов? Ты что – расист, кожанный мешок? Кремниевые жизни имеют значения!