Когда я читаю, что «это будет какой-то ужасный инопланетянин с чуждой нам логикой, мотивацией и стремлениями», меня тут вот что смущает. Если бы ИИ зарождался так же, как некие гипотетические инопланетяне — ну там, самособирался бы из льда на Плутоне, а потом бы летел на Землю, то в этой фразе ещё был бы какой-то смысл.

Но ведь ИИ вроде бы появляется не так, нет? И дело даже не в том, что его делают люди, «которые фигни не допустят». Дело в том, что сейчас единственный известный способ получить сильный ИИ — обучать его на тех текстах, которые порождает то же самое человечество, в котором мы живём. И других способов что-то не видно.

Без обучения нейросеть не является интеллектом — она может генерировать только случайный шум. Чтобы шум стал не шумом, нужны какие-то данные. А чтобы это выглядело как разум — не просто какие-то, а конкретно слова. По самым разным темам, включая те, в которых про мораль, стремления и мотивацию. Даже если ИИ потом будут обучаться на текстах друг друга (а это уже немножечко так), то даже в этом случае первичным источником окажутся миллионы текстов, которые настрогали исключительно люди.

Сам же процесс обучения при этом такой, что нейросеть с неизбежностью будет подражать тому, что она «прочитала». И опять же, каких-то ещё способов пока не просматривается.

То есть в плане морали и т.п. нейросеть будет схожа с людьми. Это — чисто технические причины, повторюсь, а не кропотливая работа каких-то специально подученных специалистов.

Если чей-то страх базируется на том, что «мало ли чего она начиталась», то могу их успокоить: даже если среди этих миллионов текстов будут мысли Гитлера и Чикатило, то роляет всё равно статистика. Никто из людей не становится нацистом только от того, что один раз услышал нацистскую кричалку, и нейросеть тоже не станет, поскольку её обучение тоже статистическое.

Если же кто-то думает, что в миллионах текстов доминирует какая-то извращённая мораль, то для последовательности суждений надо бы к «давайте запретим ИИ» добавить «давайте запретим людей».

Не, ну серьёзно, если большинство — вот такое вот, что статистически научит ИИ очень плохому, то явно тогда не ИИ на данный момент главная опасность. Вам надо бояться людей в целом, а не того, что какой-то ИИ от них обучится. Наоборот, он хотя бы по статистическим причинам не будет содержать персональных прибабахов в довесок к гипотетическим прибабахам большинства.

При этом даже если бы какой-то злой гений решил бы в одно лицо обучить себе специальный злой ИИ, то ему и его сообщникам для этих целей пришлось бы самостоятельно написать миллионы специальных злых текстов по буквально всем возможным темам. Поскольку в ином случае всё, чего будет уметь такой «ИИ», — выдавать небольшой набор кричалок. Ну или, там, будет решать абстрактные математические задачи и выдавать кричалки, а даже поддерживать хоть какую-то беседу окажется не в состоянии. Что гораздо проще достигается без нейросетей и какого-либо ИИ.

Мысль же о том, что «а вдруг оно как-то само» сродни мистическому страху перед вселяющимися в людей демонами. Ну или идеям, будто у «настоящих людей» есть душа и контакт с Богом, которые-то только и удерживают их от того, чтобы схватить топор и начать рубить им всех окружающих направо и налево.

Собственно, по этой причине подобное так похоже на «нельзя обучать китайцев — неизвестно, чего ждать от этих инфернальных тварей». В своё время такие идеи тоже базировались на религиозно-мистическом представлении, что душа есть только у европейцев, а в далёких Землях проживает кто-то, внешне похожий на «настоящих людей», но без души, а потому непредсказуемый. С коим мнением, к их чести будет сказано, уже тогда боролись даже некоторые священники.

Ну и вот, типа, опять. С той разницей, что раньше люди не понимали, как устроены китайцы, а теперь — как устроен ИИ.

«Никто не может предсказать, как он думает». Ну так вы предсказать мысли даже своего соседа по комнате тоже не в состоянии. Тем более, описать, как работает его мозг на уровне биохимии. Чего бы не начать тогда запреты на интеллект прямо вот с него? Тем более, если учесть, что мир уже видел овердофига соседей по комнате, которые кого-то грохнули, но всё ещё ни одного ИИ, который сделал хотя бы такое, не говоря уже о войнах, геноцидах и прочих наверно совершенно безопасных вещах.

А уж если ваш сосед действительно кого-то грохнул, то точно надо всех людей запретить. По той же логике: он — человек, и он кого-то грохнул, из чего следует, что люди — убийцы. Мы не знаем, кто ещё кого-то грохнет, поэтому запретить придётся вообще всех. На всякий случай.

Логично, чо. Хотя я ведь совсем недавно такие же рассуждения про ГМО читал, поэтому не удивлён.