Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

class="sup">2000 года, он только начинал исследовать вопрос о том, как заложить мораль в ИИ. Причины, побудившие его к этому, совершенно не важны — за исключением того, что они исторически демонстрируют важность перфекционизма. Если вы в чём-то практикуетесь, вы можете в этом преуспеть; если вы что-то исследуете, вы можете это понять; важно лишь то, что Элиезер 2000 года действительно полностью сосредоточил свои силы на технических размышлениях о морали ИИ — вместо того чтобы, как прежде, искать любые оправдания, лишь бы не тратить на это время. В конечном счете только это и имеет значение.

Но в начале нашей истории — когда небо светлеет, становясь серым, а край солнца робко выглядывает из-за горизонта — Элиезер 2001 года ещё не признал, что Элиезер 1997 года в каком-либо важном смысле ошибался. Он просто делает стратегию Элиезера 1997 года ещё лучше, добавляя резервный план на «тот маловероятный случай, если жизнь окажется бессмысленной»...

...а это значит, что у Элиезера 2001 года теперь есть путь к отступлению от своей ошибки.

Я имею в виду не просто то, что Элиезер 2001 года может сказать: «Дружественный ИИ — это резервный план», вместо того чтобы кричать: «ОЙ!»

Я имею в виду, что у Элиезера 2001 года теперь действительно есть резервный план. Если Элиезер 2001 года начнет сомневаться в своей метаэтике 1997 года, у взрыва разума останется запасная стратегия — а именно Дружественный ИИ. Элиезер 2001 года может подвергнуть сомнению свою метаэтику, и это не будет означать конец света.

И его градиент сгладился; он может допустить 10-процентную вероятность того, что раньше ошибался, затем 20-процентную. Ему не нужно выкашливать всю свою ошибку целиком, одним огромным комком.

Если вам кажется, что Элиезер 2001 года слишком медлителен, я полностью с вами согласен.

Стратегии Элиезера 1996–2000 годов формировались при полном отсутствии мыслей о «Дружественном ИИ». Вся идея заключалась в том, чтобы получить сверхразум, любой сверхразум, как можно быстрее — суп из коделетов, эвристики ad hoc, эволюционное программирование, открытый исходный код, всё, что могло сработать, желательно всеми путями одновременно в рамках некоего «Манхэттенского проекта». («Все родители делали то, что запрещают делать своим детям. Именно так они узнали, почему это нужно запрещать».1) Не то чтобы добавление ещё одного подхода могло как-то навредить.

Его отношение к технологическому прогрессу сформировалось — а точнее, сохранилось как наследие впитанной в детстве технофилии — вокруг предположения, что любое движение в сторону сверхразума является абсолютным благом без малейшего намека на опасность.

Оглядываясь назад, Элиезеру 2001 года нужно было в этот момент объявить событие HMC — «Остановись, расплавься и загорись» (Halt, Melt, and Catch Fire). Одно из фундаментальных допущений, на которых строилось всё остальное, оказалось ошибочным. Это требует мысленного торможения до полной остановки: перестаньте опираться на все убеждения, построенные на ложной предпосылке, приложите все усилия, чтобы переосмыслить всё с нуля. Об этом искусстве мне нужно писать подробнее — оно сродни судорожному усилию, необходимому для серьезной генеральной уборки, когда взрослый верующий впервые осознаёт, что Бога нет.

Но на самом деле Элиезер 2001 года занялся тем, что стал повторять свои прежние технофильские аргументы о том, почему трудно запретить новые технологии или контролировать их на государственном уровне — стандартные аргументы против «отказа от технологий».

Даже мне сегодняшнему кажется, что все предупреждения технофилов об ужасных последствиях разного рода государственного регулирования более или менее верны — гораздо проще сказать, что кто-то делает неправильно, чем указать верный путь. Моя нынешняя точка зрения не изменилась настолько, чтобы считать, будто технофилы ошибаются насчет минусов технофобии; но теперь я склонен гораздо больше сочувствовать тому, что технофобы говорят о минусах технофилии. То, что прежние Элиезеры говорили о трудностях, например, попыток правительства сделать хоть что-то разумное в отношении Дружественного ИИ, по-прежнему кажется чистой правдой. Просто многие его надежды на науку, частный сектор и тому подобное теперь кажутся столь же ошибочными.

Впрочем, не будем вдаваться в подробности техноизменчивой точки зрения. Элиезер 2001 года только что выбросил в окно важнейшее фундаментальное допущение — о том, что ИИ, в отличие от других технологий, не может быть опасен. Интуитивно можно было бы ожидать, что это окажет какое-то существенное влияние на его стратегию.

Что ж, Элиезер 2001 года по крайней мере отказался от своей идеи 1999 года устроить открытый «Манхэттенский проект» по созданию ИИ на основе супа из самомодифицирующихся эвристик, но в целом...

В целом, до этого он хотел броситься в бой, паля изо всех стволов, немедленно используя лучшую на тот момент идею; и после этого он всё так же хотел броситься в бой, паля изо всех стволов. Он не сказал: «Я не знаю, как это сделать». Он не сказал: «Мне нужно больше знаний». Он не сказал: «Этот проект ещё не готов к написанию кода». Всё сводилось к прежнему: «Время тикает, нужно действовать прямо сейчас! MIRI начнет писать код, как только наберет достаточно денег!»

Раньше он хотел сконцентрировать как можно больше научных усилий при полном обмене информацией, и после этого он продолжал мыслить теми же категориями. Научная секретность — плохой парень, открытость — хороший. (Элиезер 2001 года тогда ещё не читал подробно о Манхэттенском проекте и не был знаком со схожим спором, который вели Лео Силард и Энрико Ферми.)

В этом и заключается проблема превращения одного большого «Ой!» в градиент меняющейся вероятности. Это означает, что нет единого переломного момента — видимого мощного толчка, — который бы намекнул, что могут потребоваться столь же масштабные изменения.

Вместо этого происходит множество мелких сдвигов во взглядах... которые дают возможность подлатать аргументы в пользу ваших стратегий; слегка сместить обоснование, но сохранить «основную идею» нетронутой. Небольшие потрясения система способна поглотить, не расколовшись, потому что каждый раз у неё есть шанс вернуться назад и восстановиться. Вот только в области рациональности расколоться — хорошо, а восстановиться — плохо. В искусстве рациональности гораздо эффективнее признать одну огромную ошибку, чем признавать множество мелких.

Думаю, у людей есть какой-то инстинкт, заставляющий сохранять прежние стратегии и планы, чтобы не метаться постоянно из стороны в сторону и не тратить ресурсы впустую; и, конечно, инстинкт защищать любую позицию, которую мы отстаивали публично, чтобы избежать унижения из-за собственной неправоты. И хотя молодой Элиезер уже многие годы стремится к рациональности, он не застрахован от подобных побуждений; они исподволь влияют на