Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

«Ну хорошо, но как Брайан Аткинс узнает об этом, если я ему не скажу?» Элиезер-2000 даже не думает об этом иначе как в кавычках, как об очевидной мысли, которая пришла бы в голову злодею в подобной ситуации. И у Элиезера-2000 наготове стандартная контрмысль, оберег от соблазна нечестности — аргумент, обосновывающий честность с точки зрения ожидаемой полезности, а не просто личной любви к личной добродетели:

Люди не умеют обманывать безупречно; скорее всего, меня разоблачат. Или что, если до Сингулярности, где-то в ближайшие тридцать лет, изобретут настоящие детекторы лжи? Я не смогу пройти проверку на детекторе.

Элиезер-2000 живет по правилу, что нужно всегда быть готовым к тому, что твои мысли в любой момент будут транслироваться на весь мир, и не испытывать при этом неловкости. Иначе ты, очевидно, лишился благодати: либо ты думаешь о том, о чём думать не следует, либо стыдишься того, что не должно вызывать стыда.

(Сегодня я уже не разделяю столь экстремальную точку зрения, главным образом из соображений Теории Веселья. Я вижу пользу в продолжении социального соперничества между разумными формами жизни, по крайней мере, насколько простирается моё видение ближайшего будущего. Сейчас я признаю, что для людей, возможно, вполне нормально иметь собственное «я»; как выразился Джон Маккарти: «Если бы все постоянно жили ради других, жизнь была бы похожа на процессию муравьев, бегущих друг за другом по кругу». Если уж у тебя есть «я», то вполне логично иметь и секреты, и, возможно, даже заговоры. Но я всё же стараюсь придерживаться принципа готовности пройти в будущем тест на детекторе лжи вместе с любым другим человеком, который также готов подвергнуться проверке на детекторе, если речь идёт о профессиональных вопросах. Теории Веселья требуется здравое исключение для управления глобальными катастрофическими рисками.)

Даже если принять честность как данность, у Элиезера-2000 нашлись бы другие отговорки, чтобы спустить этот вопрос в унитаз. «У мира нет времени» или «Это нерешаемо» вполне бы подошли. Но Элиезер-2000 не знает, что эта проблема — проблема «резервной» морали — окажется особенно трудной или потребует много времени. Он только сейчас впервые задумался над этой проблемой.

И вот Элиезер-2000 начинает всерьез обдумывать этот вопрос: допустим, «жизнь бессмысленна» (то есть сверхразум не выводит собственные мотивы из чистой логики), как тогда задать резервную мораль? Как её синтезировать, как вписать в ИИ?

На тот момент Элиезер-2000 многого не знает. Но он всё-таки размышлял о самосовершенствующемся ИИ в течение трех лет, а Традиционным Рационалистом является и того дольше. Он действительно практиковал определенные техники рациональности и уже выработал методологические предохранители. Он уже достаточно умен, чтобы не думать, будто всё, что нужно ИИ, — это Один Великий Моральный Принцип. Элиезер-2000 уже знает, что мудрее мыслить технологически, а не политически. Он уже знает изречение о том, что программисты ИИ должны мыслить кодом и использовать концепты, которые можно вписать в компьютер. У Элиезера-2000 уже есть представление о том, что существует так называемое «техническое мышление», и что это хорошо, хотя он ещё не сформулировал его байесовское видение. И он давно заметил, что LISP-символы с говорящими именами на самом деле ничего не значат, и так далее. Эти установки не дают ему попасть в некоторые из начальных ловушек — тех самых, которые, как я видел, губили других новичков на их самых первых шагах в проблеме Дружественного ИИ... хотя, строго говоря, это был мой второй шаг; на первом я с треском провалился.

Но в конечном счёте всё сводится к следующему: Элиезер-2000 впервые пытается технически осмыслить, как вписать мораль в ИИ, не оставляя себе лазейки в виде «таинственной сути правильности».

В конце концов, только это и имеет значение. Его прежнего философствования было недостаточно, чтобы заставить его мозг столкнуться с деталями лицом к лицу. Этот новый стандарт достаточно строг, чтобы потребовать реальной работы. Мораль постепенно начинает казаться ему менее таинственной — Элиезер-2000 начинает думать внутри чёрного ящика.

Его причины поступать именно так — они не имеют вообще никакого значения.

О, в его перфекционизме кроется урок. Кроется урок и в том, как Элиезер-2000 поначалу счёл это крошечным изъяном и мог бы просто выбросить его из головы, поддавшись первому порыву.

Но в итоге причинно-следственная связь выглядит так: Элиезер-2000 исследовал вопрос подробнее, а потому с практикой стал справляться лучше. Действия экранируют оправдания. Если твои аргументы оправдывают нежелание вникать в детали, как у Элиезера-1996, то ты так и не научишься хорошо думать над проблемой. Если же твои аргументы требуют от тебя детальной проработки, тогда у тебя появляется возможность начать накапливать опыт.

В конечном счёте важен был только этот выбор — а вовсе не причины что-либо делать.

Я говорю всё это, как вы легко можете догадаться, из-за тех, кто мнит себя создателями ИИ, с которыми я порой сталкиваюсь — у них всегда находятся свои хитрые причины не думать над проблемой Дружественного ИИ. Для Природы наши хитрые оправдания собственных действий обычно значат гораздо меньше, чем для нас самих и наших друзей. Если ваши действия не выглядят достойно, будучи лишенными всех оправданий и представленными как голые факты... возможно, вам стоит пересмотреть их.

Прилежные усилия не всегда спасают человека. Существует и такая вещь, как нехватка способностей. Но даже в этом случае: если вы не пытаетесь или пытаетесь вполсилы, у вас нет ни единого шанса сесть за стол с высокими ставками — не говоря уже о обязательной ставке в виде способностей. Вот вам и причинно-следственная связь.

Кроме того, перфекционизм действительно важен. Конец света не всегда наступает под трубный глас и раскаты грома, помеченный наивысшим приоритетом в вашем почтовом ящике. Иногда ошеломляющая истина впервые предстает перед вами в виде крошечного, совсем крохотного вопроса; одной фальшивой ноты; одной маленькой одинокой мысли, которую можно отбросить легким, непринужденным движением...

...и так, в течение последующих лет, к Элиезеру из прошлого медленно начинает приходить понимание. То Солнце всходило медленнее, чем могло бы.

*

298. Арьергардные бои против истины.

Когда мы расстались с Элиезером