Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

Возможно, вам даже сойдет с рук одна или две ставки на черного лебедя — они настигают вас не каждый раз. Поэтому вы делаете это снова, а затем происходит крах, который сводит на нет все выгоды, да еще и с лихвой. В этом и заключается суть ставок на черного лебедя.

Отсюда и сложность понимания того, когда безопасно верить в ложь (если предположить, что вы вообще способны на столь изощренную ментальную эквилибристику) — ведь природа ставок на черного лебедя такова, что вы не видите пулю, которая вас убивает; а поскольку наше восприятие кажется нам просто тем, как устроен мир, нам кажется, что никакой пули нет, и точка.

Поэтому я бы сказал, что существует этический запрет на самообман. Я называю это «этическим запретом» не столько потому, что это вопрос межличностной морали (хотя так оно и есть), сколько потому, что это правило защищает вас от вашего собственного хитроумия — предохранитель против искушения сделать то, что кажется правильным.

Итак, теперь у нас есть два типа ситуаций, которые могут поддерживать «этический запрет» — правило не делать чего-то, даже когда это кажется правильным поступком. (То есть вы воздерживаетесь, «даже когда ваш мозг вычислил, что это правильно», но для вас это просто будет казаться «правильным поступком».)

Во-первых, будучи людьми и работая на поврежденном «железе», мы можем выделить классы ситуаций, когда, если вы говорите, например: «Пора ограбить несколько банков ради общего блага», мы сочтем более вероятным, что ваши суждения искажены, чем то, что это действительно так. (Обратите внимание, что мы не исключаем, что подобное когда-либо может произойти в реальности, но мы ставим под сомнение эпистемическое состояние, при котором вы имеете веские основания доверять собственным расчетам, согласно которым это правильный поступок — честные лотерейные билеты могут выигрывать, но у вас нет разумных оснований их покупать.)

Во-вторых, история может научить нас тому, что определенные классы действий представляют собой ставки на черного лебедя, то есть иногда они оборачиваются грандиозным крахом по причинам, не учтенным в модели принимающего решение. Поэтому даже когда в рамках нашей модели мы рассчитываем, что какое-то действие кажется правильным, мы применяем дополнительное знание о проблеме черного лебедя, чтобы наложить на него запрет.

Но ведь... если человек осознает эти причины... тогда можно просто провести расчет заново, приняв их во внимание. Значит, мы можем грабить банки, если это кажется правильным после того, как мы учли проблему поврежденного «железа» и крахов, связанных с «черными лебедями». Это ведь и есть рациональный путь, верно?

На это я мог бы дать несколько ответов.

Начну с того, что это ярчайший пример того типа мышления, который я имею в виду, когда предупреждаю начинающих рационалистов о необходимости остерегаться собственного хитроумия.

Также я замечу, что если бы создаваемый Дружественный ИИ внезапно решил, что Землю следует превратить в скрепки, мне бы очень не хотелось, чтобы он начал оценивать, насколько это разумно в свете всех полученных им предупреждений. Я бы хотел, чтобы он совершил автоматическое контролируемое отключение. Кто сказал, что мета-рассуждения защищены от искажений?

Я мог бы упомянуть те важные моменты, когда мои наивные, идеалистические этические ограничения защищали меня от самого себя и удерживали меня в положении, из которого еще можно было все исправить, или помогали начать путь к исправлению после очень глубоких ошибок, о совершении которых я даже не подозревал. И я мог бы спросить: неужели я действительно настолько продвинулся вперед и неужели было бы разумно убирать защиты, которые спасали меня прежде?

И все же... «Глупее ли я до сих пор собственной этики?» — это вопрос, ответ на который не является автоматически «Да».

Есть очевидные глупости, которых делать не стоит; например, не следует ждать, пока у вас возникнет реальный соблазн, и только тогда пытаться выяснить, умнее ли вы своей этики в данном конкретном случае.

Но в целом — родительские запреты могут обладать лишь ограниченной силой. Не стоит недооценивать эту силу. Умные люди спорили об уроках истории, создавая этику Просвещения, на которую опирается большая часть западной культуры; а некоторые субкультуры, такие как научное сообщество или фэндом научной фантастики, опираются на эту этику еще более непосредственно. Но даже при этом власть прошлого имеет свои пределы.

И на самом деле...

Мне пришлось сделать свою этику гораздо строже, чем то, что мне запрещали делать мои родители, Джерри Пурнель и Ричард Фейнман.

Забавное дело: когда людям кажется, что они умнее собственной этики, они ратуют за меньшую строгость, а не за большую. Ведь если подумать, насколько сложнее стал современный мир...

И точно так же те, кто приходит ко мне со словами: «Тебе стоит лгать о взрыве интеллекта, ведь так ты получишь поддержку большего числа людей; это рационально, ради общего блага», — эти люди, похоже, понятия не имеют о рисках.

Они не упоминают проблему работы на поврежденном «железе». Они не упоминают о том, что ложь приходится рекурсивно защищать от любых истин и любых методов поиска истины, которые ей угрожают. Они не упоминают, что честным методам присуща простота, которой часто лишены бесчестные. Они не говорят о ставках на «черных лебедей». Они не говорят об ужасающей беззащитности, когда ты отбрасываешь последнюю защиту от самого себя и пытаешься выжить за счет голого расчета.

Я почти уверен, что все дело в том, что они не имеют ни малейшего представления ни об одной из этих вещей.

Если вы действительно поняли причины и внутренний ритм этики, то один из главных признаков этого — то, что, вооружившись этим новым знанием, вы не совершаете тех поступков, которые раньше казались этическими нарушениями. Только теперь вы знаете почему.

Тот, кто лишь ухватил одну или две причины, лежащие в основе этики, и говорит: «Ладно, я это понял, теперь я буду учитывать это сознательно, а значит, этические ограничения мне больше не нужны», — ведет себя скорее как ходячий стереотип, а не как настоящий рационалист. Мир не прост, не чист и не идеален, так что нельзя просто взять этику, на которой вас воспитали, и безоговорочно ей доверять. Но и эти претензии на вулканскую логику, когда вам кажется, будто вы сможете правильно просчитать абсолютно все, едва ухватив одну-две абстрактные идеи, — в реальной жизни это тоже не работает.

Что же до тех, кто, не поняв из этого ровным счетом ничего, считает себя умнее собственной этики, — ха.

И