Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

Отсюда и выражение «сектантская антисектантность».

Жить с сомнениями — не добродетель: цель любого сомнения состоит в том, чтобы самоуничтожиться благодаря успеху или поражению, а сомнение, которое просто висит мертвым грузом, ничего не дает. Но порой сомнению требуется время, чтобы самоуничтожиться. Жизнь со стопкой неразрешенных на данный момент сомнений — неизбежная данность для рационалистов. Сомнение не должно пугать. Иначе вам придется выбирать между чертовски загнанной жизнью и жизнью чертовски глупой.

Если вы действительно, искренне не можете понять, является ли группа «сектой», вам просто придется делать выбор в условиях неопределенности. В этом и заключается вся суть теории принятия решений.

Проблема пятая: отсутствие стратегического мышления.

Я знаю людей, которые с осторожностью относятся к сингулярианству, и они также осторожны с политическими партиями и традиционными религиями. Осторожны, а не нервничают и не занимают оборонительную позицию. Этим людям с первого взгляда ясно, что сингулярианство — очевидно, не полноценная секта с лишением сна и прочим. Но они беспокоятся, что сингулярианство станет сектой из-за таких факторов риска, как превращение концепции мощного ИИ в «Суперсчастливого агента» (агента, определяемого главным образом тем, что он соглашается с любым приятным словом в свой адрес). То, что нечто не является сектой сейчас, не означает, что оно не станет ею в будущем. Сектантство — это аттрактор, а не сущность.

Раздражает ли меня такая осторожность? Черт возьми, нет. Я и сам трачу кучу времени на беспокойство по поводу такого сценария. Я стараюсь расставлять свои камни для го заранее, чтобы заблокировать движение в этом направлении. Отсюда, к примеру, и серия эссе о сектантских ошибках в рассуждениях.

У людей, которые рассуждают о «рациональности», также есть дополнительный фактор риска. Давать людям советы о том, как думать, — дело само по себе опасное. Но это фактор риска, а не болезнь.

Оба моих любимых дела подвержены риску сектантства. Но почему-то вопрос «Вы уверены, что это не секта?» мне задают гораздо чаще, когда я говорю о мощном ИИ, нежели когда я рассуждаю о теории вероятностей и когнитивных науках. Не знаю, какой из факторов риска выше, но я точно знаю, какой из них звучит более странно...

Проблема № 6 с вопросом «Это ведь не секта, правда?»...

Сам этот вопрос ставит меня в крайне досадную ситуацию «Уловки-22». Настоящий Злой Гуру наверняка использовал бы нервозность человека против него самого и выстроил бы убедительный, сложный аргумент, объясняющий, почему это не секта, а человек с готовностью бы его принял. Иногда у меня складывается впечатление, что люди хотят от меня именно этого! Всякий раз, когда я пытаюсь писать о сектантстве и о том, как его избежать, меня не покидает чувство, будто я потакаю этому порочному желанию — будто в конечном счете я даю людям успокоение. Даже когда я говорю им, что необходима постоянная борьба с энтропией.

Такое ощущение, будто я выставляю себя первым несогласным в эксперименте Аша на конформизм, говоря людям: «Да, отрезок X действительно равен отрезку B, вы тоже можете так сказать». Им не нужно спрашивать об этом! Или, что еще хуже, мне кажется, будто я привожу изощренное доказательство того, почему это не секта. Это неправильный вопрос.

Просто сами взгляните на процессы мышления в группе и сами решите, хотите ли вы быть ее частью, избавившись от страха перед странным. Не допускать у себя сектантского мышления — это ваша личная ответственность, в какой бы группе вы сейчас ни состояли.

Стоит кому-то спросить: «Это ведь не секта, правда?», как вне зависимости от моего ответа я начинаю чувствовать, будто защищаюсь. Мне не нравится это чувство. В обязанности байесовского мастера не входит успокаивать, а в обязанности рационалистов — защищаться.

Секты питаются групповым мышлением, нервозностью, жаждой успокоения. Нервозность нельзя прогнать одним лишь желанием, а ложная самоуверенность еще хуже. Но пока человеку нужно успокоение — пусть даже успокоение в том, что он рационалист, — в его доспехах всегда будет брешь. Умелый мечник концентрируется на цели, а не оглядывается по сторонам, чтобы проверить, не смеется ли кто над ним. Когда вы знаете, чего пытаетесь достичь и зачем, вы будете понимать, получается ли у вас это или нет, и помогает ли вам группа или мешает.

(P. S. Если человек придет к вам и спросит: «Ты уверен, что это не секта?», не пытайтесь объяснить все эти концепции на одном дыхании. Вы недооцениваете инференциальную дистанцию. Человек скажет: «Ага, то есть ты признаешь, что вы секта!» или «Погоди, ты хочешь сказать, что мне не стоит беспокоиться из-за вступления в секту?» или «То есть... страх перед сектами — это сектантство? По-моему, звучит жутко сектантски». Так что последний раздражающий фактор — № 7, если вы ведете счет, — заключается в том, что все это слишком долго объяснять.)

*

Часть K. Умение отпускать.

121. Важность умения сказать «ой».

Я только что закончил читать историю краха корпорации Enron, «Самые умные парни в этой комнате», которая отныне получает мой личный приз в номинации «Самое неподходящее название книги».

Вполне ожидаемой чертой медленного гниения и внезапного краха Enron было то, что топ-менеджеры никогда не признавали совершения крупной ошибки. Когда катастрофа № 247 разрасталась до такой степени, что требовала реального изменения политики, они говорили: «Жаль, что ничего не вышло — идея-то была отличная, — как теперь скрыть эту проблему в балансовом отчете?» Вместо того чтобы сказать: «В ретроспективе теперь кажется очевидным, что это с самого начала было ошибкой». Вместо: «Я был глуп». У них никогда не было переломного момента, момента смиренного осознания, признания фундаментальной проблемы. После банкротства Джефф Скиллинг, бывший операционный директор и — в течение недолгого времени — генеральный директор Enron, отклонил совет собственных адвокатов воспользоваться Пятой поправкой; он дал показания перед Конгрессом, заявив, что Enron была великой компанией.

Не всякая перемена — это улучшение, но всякое улучшение — это обязательно перемена. Если мы признаем лишь мелкие локальные промахи, мы будем делать лишь мелкие локальные изменения. Мотивация для больших перемен рождается из признания большой ошибки.

В детстве я рос в равной степени на науке и научной фантастике, и от Хайнлайна до Фейнмана усваивал тропы Традиционной Рациональности: теории должны быть смелыми и подставлять себя под фальсификацию; нужно быть готовым принести героическую