Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И тут всё усложняется, как это обычно и происходит у людей — мне кажется, даже Деннет упрощает то, как эта психология работает на практике. Во-первых, если вы верите в веру, вы не можете признаться себе, что вы всего лишь верите в веру. Ведь добродетель заключается в том, чтобы верить, а не просто верить в веру, и если вы лишь верите в веру вместо того, чтобы верить по-настоящему, вы не добродетельны. Никто не признается себе: «Я не верю, что Абсолютное Космическое Небо сине-зелёное, но считаю, что должен в это верить» — разве что этот человек обладает исключительной способностью признавать собственную недобродетельность. Люди не верят в веру в веру, они просто верят в веру.

(Тем, кому это кажется запутанным, может помочь изучение математической логики, которая приучает проводить очень чёткие различия между суждением P, доказательством P и доказательством того, что P доказуемо. Столь же чёткие границы существуют между P, желанием P, верой в P, желанием верить в P и верой в то, что вы верите в P.)

Существуют разные виды веры в веру. Вы можете верить в веру явно; вы можете проговаривать в своём сознательном потоке мыслей фразу: «Добродетельно верить, будто Абсолютное Космическое Небо одновременно идеально синее и идеально зелёное». (И при этом верить, будто вы действительно в это верите — если только вы не обладаете редкой способностью признавать собственную недобродетельность). Но существуют и менее явные формы веры в веру. Возможно, заявитель боится публичного осмеяния, которое, как он себе представляет, последует, если он открыто признает свою неправоту (хотя на самом деле рационалист бы его поздравил, а окружающие скорее высмеют его, если он продолжит настаивать на существовании дракона в гараже). Возможно, заявитель внутренне сжимается от перспективы признаться самому себе, что никакого дракона нет, ведь это разрушит его образ великого первооткрывателя дракона, который разглядел в своём гараже то, чего все остальные увидеть не смогли.

Если бы все наши мысли представляли собой осознанные словесные формулировки, которыми оперируют философы, человеку было бы намного проще понять собственный разум. Мимолётные мысленные образы, невысказанные внутренние сжатия, желания, которым мы следуем, не признаваясь себе в этом, — всё это составляет не меньшую часть нас самих, чем слова.

Хотя я и не согласен с Деннетом в некоторых деталях и тонкостях, я всё же считаю, что предложенная им концепция веры в веру — это ключевая идея, необходимая для понимания заявителя. Но нам нужно более широкое понятие веры, не ограничивающееся словесными формулировками. «Вера» должна включать в себя невысказанные регуляторы ожиданий. «Вера в веру» должна включать невысказанные регуляторы когнитивного поведения. Психологически недостоверно утверждать: «Заявитель не верит, что в его гараже есть дракон; он верит, что верить в дракона в гараже полезно». Зато вполне реалистично сказать, что заявитель строит ожидания так, будто никакого дракона в гараже нет, и ищет оправдания так, будто верит в эту веру.

У вас в голове может быть самый обычный мысленный образ вашего гаража — без всяких драконов, — который верно предсказывает то, с чем вы столкнётесь, открыв дверь, и при этом вам ни разу не придёт в голову словесная фраза «В моём гараже нет дракона». Готов поспорить, с вами такое бывало: когда вы открываете дверь гаража, спальни или чего угодно ещё и ожидаете не увидеть там драконов, в ваших мыслях не проносится подобная фраза.

И чтобы внутренне сжаться при мысли об отказе от веры в дракона — или сжаться от мысли об отказе от своего представления о себе как о человеке, который верит в дракона, — вовсе не обязательно явно думать: «Я хочу верить, что в моём гараже есть дракон». Достаточно просто внутренне сжаться перед перспективой признать, что вы в него не верите.

Чтобы заранее верно предвидеть, какие результаты эксперимента потребуют оправданий, заявитель должен: а) иметь где-то в глубине разума точную модель, управляющую ожиданиями, и б) совершать когнитивные усилия ради защиты либо (б1) своей свободно витающей пропозициональной веры в дракона, либо (б2) своего образа себя как верящего в дракона.

Если человек верит в свою веру в дракона и при этом действительно верит в дракона, проблема стоит гораздо менее остро. Он будет готов рискнуть, делая экспериментальные прогнозы, и, возможно, даже согласится отказаться от веры, если прогноз окажется неверным — хотя вера в веру всё же может этому помешать, если сама вера не является абсолютно непоколебимой. Когда же кто-то придумывает оправдания заранее, это, по всей видимости, означает, что вера и вера в веру рассинхронизировались.

*

1. Дэниел Деннет. «Разрушая заклятие. Религия как естественное явление» (Penguin, 2006).

14. Байесовское дзюдо. Можно неплохо позабавиться с людьми, чьи ожидания расходятся с тем, во что они думают, что верят.

Как-то раз на званом ужине я пытался объяснить одному человеку, чем зарабатываю на жизнь, и тут он заявил: «Я не верю, что искусственный интеллект возможен, ведь только Бог может создать душу».

Должно быть, в этот момент на меня снизошло божественное вдохновение, потому что я мгновенно ответил: «Вы имеете в виду, что если я смогу создать искусственный интеллект, это докажет ложность вашей религии?»

Он спросил: «Что?»

Я сказал: «Ну, если ваша религия предсказывает, что я никак не могу создать искусственный интеллект, значит, если я его создам, это будет означать, что ваша религия неверна. Либо ваша религия допускает, что я могу построить ИИ, либо, если я его построю, это опровергнет вашу религию».

Последовала пауза — собеседник осознал, что только что сделал свою гипотезу уязвимой для фальсификации, — а затем он сказал: «Ну, я имел в виду не то, что вы вообще не сможете создать интеллект, а просто что он не сможет испытывать эмоции так же, как мы».

Я сказал: «Значит, если я создам искусственный интеллект, который — без какого-либо намеренно прописанного сценария — начнет говорить о своей эмоциональной жизни так, что это будет звучать совсем как у нас, это будет означать, что ваша религия ошибочна».

Он