Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски
Эти ценности не возникают во всех возможных разумах. Они не появятся из ниоткуда, чтобы упрекнуть и отменить функцию полезности максимизатора ожидаемого количества скрепок.
Стоит нажать чуть сильнее не в том измерении, и физическое воплощение этих ценностей разлетится вдребезги — и уже не вернётся, ибо не останется ничего, что могло бы захотеть его вернуть.
И у референта этих ценностей — достойной вселенной — больше не будет никаких физических причин для возникновения.
Выпустите руль из рук, и Будущее потерпит крушение.
*
280. Дар, который мы приносим завтрашнему дню. Как, о как могла вселенная, сама по себе лишенная любви и разума, исторгнуть умы, способные любить? «В этом нет никакой тайны», — скажете вы. «Это всего лишь вопрос естественного отбора».
Но естественный отбор жесток, кровав и чертовски глуп. Даже когда на первый взгляд биологические организмы не напрямую сражаются друг с другом — не напрямую рвут друг друга когтями — между генами все равно идет более глубокая конкуренция. Генетическая информация создается, когда гены увеличивают свою относительную частоту в следующем поколении: для «генетической приспособленности» важно не то, сколько у вас детей, а то, что у вас больше детей, чем у других. Вполне возможно, что вид эволюционирует до вымирания, если побеждающие гены играют в игры с отрицательной суммой.
Как, о как мог подобный процесс создать существ, способных любить?
«Никакой тайны», — скажете вы. «В мире вообще не бывает тайн. Таинственность — это свойство вопросов, а не ответов. Дети матери несут в себе ее гены, поэтому мать любит своих детей».
Но иногда матери усыновляют детей и все равно любят их. И матери любят своих детей ради них самих, а не за их гены.
«Никакой тайны», — скажете вы. «Отдельные организмы — это исполнители адаптаций, а не максимизаторы приспособленности. Эволюционная психология не занимается сознательным максимизированием приспособленности — на протяжении большей части человеческой истории мы вообще не знали о существовании генов. Мы не просчитываем влияние наших поступков на генетическую приспособленность ни сознательно, ни даже подсознательно».
Но люди заводят дружбу даже с теми, кто не является их родственниками. Как такое возможно?
«Никакой тайны, ведь охотники-собиратели часто разыгрывают повторяющуюся дилемму заключенного, решением которой является взаимный альтруизм. Порой самым опасным человеком в племени оказывается не самый сильный, самый красивый или даже самый умный, а тот, у кого больше всего союзников».
И все же не все друзья — друзья лишь до первой беды; у нас есть понятие настоящей дружбы, и некоторые люди жертвовали жизнью ради своих друзей. Не должна ли была подобная преданность вымываться из генофонда?
«Вы сами сказали: у нас есть понятия настоящей дружбы и дружбы до первой беды. Мы умеем отличать — или пытаемся отличать — того, кто видит в нас ценного союзника, от того, кто просто исполняет адаптацию дружбы. Мы бы не стали искренне дружить с тем, кого сами не считаем настоящим другом, а человек со множеством настоящих друзей гораздо грознее того, у кого много ненадежных союзников».
А как же Мохандас Ганди, который действительно подставлял другую щеку? Те, кто пытается служить всему человечеству, независимо от того, служит ли оно им в ответ?
«Это, пожалуй, более сложная история. Люди — не просто социальные животные. Мы — животные политические, которые ведут словесные споры о политике в адаптивных контекстах племени. Иногда самым грозным человеком оказывается не самый сильный, а тот, кто умеет искуснее всех доказать, что предлагаемый им курс соответствуют интересам остальных».
Хм... это не объясняет Ганди, или я чего-то не понимаю?
«Суть в том, что у нас есть способность спорить о том, „что должно быть сделано“, как о суждении — мы можем выдвигать эти аргументы и отвечать на них, без чего политика была бы невозможна».
Хорошо, но как насчет Ганди?
«Он поверил в определенные сложные суждения о том, „что должно быть сделано“, и следовал им».
Это звучит подозрительно похоже на то, чем можно объяснить вообще любое человеческое поведение.
«Если мы проследим причинно-следственную связь через все эти доводы, то обнаружим следующее: моральную архитектуру, способную обсуждать общие абстрактные этические суждения вроде „Как следует поступать с людьми?“; апелляцию к врожденным интуитивным представлениям вроде справедливости, понятия долга, неприятия боли, эмпатии; нечто вроде предпочтения простых моральных утверждений, вероятно, унаследованного от нашего априорного принципа Оккама; и конечным результатом всего этого, плюс, возможно, эффектов меметического отбора, стало обобщенное правило „Людям нельзя причинять вред“ во всей его полноте...»
И так мы получаем Ганди.
«Если только вы не считаете это магией, это должно как-то укладываться в закономерное причинно-следственное развитие вселенной».
Я уж точно не стану постулировать магию, под каким бы соусом ее ни подавали.
«Вот и отлично».
Но послушайте... разве это не кажется немного... поразительным... что сотни миллионов лет смертельного турнира эволюции смогли породить матерей и отцов, сестер и братьев, мужей и жен, верных друзей и благородных врагов, истинных альтруистов и борцов за правое дело, полицейских и верных защитников, даже художников, жертвующих собой ради искусства, — и все они проявляют столько видов любви? К стольким вещам, далеким от генов? Вносят свою лепту в то, чтобы сделать наш мир чуть менее уродливым, превратить его во что-то иное, нежели океан крови, насилия и бездумного воспроизводства?
«Вы утверждаете, что это вас удивляет? Если так, поставьте под сомнение вашу базовую модель, ведь она заставила вас удивляться реальному положению дел.
С самого начала времен
ни одного необычного события
так и не произошло».
Но как это может не удивлять?
«Что вы предлагаете? Что за кулисами стояла некая таинственная фигура и направляла эволюцию?»
Черт, конечно нет. Но...
«Потому что, если бы вы это действительно предполагали, мне пришлось бы спросить, как эта таинственная фигура изначально решила, что любовь — это желательный результат эволюции. Мне пришлось бы спросить, откуда у этой фигуры взялись предпочтения, включающие такие вещи, как любовь, дружба, верность, справедливость, честь, романтика и так далее. С точки зрения эволюционной психологии мы видим, как возник именно этот конкретный результат — как именно эти цели, а не какие-то другие, вообще возникли. Можете называть это „удивительным“ сколько угодно. Но если вы действительно понимаете эволюционную психологию, вы видите, что родительская любовь,
