Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Друг мой, это поразительное совпадение кажется мне чертовски подозрительным. Чертовски подозрительно, что наилучшим решением в рамках этого прекрасного, рационального, альтруистического критерия X оказывается именно та идея, которая до этого совершенно случайно родилась в ходе никак не связанного и не имеющего оправданий процесса Y. Если вы не думаете, что бросок костей с высокой вероятностью выдал бы правильный ответ, то каковы шансы, что он родится из любого другого иррационального мышления?

Маловероятно, чтобы вы использовали ошибочные рассуждения и при этом не допустили ни одной ошибки.

*

77. Это ли ваше истинное возражение?

Время от времени случается так, что кто-то сталкивается с моими трансгуманистическими взглядами — в отличие от моих идей, касающихся человеческой рациональности, — странными, экзотично звучащими концепциями вроде сверхинтеллекта и Дружественного ИИ. И этот человек их отвергает.

Если этого человека просят объяснить своё возражение, он нередко говорит: «С чего бы мне верить хоть чему-то, что говорит Юдковский? У него же нет докторской степени!»

А иногда кто-то другой, услышав это, замечает: «О, тебе стоит получить докторскую степень, чтобы люди к тебе прислушивались». Или этот совет может исходить от того же человека, который не поверил: «Возвращайся, когда у тебя будет докторская степень».

Получать докторскую степень можно по хорошим и по плохим причинам, но эта причина — из плохих.

Есть много причин, почему кто-то на самом деле испытывает неприязнь к трансгуманистическим тезисам. Большинство из них связаны скорее с распознаванием образов, чем с вербальным мышлением: тезис сопоставляется с категориями вроде «странная, дикая идея», «научная фантастика», «культ конца света» или «сверхэнтузиазм молодости».

Поэтому идея отвергается мгновенно, со скоростью восприятия. Если после этого кто-то спрашивает «Почему бы и нет?», запускается поиск обоснования. Но этот поиск не обязательно натолкнётся на истинную причину — под «истинной причиной» я имею в виду не лучшее из возможных оправданий, а те факторы, которые сыграли решающую роль в самый первый момент, когда возникло неприятие.

Вместо этого поиск обоснования натыкается на убедительно звучащий факт: «У этого оратора нет докторской степени».

Но у меня ведь тоже нет докторской степени, когда я пишу о человеческой рациональности, — так почему же тогда никто не выдвигает этого возражения?

И что ещё более важно: если бы у меня была докторская степень, люди всё равно не сочли бы это решающим фактором в пользу того, что они должны верить всему, что я говорю. Произошло бы точно такое же первоначальное отторжение по тем же самым причинам, а последующий поиск обоснования просто остановился бы на другой отметке.

Они бы сказали: «Почему я должен верить именно вам? Вы просто какой-то парень с докторской степенью! Таких полно. Возвращайтесь, когда станете известным в своей области и получите постоянную профессорскую должность в крупном университете».

Но разве люди на самом деле верят первому встречному гарвардскому профессору, который говорит странные вещи? Конечно нет. (Но будь я профессором в Гарварде, мне действительно было бы проще привлечь внимание прессы. Журналисты, изначально не склонные мне верить — которые, вероятно, столь же неохотно поверили бы и любому случайному обладателю докторской степени — всё равно писали бы обо мне, потому что новость о том, что гарвардский профессор верит в такую странную вещь, сама по себе сенсационна.)

Если вы говорите вещи, которые звучат неправильно для новичка (а не просто сыплете похожей на магию техноболтовнёй о лептических кварковых косах в N + 2 измерениях), а ваш слушатель — посторонний человек, который не знает лично вас и не знаком с вашей предметной областью, то я подозреваю, что порог, при котором обычный человек действительно начнёт доверять вам вопреки своему первому впечатлению чисто из-за научных регалий, находится где-то на уровне нобелевского лауреата. Если не выше. Грубо говоря, вам нужны академические регалии такого уровня, которые классифицируются как «выходящие за рамки обыденного».

Насколько я могу судить, примерно это и произошло с Эриком Дрекслером. Он представил своё видение нанотехнологий, а люди сказали: «Где технические подробности?» или «Возвращайся, когда у тебя будет докторская степень!» И Эрик Дрекслер потратил шесть лет на описание технических деталей и защитил докторскую диссертацию под руководством Марвина Минского. И «Наносистемы» — отличная книга. Но изменили ли те же самые люди, которые говорили: «Возвращайся, когда у тебя будет степень», хоть как-то своё мнение о молекулярных нанотехнологиях? Насколько мне известно, ни капли.

Схожее правило работает и для Научно-исследовательского института машинного интеллекта (MIRI): что бы мы ни делали ради повышения авторитета, когда мы это делаем, мало что меняется. «Пишете ли вы какой-нибудь код? Мне неинтересно поддерживать организацию, которая не разрабатывает код» → OpenCog → ничего не меняется. «У Элиезера Юдковского нет научных регалий» → профессор Бен Герцель назначен директором по исследованиям → ничего не меняется. Единственное, что действительно повысило уровень доверия к организации, — это связь с известными личностями: например, то, что нас финансирует Питер Тиль или что Рэй Курцвейл входит в совет директоров.

Молодым компаниям и новоиспечённым консультантам стоит помнить: то, что несостоявшиеся клиенты называют причиной отказа, может на самом деле не играть настоящей роли, и вам следует хорошенько подумать, прежде чем тратить колоссальные усилия на исправление этого. Если венчурный капиталист говорит: «Если бы только ваши продажи росли чуть быстрее!», а потенциальный клиент заявляет: «Всё выглядит отлично, но у вас нет функции X», это может быть вовсе не истинным возражением. Исправление этой проблемы может ничего не изменить.

Об этом также полезно помнить во время споров. Мы с Робином Хэнсоном разделяем убеждение, что два рационалиста не должны соглашаться на разногласие: для них недопустимо взаимное знание об эпистемическом разногласии, если только что-то не пошло в корне не так.

Подозреваю, что в целом, если два рационалиста берутся разрешить спор, который затянулся дольше первого обмена репликами, им следует ожидать, что истинные источники разногласий либо трудно объяснить, либо трудно обнаружить. Например:

Редкие, но хорошо обоснованные научные знания или математический аппарат;

Большие дистанции умозаключений;

Трудно поддающиеся вербализации интуитивные представления, возможно, основанные на специфических визуальных образах;

Дух времени (цайтгайст), унаследованный от профессии (для которого могут быть веские причины);

Паттерны, распознаваемые на уровне восприятия из опыта;

Простые привычки мышления;

Эмоциональная привязанность к вере в конкретный исход;

Страх признания прошлых ошибок;

Глубокий самообман ради гордости