Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

Скорее, я вижу в Джейнсе уровень мастерства, чистой сокрушительной мощи, которого сам ещё не достиг. Я могу убедительно спорить по выбранной теме, но это совсем не то же самое, что расписать уравнения и сказать: ГОТОВО.

Пока я не достиг этого уровня, я должен допускать вероятность того, что никогда его не достигну, что моего врождённого таланта просто недостаточно. Когда Марчелло Херресхофф уже достаточно хорошо меня знал, я спросил его, встречал ли он кого-нибудь, кто показался ему существенно более одарённым от природы, чем я. Марчелло немного подумал и сказал: «Джон Конвей — я познакомился с ним в летнем математическом лагере». Чёрт, подумал я, он всё-таки кого-то вспомнил, и хуже того, это какой-то ультразнаменитый старик, которого мне не заполучить. Я спросил, как Марчелло пришёл к такому выводу. Марчелло ответил: «Он просто поразил меня колоссальной умственной мощью», и принялся объяснять математическую задачу, над которой ему довелось поработать вместе с Конвеем.

Совсем не то, что я хотел услышать.

Возможно, если сравнивать опыт общения Марчелло с Конвеем и со мной, у меня просто не было возможности блеснуть в теме, которой я овладел так же глубоко, как Конвей овладел своими многочисленными областями математики.

Или дело в том, что мозг Конвея специализирован в другом направлении, и я никогда не смог бы приблизиться к его уровню в математике, но и сам Конвей не добился бы больших успехов в исследованиях ИИ.

Или...

...или я просто глупее Конвея и он доминирует надо мной по всем параметрам. Может быть, если бы я нашёл юного прото-Конвея и объяснил ему основы, он бы с лёгкостью меня обошёл, решил проблемы, над которыми я бился годами, и умчался бы в такие дали, куда мне за ним не угнаться.

Бьёт ли по моему самолюбию признание последней возможности? Да. Отрицать это было бы бесполезно.

Неужели я и правда смирился с этой ужасной возможностью, или я только притворяюсь перед самим собой, что принял её? Тут я скажу: «Нет, думаю, действительно принял». Почему я осмеливаюсь приписывать себе такую заслугу? Потому что я приложил конкретные усилия, исходя из этой ужасной возможности. Я пишу всё это по многим причинам, но одна из главных — это мечта о том, что какой-нибудь юный ум прочтёт эти строки и устремится далеко вперёд, оставив меня позади. Это может случиться, а может и нет.

Или, что ещё печальнее: возможно, я просто потратил слишком много времени на обеспечение себя ресурсами, вместо того чтобы всецело посвятить юность изучению математики; или же я растратил слишком много лучших лет на нематематические идеи. И этот выбор, моё прошлое, уже не изменить. В сорок лет я упрусь в глухую стену, и мне не останется ничего другого, кроме как передать ресурсы другому уму, обладающему тем потенциалом, который я растратил, уму, который ещё достаточно молод, чтобы учиться. И чтобы сэкономить им время, мне следует оставить ориентиры, ведущие к моим успехам, и расставить предупреждающие знаки возле моих ошибок.

Такие конкретные усилия, обусловленные бьющей по самолюбию возможностью, — вот единственный вид смирения, который кажется мне достаточно реальным, чтобы я осмелился приписать его себе. Или отказ от моих драгоценных теорий, когда я понял, что они не соответствуют стандартам, которые показал мне Джейнс, — это было тяжело, и это было по-настоящему. Скромное поведение ничего не стоит. Смиренные признания в сомнениях ничего не стоят. Я встречал слишком много людей, которые, услышав контраргумент, говорят: «Я всего лишь несовершенный смертный, конечно же, я могу ошибаться», а затем продолжают делать ровно то, что планировали изначально.

Вы заметите, что я не пытаюсь скромно сказать что-то вроде: «Ну, возможно, я и не так гениален, как Джейнс или Конвей, но это не значит, что я не могу сделать что-то важное в выбранной мной области».

Потому что я прекрасно знаю... это так не работает.

*

301. Масштаб собственной глупости.

В годы, предшествовавшие моей встрече с одним претендентом на создание общего искусственного интеллекта (с финансируемым проектом), который по воле случая оказался креационистом, я всё ещё пытался спорить с отдельными горе-разработчиками ОИИ.

Тогда мне в каком-то смысле удалось убедить одного такого деятеля в том, что — да, Дружественный ИИ необходимо принимать во внимание, и нет, нельзя просто подобрать правильную функцию приспособленности для эволюционного алгоритма. (До этого он был под глубоким впечатлением от эволюционных алгоритмов.)

И тот воскликнул: О горе мне, о увы! Каким же я был дураком! Из-за своей беспечности я едва не уничтожил мир! Каким же негодяем я был когда-то!

Ну уж в эту-то ловушку я бы ни за что не попался —

— в тот момент, когда в конце 2002 года я оглянулся на проекты ИИ Элиезера-1997 и осознал, к чему они на самом деле привели бы (в той мере, в какой они вообще были достаточно связными, чтобы рассуждать, к чему они «на самом деле» привели бы).

Когда я наконец осознал масштабы собственной глупости, всё мгновенно встало на свои места. Плотина, сдерживавшая осознание, дала трещину, и все невысказанные сомнения, копившиеся за ней, хлынули наружу единым потоком. Не было ни долгого периода, ни единого момента на моей памяти, когда бы я задавался вопросом, как я мог быть настолько глуп. Я и так уже знал как.

И я также понял, сразу же, в тот самый момент осознания, что сказать: «Я едва не уничтожил мир!» — было бы проявлением чрезмерной гордыни.

Это слишком сильно подпитывало бы эго, слишком явно подтверждало бы мою собственную значимость в общем порядке вещей в то время как — понял я в тот же миг осознания — мое эго должно было получить сокрушительный удар под дых. Я оказался бесконечно далек от того, кем мне следовало быть; я должен был принять этот удар под дых, а не уклоняться от него.

И по той же причине я не попался в сопряженную ловушку, заявив: «Ну ладно, ведь у меня не было кода, который я собирался запустить; я ведь на самом деле не был близок к уничтожению мира». Ведь это тоже ослабило бы силу удара. Он не был по-настоящему заряжен? Я предложил и намеревался собрать этот пистолет, зарядить его, приставить к своей голове и спустить курок; и в этом было