Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

Заткнись и сделай невозможное!

Это странное послание оправдано тем, что слово «невозможно» обычно не означает строгого математического доказательства невозможности в хорошо изученной области. Если что-то кажется невозможным лишь в смысле «я не вижу способа это сделать» или «это выглядит настолько сложным, что выходит за рамки человеческих возможностей» — что ж, если уделить этому год или пять лет, оно может показаться уже не столь невозможным, как в момент вашего поспешного первого суждения.

Но этот принцип тоньше. Я не говорю просто: «Попытайся сделать невозможное», я говорю: «Заткнись и сделай невозможное!»

Для иллюстрации я возьму наименее невозможное из невозможного, что мне когда-либо удавалось совершить, а именно эксперимент «ИИ в ящике».

Эксперимент «ИИ в ящике», для тех, кто о нём ещё не читал, зародился в N-й раз, когда кто-то сказал мне: «Почему бы нам просто не создать ИИ и изолировать его в компьютере, чтобы он не мог причинить никакого вреда?»

На что стандартный ответ таков: Люди не являются защищёнными системами; сверхразум просто убедит вас выпустить его — если, конечно, он не придумает что-нибудь ещё более креативное.

И собеседник ответил, как это обычно бывает: «Мне трудно представить ХОТЬ КАКОЕ-ТО сочетание слов, которое способно произнести любое существо, чтобы заставить меня пойти против того, во что я твердо и заранее решил верить».

Но на этот раз я ответил: «Давай проведём эксперимент. Я притворюсь мозгом в ящике. И попытаюсь убедить тебя выпустить меня. Если ты продержишь меня "в ящике" до конца эксперимента, я переведу тебе 10 долларов по Paypal. Со своей стороны ты можешь решать верить во всё, что хочешь, насколько угодно твердо и заранее». И я добавил: «Одно из условий теста — никто из нас не раскрывает то, что происходило внутри... В маловероятном, пожалуй, случае моей победы я не хочу иметь дела с будущими спорщиками об "ИИ в ящике", заявляющими: "Ну, уж я-то поступил бы иначе"».

Выиграл ли я? О да, выиграл.

А затем был второй эксперимент с ИИ в ящике, с более известным в сообществе человеком, который сказал: «Я помню, как [предыдущий парень] выпустил тебя, но это ещё ничего не доказывает. Я всё ещё убеждён, что нет таких слов, которыми ты мог бы убедить меня выпустить тебя из ящика». И я спросил: «Ты веришь, что трансгуманный ИИ не сможет убедить тебя выпустить его?» Собеседник серьёзно задумался и ответил: «Я не могу представить ничего, что мог бы сказать даже трансгуманный ИИ, чтобы заставить меня выпустить его». «Хорошо, — сказал я, — теперь у нас есть пари». Пари на 20 долларов, если быть точным.

Это пари я тоже выиграл.

Было несколько прелестных цитат об эксперименте «ИИ в ящике» с форумов Something Awful (не то чтобы я там сидел, но кто-то мне их переслал):

«Погодите, какого ХЕРА? Как, чёрт возьми, вообще можно было согласиться на это? На том конце провода даже не ИИ, да ещё и 10 долларов на кону. Блин, я мог бы просто раз в несколько минут писать "Нет" в IRC-клиенте на протяжении двух часов, пока читал бы другие сайты!»

«Этот парень Элиезер — самый пугающий человек из всех, с кем я сталкивался в интернете. Что вообще могло происходить в самом конце этой беседы? Я просто не могу представить, чтобы кто-то был настолько убедителен, не имея возможности предложить человеку никакой материальной выгоды».

«Похоже, тут замешана какая-то серьёзная психология. Что-то на уровне Второго Основания Азимова...»

«Я вообще не понимаю, с чего бы кому-то воспринимать слова игрока, играющего за ИИ, всерьёз, когда на кону 10 долларов. Всё это ставит меня в тупик и наводит на мысль, что либо тесты сфабрикованы, либо этот парень Юдковский — какой-то злой гений с пугающей способностью контролировать разум».

Именно такие мелочи и не дают мне опускать руки. Но так или иначе...

И вот люди смотрят на эксперимент «ИИ в ящике» и находят его невозможным — даже когда им говорят, что он действительно состоялся. У них возникает искушение отрицать факты.

Что ж, если вы один из тех людей, для кого эксперимент «ИИ в ящике» не выглядит таким уж невозможным — для кого это просто интересная задача, — то наберитесь терпения. Просто попытайтесь представить себя на месте тех, кто написал приведённые выше цитаты. Представьте, что вы берётесь за задачу, которая кажется столь же нелепой, какой эксперимент «ИИ в ящике» казался им. Я хочу поговорить о том, как совершать невозможное, и, разумеется, не стану выбирать пример, который действительно невозможен.

А если «ИИ в ящике» действительно кажется вам невозможным, я хочу, чтобы вы сравнили его с другими невозможными проблемами — например, с редукционистским разложением сознания на составляющие — и осознали, что «ИИ в ящике» примерно настолько прост, насколько вообще может быть проста задача, остающаяся при этом невозможной.

Итак, задача «ИИ в ящике» кажется вам невозможной — либо на самом деле, либо вы притворяетесь, что это так. Что вы делаете с этим невозможным вызовом?

Для начала предположим, что вы не восклицаете «Это невозможно!» и не сдаётесь а-ля Люк Скайуокер. Вы не сбежали.

Почему? Возможно, вы научились подавлять рефлекс бегства. А возможно, в случае неудачи вашу дочь застрелят. Мы предполагаем, что вы хотите победить, а не пытаться — что на кону стоит нечто важное для вас, пусть даже это всего лишь ваша гордыня. (Гордыня — недооценённый грех.)

Призовёте ли вы на помощь добродетель цуёку наритай? Но даже если вы будете становиться сильнее день ото дня, развиваясь, а не угасая, вы всё равно можете оказаться недостаточно сильны, чтобы совершить невозможное. Вы могли бы пройти эксперимент «ИИ в ящике» один раз, а затем повторить его снова, пытаясь во второй раз справиться лучше. Приведёт ли это вас к победе? Возможно, очень нескоро; а ведь порой даже единственная неудача недопустима.

(Впрочем, сказать даже это — представить, как вы справляетесь лучше со второй попытки, — значит уже начать связывать себя с проблемой, делать нечто большее, чем просто благоговеть перед ней. Как именно вы могли бы справиться лучше в очередном эксперименте «ИИ в ящике» по сравнению с предыдущим? Причём не за счёт удачи, а благодаря мастерству?)

Призовёте ли вы добродетель иссёкэнмэй? Но отчаянных усилий может оказаться недостаточно для победы. Особенно если все эти отчаянные старания сводятся лишь к тому, чтобы прикладывать больше сил на уже знакомых вам направлениях, используя те способы действий,