Генезис. Искусственный интеллект, надежда и душа человечества - Крейг Манди
Хотя этот переломный момент еще не наступил, подготовку к нему необходимо начинать уже сегодня – эпоха ИИ потребует управления рисками, угрожающими самому существованию человечества. Государства, обладающие существенным, но ограниченным технологическим потенциалом, будут с болезненной настороженностью отслеживать появление систем ИИ, превосходящих их собственные разработки. Если такой игрок заподозрит – даже ошибочно, – что доминирующая держава близка к созданию оружия «абсолютного превосходства», это может спровоцировать превентивные электронные атаки или физические удары по ключевым объектам. Результатом станет спираль эскалации, где каждый ответный шаг будет приближать стороны к взаимному уничтожению.
Текущая неопределенность оставляет нам тонкую нить надежды. Сама непредсказуемость будущего может стать основой для конструктивного диалога. Поскольку сегодня никто не способен достоверно спрогнозировать, как современные решения в области ИИ повлияют на завтрашний баланс сил, у мировых лидеров появляется уникальная возможность – начать переговоры, движимые фундаментальным человеческим инстинктом самосохранения.
Контролируемая гонка вооружений
Если будущее превратится в гонку по созданию единого доминирующего ИИ, человечество, вероятно, столкнется с дилеммой: либо полная потеря контроля над многополярным противостоянием, либо установление гегемонии победителя, которого не будут сдерживать традиционные ограничения. При этом чем меньше будет отрыв лидера, тем опаснее станет цепь человеческих просчетов.
Парадоксальным образом, однополярность может снизить риски гибели человечества. Если лидеру гонки удастся создать непреодолимый технологический разрыв, лишающий конкурентов даже надежды на соперничество, это способно обеспечить временную стабильность. В такой реальности традиционная модель мирового порядка, основанная на хрупком балансе сил, может уступить место новой парадигме.
Впрочем, есть и альтернатива, хотя для ее реализации потребуется подавить некоторые естественные человеческие инстинкты: можно попробовать договориться. Конкурирующие стороны могли бы установить период согласованного сотрудничества или даже объединить свои передовые разработки в единый проект. Однако достижение такой сплоченности в условиях геополитических и коммерческих противоречий потребует невероятной смелости и дальновидности. Любой игрок, находящийся в числе лидеров или рядом с ними, закономерно рассчитывает оказаться в компании победителей. При этом наибольшую выгоду от такого соглашения получат нерешительные или пока отстающие участники – для них это идеальная возможность не только сравняться с лидерами, но даже вырваться вперед. Абсолютные же лидеры никогда добровольно не откажутся от своего превосходства – сама идея сотрудничества зачастую в их понимании слишком неустойчива, чтобы устоять перед соблазном нарушить достигнутые договоренности.
Альтернативным решением могли бы стать переговоры о распределении полномочий. Почувствовав близость победы, лидер гонки попытался бы убедить своих соперников пойти на уступки, пообещав им привилегированный доступ к сверхразуму. Но история не знает примеров, чтобы доверие – особенно к вчерашнему врагу – сохранялось долго. Даже если вопреки всему такое соглашение будет достигнуто – совершенно неясно, как обеспечить его выполнение.
Действительно, попытка просто собрать воедино высшие точки пиков воображаемого «острова познания», о котором мы говорили чуть ранее, лишь усугубила бы кризис, который изначально пытались предотвратить. Подобных попыток – тем боле успешных – человечество еще не предпринимало. Более того, такой проект потребовал бы коренного преобразования всей системы международных отношений. На протяжении веков стабильность мироустройства обеспечивалась хрупким паритетом противоборствующих центров силы. Здесь же государства окажутся перед необходимостью поддерживать гегемонистскую стабильность[92] – модель, чуждую историческому опыту человечества. Доминирующий блок государств, скорее всего, будет представлен изначальными создателями систем ИИ и поставщиками их наиболее критически важных компонентов, а также производителями кадров для разработки и совершенствования этих технологий. Недоминирующее большинство рискует оказаться в положении зависимых субъектов, поставляющих данные и другие ресурсы, а взамен получающих ограниченный доступ к открытиям ИИ, системам управления и средствам защиты.
Однако подобный сценарий нельзя считать ни желательным, ни даже наиболее вероятным. Скорее мир увидит возникновение не единого доминирующего ИИ, а множества конкурирующих систем высшего интеллекта. В этом случае открывается спектр новых возможностей: наши совершеннейшие создания, взяв на себя роль стабилизирующих сил, могут превзойти человеческие способности в поддержании глобального баланса, сохранив мудрость нашего опыта, но преодолев присущие нам когнитивные ограничения. Таким образом, искусственный разум потенциально способен автономно регулировать собственное развитие – как минимум в таких критически важных сферах, как национальная безопасность и геополитика.
Но способен ли ИИ создать устойчивую систему распределения сфер влияния? Теоретически – да. За внешним слоем людских эмоций и психологии дипломатические переговоры представляют собой разновидность прикладной теории игр, являющейся разделом математики. Если изначально дипломатия зарождалась как искусство (хотя и ограниченное человеческой природой), то постепенно она может трансформироваться в науку. Такой переход может помочь преодолеть ограничения традиционной дипломатии с ее неоднозначными результатами в поиске компромиссов. Первые западные разработки в области ИИ уже демонстрируют впечатляющие стратегические навыки – как минимум в рамках игровых симуляций. Китай продвинулся еще дальше, поручив системам ИИ выполнение отдельных дипломатических функций[93].
Сама идея дипломатии родилась из простого стремления людей обмениваться вестями без риска и обмана. Со временем посланцы, прибывшие издалека, стали пользоваться особым вниманием, тогда как нарушителей этих новых правил почти всегда ждала кара. Когда посланцы Ксеркса[94] потребовали, чтобы греческие полисы прислали им символы покорности, персидских посланников сбросили в колодцы. Геродот упоминает, что впоследствии боги покарали Спарту за это преступление[95]. Примерно семнадцать столетий спустя, после казни монгольского посла по приказу персидского шаха Чингисхан в отместку направил свои несокрушимые войска стереть с лица земли государство Хорезмшахов[96].
Тем не менее, сохранять каналы сообщения, особенно во время войны, стало обычаем. Со временем сложилось понимание: куда разумнее выслушать гонца, чем лишать его жизни.
Если бы системам ИИ предстояло выстраивать дипломатические отношения между собой, были бы возможны два пути: либо их изначально обучат соблюдать существующие протоколы, либо в процессе работы у них спонтанно выработается предпочтение к тем моделям поведения, где такие нормы заложены. Конечно, не обошлось бы без сбоев. Цифровые системы рубить головы, допустим, не стали бы, но методы борьбы за свои интересы разработали бы без труда. Именно эта бесстрастная логика искусственного разума, если человечество отважится принять ее, способна заложить основы принципиально более устойчивого мирового порядка.
Однако не будем забывать, что передача ИИ решения столь фундаментальных задач, как дипломатия и безопасность, неминуемо усилит нашу зависимость от его возможностей – зависимость, которую будет крайне трудно преодолеть, когда потребуется решительное, именно человеческое, участие в международных
