Генезис. Искусственный интеллект, надежда и душа человечества - Крейг Манди
Шпионаж и саботаж
Даже в стремлении обезопасить собственные технологии государства одержимы идеей «победы в гонке ИИ»[85]. Отчасти это объяснимо: культурные традиции, исторический опыт, особенности коммуникации и взаимное недоверие сформировали между ведущими державами конфронтационную систему отношений. Превращаясь в ключевой элемент будущего миропорядка, ИИ становится искрой в пороховой бочке мировых отношений, где каждая сторона убеждена, что любое дополнительное тактическое преимущество определит ее долгосрочное господство.
Если, повинуясь инстинкту самосохранения, каждое общество станет добиваться максимального одностороннего преимущества, это создаст предпосылки для психологического противостояния между вооруженными силами и разведслужбами такого размаха, с которым человечество еще не сталкивалось. В эти последние годы, месяцы, а возможно и дни, перед рождением первого сверхинтеллекта человечество станет свидетелем беспрецедентной дилеммы безопасности. Первым рациональным импульсом любого носителя подобного разума станет стремление гарантировать себе абсолютное и исключительное право на существование. Однако неизбежно возникнет парадокс: каждый такой субъект будет предполагать, что его соперники и конкуренты, столкнувшись с той же неопределенностью и сопоставимыми рисками, составляют аналогичные планы.
Даже если доминирующая держава воздержится от открытой войны, сверхразумный ИИ может саботировать, подрывать и блокировать программы противников. Например, ИИ позволяет создавать компьютерные вирусы, значительно более мощные, чем существующие, и при этом абсолютно незаметные. Подобно червю Stuxnet – кибероружию, которое, как утверждается, вывело из строя пятую часть иранских центрифуг[86], пока его не обнаружили, – агент ИИ может тормозить научные проекты враждебных государств, направляя ученых по ложному пути и скрывая следы своего вмешательства[87].
Обладая уникальной способностью манипулировать уязвимыми сторонами массового сознания, ИИ может полностью подчинить медиасистему враждебного государства. Ему под силу сгенерировать такой объем тревожной синтетической дезинформации, что это поднимет волну протестов против развития национальных программ ИИ в этой стране. Другая тактика – точечные психологические удары по конкретным ученым. Например, через персонализированные сообщения можно спровоцировать у ведущего специалиста по ИИ тяжелое эмоциональное потрясение, способное полностью вывести его из равновесия, тем самым надолго лишив его возможности вести научную работу.
Оценивать реальный уровень конкуренции в сфере ИИ станет значительно сложнее. Уже сейчас ведущие модели обучаются в сетях, полностью изолированных от внешних коммуникаций. Многие руководители отрасли прогнозируют: в перспективе разработки ИИ будут сосредоточены в защищенных подземных комплексах с автономными системами энергоснабжения на ядерных реакторах[88]. Уже сегодня дата-центры строятся на дне океана[89]. Следующим шагом может стать их размещение на околоземной орбите. Корпорации и государства будут все чаще «уходить в тень», прекращая публикации исследований в области ИИ: формально – чтобы не помогать злоумышленникам; фактически – чтобы скрыть реальные темпы развития. Некоторые пойдут еще дальше: будут намеренно публиковать ложные исследования, используя ИИ для фабрикования правдоподобных подделок и маскируя таким образом подлинную картину достижений.
Истории известны примеры подобного научного обмана. В 1942 году советский физик Георгий Флеров абсолютно верно предположил, что США создают атомную бомбу, когда заметил, что американские и британские ученые перестали публиковать работы по расщеплению атома[90]. Однако в наши дни такая гонка была бы куда менее непредсказуемой – слишком сложно оценивать ход развития в столь абстрактной сфере, как ИИ; слишком размыты все показатели. Многие ошибочно считают, что «преимущество» определяется исключительно размером моделей ИИ. Но крупная модель не всегда эффективнее в конкретных задачах и может проиграть массовому применению более простых систем. Компактные и узкоспециализированные системы ИИ могут действовать подобно рою дронов против авианосца: не уничтожая цель, но выводя из строя ключевые функции.
Отдельные участники технологической гонки склонны воспринимать частные достижения как свидетельство общего превосходства. Однако это заблуждение: ИИ является не монолитной технологией, а многообразным процессом машинного обучения, реализуемым в разных форматах. Следовательно, факторы успеха в одной области могут кардинально отличаться от условий достижения результатов в другой. В этом контексте критерии оценки «технологического лидерства» постоянно теряют свою актуальность.
Более того, скачкообразный рост возможностей ИИ в последние годы наглядно показал, что развитие идет не по прямой и не поддается точному прогнозированию. Ученые до сих пор не пришли к единому мнению о природе сверхразума: можно ли его получить, просто наращивая существующие системы, или потребуются принципиально новые открытия?[91] Возможно, переход от узкоспециализированного ИИ к общему, а затем к сверхразуму может произойти незаметно, особенно если человечество не выработает четких критериев оценки. Даже временное лидерство одного участника гонки (исчисляемое годами или месяцами) может быть мгновенно перечеркнуто внезапным прорывом в технологии или исследованиях у конкурентов.
В мире, где лидеры не могут доверять ни даже самым надежным разведданным, ни собственной интуиции, ни самой реальности, любая держава, претендующая на успехи в разработке сверхразума, неизбежно скатится к паранойе. Уже сейчас государственные стратеги принимают решения, исходя из уверенности, что их замыслы отслеживаются противником, а критически важная информация искусно фальсифицируется. Если исходить из наихудшего сценария, единственно разумной стратегией становится ставка на скорость и секретность в ущерб безопасности. Когда человеческое сознание оказывается беззащитным перед манипулятивными возможностями ИИ, политические лидеры приходят к тревожному пониманию: в этой гонке не бывает проигравших – только уничтоженные. Именно этот экзистенциальный страх толкает их к опережающему развертыванию систем ИИ, превращая технологии в инструмент стратегического сдерживания.
Сегодня мы пребываем в состоянии вынужденной неопределенности. Победители в гонке за доминирование в сфере ИИ (если здесь вообще применимо понятие «победа») пока неизвестны. Каждая компания, претендующая на лидерство, автоматически воспринимается как потенциальная угроза для всех остальных. Такая неопределенность неизбежно расшатывает любое равновесие.
Исторически сложилось, что возвышение новых держав неизменно сопровождалось кровавыми конфликтами, пока не достигался хрупкий баланс сил. Однако в современную эпоху с ее ядерным оружием и стремительными трансформациями под влиянием ИИ традиционные механизмы подтверждения статуса через военную мощь могут утратить свою эффективность.
Если победитель в этой гонке все же определится, обычное соперничество может перерасти в отчаянную схватку, движимую страхом. И ясность в этом случае станет опаснее неопределенности. Когда безупречная защита сочетается с максимальной скоростью и предельной точностью – открывается путь к мировому господству. Но, как показывает история, любые попытки сосредоточить абсолютную власть в одних руках лишь провоцируют других на создание все более опасных технологий. В условиях шаткого мирового равновесия некоторые государства могут посчитать прогресс в сфере ИИ настолько угрожающим, что примут решение ответить ядерным ударом. Если ИИ сделал бессмысленными обычные войны, не станет ли он причиной возврата к ядерной угрозе?
В прошлых гонках вооружений наш природный инстинкт самосохранения, помноженный на конкуренцию в среде изобретателей, позволял создавать и эффективно использовать системы защиты национальной безопасности. Оборонные системы ИИ
