Генезис. Искусственный интеллект, надежда и душа человечества - Крейг Манди
Зачем же идти на такой риск? Прежде всего – чтобы избежать гибельной дилеммы: либо взаимное уничтожение конкурирующих систем, либо гегемония зарождающегося сверхразума. Другая причина – защита от новых угроз, становящихся все более явными. С каждым годом и с каждой новой технологической революцией стереть человеческую цивилизацию с лица Земли становится все легче.
Скандинавская мифология повествует о Бальдре, сыне бога Одина и богини Фригг, встревоженных пророчествами о грядущей гибели их сына[97]. Стремясь защитить его жизнь от малейшей угрозы, Фригг объехала все девять миров, наложив заклятья на каждое животное, стихию, растения и даже чуму, чтобы ничто не могло стать оружием против любимого сына. Но коварный бог Локи, приняв облик старухи, выведал у богини, что ее защита не распространяется лишь на безобидную омелу. На пиру, устроенном в честь неуязвимого Бальдра, боги, демонстрируя силу заклятий, по очереди метали в него разное оружие. Тогда Локи подсунул своему слепому брату Хёду стрелу с наконечником из омелы, подговорив его шутки ради выпустить эту стрелу – единственный предмет, оставшийся без спасительного заклятья матери. Пронзив сердце Бальдра, стрела прервала его жизнь в тот же миг.
Смысл этого древнего мифа применительно к нашему времени прост и пугающе ясен: чем изощреннее становятся угрозы, тем надежнее должна быть защита – ведь малейший промах или упущение грозит катастрофой. И достичь такого совершенства, мы, вероятно, сможем только с помощью ИИ.
Таким образом, ключевая задача состоит в том, чтобы определить наименее опасный риск, который следует рассматривать в приоритетном порядке:
• угрозы, связанные с развитием ИИ;
• риски параллельных технологических революций (например, появление синтетической биологии);
• потенциальные катастрофические сценарии, включая радикальные климатические изменения.
Безусловно, менее совершенные системы ИИ могут непреднамеренно способствовать распространению опасных технологий. Даже при безупречном соблюдении регуляторных норм разработчиками в рамках строгого регулирования сохраняется риск, что другие участники процесса проявят халатность, нанеся серьезный ущерб. Однако более развитые машины способны нейтрализовать эти угрозы за счет беспрецедентной точности в принятии защитных решений.
Рассмотрим перспективу индивидуальной биологической защиты: наноботы с ИИ, циркулирующие в кровотоке человека, мгновенно уничтожают любые патогены, не соответствующие утвержденным параметрам данного организма.
Распознанная биосигнатура позволит реагировать на биологические угрозы гибче, чем наши прежние меры. Аналогично ИИ способен проектировать новые материалы и технологии для сокращения выбросов CO2, снижая риск климатических катастроф.
Безусловно, существует риск, что ИИ преждевременно возьмет на себя управление человеческой цивилизацией – той самой, что его породила. Однако полагаться только на то, что люди никогда не ошибаются, может быть еще опаснее. Наша стратегия должна быть простой: ИИ – это инструмент упреждающего противодействия, а не запоздалого реагирования на лавинообразный рост новых угроз[98]. И ключевой вопрос в этом контексте таков: как человечеству продвигать только полезные направления в развитии ИИ, одновременно сдерживая опасные?
Ведь ИИ по сути – это слепая разрушительная сила; его бесконтрольное развитие угрожает в равной степени как его создателям, так и пользователям. Именно это может вынудить даже непримиримых соперников пойти на соглашения, которые в других условиях казались бы немыслимыми. Мы убеждены, что в дипломатии, обороне и, возможно, в других сферах часть рисков, связанных с ИИ, цифровой разум может эффективно контролироваться только им самим. Ящик Пандоры уже распахнут настежь – но даже запертый, он не скрыл бы простой истины: польза ИИ перевешивает все его риски.
Мы убеждены: чтобы выжить в этом «хрупком мире» (по выражению Ника Бострома), человечеству, возможно, придется доверить ИИ управление угрозами, порожденными его же собственным технологическим прогрессом[99]. Остается вопрос: как существовать в будущем, где контроль одновременно необходим – и невозможен?
Новая парадигма войны
На протяжении почти всей своей истории человечество вело войны в ограниченном пространстве, где можно было с достаточной точностью оценить численность и расположение вражеских сил. Эта предсказуемость создавала ощущение некой стабильности и общих правил игры, сдерживая чрезмерную жестокость конфликтов. Когда мудрые правители приходили к согласию о том, по каким законам можно вести войну, только тогда они решали, стоит ли ее начинать.
Скорость и мобильность во все времена оставались ключевыми факторами, определявшими эффективность военной техники. Один из самых ранних примеров – развитие артиллерии. Почти тысячу лет Феодосиевы стены надежно защищали Константинополь от вторжений. Однако в 1452 году венгерский оружейный мастер (Венгрия тогда находилась под византийским сюзеренитетом) предложил императору Константину XI создать «Базилику» – гигантскую пушку, способную уничтожать врагов за стенами города. Но самоуверенный император, не обладая ни средствами, ни дальновидностью, так и не понял, какой переворот несет в себе эта технология, – и отказался.
К несчастью для него, венгерский мастер, не получив поддержки у византийцев, просто сменил покровителя. Он усовершенствовал конструкцию, сделав орудие более подвижным (для его транспортировки требовалось не менее 60 волов и 400 человек), и предложил свое творение противнику императора, турецкому султану Мехмеду II, готовившемуся к осаде неприступной крепости. Завоевав интерес молодого султана обещанием, что эта пушка «разнесет стены самого Вавилона», предприимчивый венгр помог турецким войскам пробить древние стены всего за 55 дней[100].
Отголоски этой драмы XV века прослеживаются вновь и вновь. В XIX веке скорость и мобильность поначалу вознесли Францию, когда «Великая армия» Наполеона покорила Европу; затем помогли Пруссии: Хельмут фон Мольтке Старший и Альбрехт фон Роон, используя недавно появившиеся железные дороги и децентрализованное командование, добились невиданной маневренности войск. Тот же принцип, доведенный до совершенства, лег в основу блицкрига[101], который нацистская Германия с разрушительной эффективностью применила против союзников во Второй мировой войне.
«Молниеносная война» обрела новый смысл и повсеместное распространение в эпоху цифровых технологий. Скорость стала мгновенной. География больше не ограничивает атакующих: теперь не нужно жертвовать мощью удара ради мобильности. Пока преимущество в киберпространстве остается за нападающими, однако с развитием технологий ИИ защитные системы обретут беспрецедентную скорость реагирования, что позволит обороняющейся стороне вести борьбу на равных.
Использование ИИ в классических военных конфликтах приведет к качественному скачку в стратегии и тактике ведения войны. Например, дроны достигнут невиданной скорости и маневренности. Когда ИИ начнет управлять не одним дроном, а целыми армадами, они смогут формировать рои и будут действовать как единый слаженный механизм – с безупречной синхронизацией. Группировки беспилотников смогут мгновенно перестраиваться – от небольших звеньев до крупных соединений – аналогично подразделениям спецназа, где сохраняется
