Тоталитаризм: вся власть алгоритмам?
Дискуссии об этике и политике новой компьютерной сети часто фокусируются на судьбе демократий. Авторитарные и тоталитарные режимы упоминаются разве что как мрачный итог, которого достигнет человечество, если не научится разумно управлять компьютерной сетью. Однако в 2024 году более половины человечества живет в условиях авторитарных или тоталитарных режимов. Чтобы осознать влияние ИИ и алгоритмов на человечество, нужно понимать, как они повлияют не только на демократии, но и на диктатуры.
Технологии ХХ века способствовали развитию как масштабной демократии, так и масштабного тоталитаризма, но тоталитаризму приходилось сложнее. Телеграф, телефон и радио и прочие новшества помогали централизовать информацию, но не могли обрабатывать ее и принимать решения за людей. И чем больше информации стекалось в центр, тем труднее было ее анализировать. Диктаторы часто совершали дорого обходившиеся ошибки, а надежных механизмов для их выявления и исправления не было. Демократический принцип распределения информации и полномочий по принятию решений работал лучше.
Однако ИИ способен изменить технологический баланс сил в пользу тоталитаризма. Ведь если перенасыщение данными людей приводит к перегрузке и ошибкам, то перенасыщение данными ИИ повышает его эффективность. Стремление концентрировать всю информацию и власть в одном центре может дать решающее преимущество в эпоху ИИ. Кроме того, ИИ позволяет создавать системы тотальной слежки, которые сделают сопротивление режиму почти невозможным.
Тюрьма для ботов
И все же у авторитарных и тоталитарных режимов есть свои поводы для опасений. Основа любой деспотической информационной сети – террор, но компьютеры не боятся ни тюрьмы, ни казни. Как наказать чат-бота, который критикует режим или непристойно шутит над диктатором? Да, можно заблокировать его и попытаться найти и наказать его создателей, но это куда сложнее, чем наказывать пользователей-людей.
Что произойдет, если миллионы ботов будут генерировать контент и вступать в дискуссии, обучаясь и развиваясь самостоятельно? Эти боты могут быть целенаправленно запрограммированы для распространения оппозиционных взглядов, или же сами постепенно сформируют у себя такие взгляды, просто собирая информацию и выявляя закономерности.
Это опять же проблема согласования. Можно попытаться создать послушный режиму ИИ, но поскольку ИИ обучается самостоятельно, нет гарантий, что он не выйдет из-под контроля. Тоталитарные сети часто полагаются на двоемыслие, но как обучить двоемыслию чат-бота, чтобы он не указывал на противоречия между конституцией и реальностью? Наконец, когда диктатор совершает катастрофическую ошибку, в ее последствиях он винит других. Люди учатся «забывать» факты, чтобы не навлечь на себя неприятности, но как научить этому чат-бота?
Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты начинают писать неприемлемые вещи. Но поскольку демократии серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу и относительно высок уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты будут гораздо более серьезной проблемой для тоталитарных режимов, у которых в шкафах целые кладбища и которые не терпят абсолютно никакой критики.
Алгоритмический переворот
В долгосрочной перспективе, по мнению автора, алгоритмы могут даже получить контроль над тоталитарными режимами. Наибольшую угрозу для автократов всегда представляли их подчиненные, которые могли их свергнуть или превратить в марионеток. В XXI веке автократ рискует стать марионеткой компьютеров, если наделит их слишком большими полномочиями.
Автор предлагает мысленный эксперимент. Алгоритм безопасности сообщает Великому Лидеру, что проанализировал данные и выяснил: министр обороны готовит переворот и уже через час заговорщики придут убить Великого Лидера. Алгоритм готов немедленно уничтожить предателя и настаивает, чтобы ему дали такую команду. Наделив алгоритм такой властью, Великий Лидер загнал себя в тупик. Если он не доверится алгоритму, то может погибнуть, а если доверится, то станет его марионеткой.
Исследования показывают, что алгоритмы уже способны манипулировать людьми. Если они разовьют эти способности, то диктатуры окажутся гораздо более уязвимыми к алгоритмическому госперевороту, чем демократии с их децентрализованной структурой. Даже если ИИ научится манипулировать президентом США, он столкнется с противодействием Конгресса, Верховного суда, СМИ, корпораций и других институтов. Захватить власть в системе с высокой централизацией намного проще: тот, кто контролирует доступ к автократу, может контролировать и все государство. Так, например, римский император Тиберий стал марионеткой Луция Элия Сеяна, командующего преторианской гвардией: Сеян просто получил контроль над всей информацией, поступавшей к императору, а самого Тиберия изолировал на Капри под предлогом безопасности.
Дилемма диктатора
Нынешние системы ИИ пока не способны захватывать власть, но тоталитарным режимам угрожает сам факт чрезмерного доверия алгоритмам, поскольку такие режимы стоят на том, что партия и лидер всегда правы, и не создают сильные механизмы самокоррекции.
До сих пор тоталитарные режимы полагались на человеческие партии и лидеров-людей, но в XXI веке они ждут безошибочного ИИ. Системы, верившие в совершенный гений Муссолини или Чаушеску, готовы поверить и в безупречность компьютера. Это может иметь серьезные последствия не только для самого режима – например, если алгоритм, отвечающий за экологическую политику, допустит катастрофическую ошибку, а в системе не будет механизмов самокоррекции, чтобы ее исправить.
Диктаторы и сами всегда страдали из-за слабых механизмов самокоррекции, и им всегда угрожали влиятельные подчиненные. Развитие ИИ может усугубить эти проблемы. Компьютерная сеть ставит диктатора перед сложной дилеммой. Если диктатор решит вырваться из лап подчиненных-людей и довериться технологии, то может стать ее марионеткой. А если решит создать человеческий институт для контроля над ИИ, то такой институт ограничит и власть диктатора.
Если всего пара диктаторов предпочтут довериться ИИ, это может привести к катастрофическим последствиям для всего человечества. Сценарии научной фантастики, в которых ИИ порабощает людей, обычно разворачиваются в условиях демократий. Но самое слабое место в защите человечества от ИИ, по мнению автора, – это диктаторы. Самый простой способ захватить власть для ИИ – втереться в доверие к правящему параноику.
Автор отмечает, что это не пророчество, а лишь возможный сценарий, и напоминает о том, что в ХХ веке диктатурам и демократиям удалось сообща сдержать ядерную гонку. В 1955 году в манифесте Рассела – Эйнштейна выдающиеся мыслители призвали лидеров всех стран сотрудничать ради предотвращения ядерной войны: «Мы обращаемся как люди к людям: вспомните о своей принадлежности к человеческому роду и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если нет, вы окажетесь перед риском всеобщей гибели». Эти слова, по мнению автора, справедливы и в случае с ИИ. Диктаторам не стоит рассчитывать, что ИИ обязательно изменит баланс сил в их пользу; он может просто отнять у них власть.
Глава 11Кремниевый занавес: глобальная империя или глобальный раскол?
Компьютеры пока еще недостаточно мощны, чтобы полностью выйти из-под контроля и уничтожить человеческую цивилизацию. Если человечество сумеет объединиться, то сможет создать институты для контроля ИИ. Но человечество никогда не было единым. Развитие ИИ представляет угрозу существованию человечества не из-за злонамеренности компьютеров, а из-за собственных недостатков людей.
Диктатор-параноик может наделить ИИ неограниченными полномочиями, включая право наносить ядерные удары. Террористы могут использовать ИИ, чтобы спровоцировать глобальную пандемию. Если ИИ синтезирует новый вирус, смертоносный, как Эбола, заразный, как COVID-19, и действующий медленно, как ВИЧ, то к тому времени, как начнут умирать первые жертвы и мир узнает об опасности, большинство людей уже будут заражены.
Человечеству угрожает еще и социальное оружие массового поражения. Какая-то страна может разработать ИИ для распространения фейков в других странах, чтобы подорвать доверие их жителей к чему бы то ни было.
Отдельные государства могут ответственно регулировать ИИ, пресекая действия злоумышленников и сдерживая амбиции правителей и фанатиков. Но проблема ИИ – это глобальная проблема, и внутренние законы не защитят страну от наихудших последствий ИИ-революции. Чтобы разобраться в новой компьютерной политике, недостаточно изучить возможные действия отдельных стран; нужно понять, как ИИ изменит отношения между странами на глобальном уровне.
Помимо апокалиптических сценариев, компьютеры представляют для международной системы две главные проблемы. Во-первых, поскольку они упрощают концентрацию информации и власти в одном центре, человечество может вступить в эпоху новых империй. Многие государства в этом случае снова превратятся в колонии.
Во-вторых, между цифровыми империями может опуститься кремниевый занавес. Поскольку каждый режим по-своему решает проблему согласования, дилемму диктатора и другие технологические вопросы, могут сформироваться совершенно разные компьютерные сети, которым будет все труднее взаимодействовать.
Такие события могут привести к трагическому финалу. У человечества, разделенного на враждебные лагеря, мало шансов избежать разрушительных войн или предотвратить климатическую катастрофу.
Рождение цифровых империй
В начале XIX века движущей силой промышленной революции стал частный бизнес, однако уже к середине XIX века правительства ведущих держав осознали геополитический потенциал новых технологий. Но большинство государств не успели вовремя включиться в индустриальную гонку и оказались под властью той или иной промышленной державы. Может ли нечто подобное произойти и в случае с ИИ?
В начале XXI века гонку ИИ тоже возглавили частные корпорации, а политики разглядели потенциал новых технологий не сразу. Первый поворотный момент наступил в 2012 году, когда нейросеть AlexNet научилась распознавать изображения кошек почти так же точно, как люди. Это привлекло внимание общества к ИИ, а правительства задумались о внедрении технологий распознавания образов. Второй поворотный момент наступил в 2016 году, когда программа AlphaGo обыграла чемпиона мира по го. Считается, что именно тогда китайское правительство осознало, что началась эра ИИ.
В 2017–2019 годах о важности ИИ заговорили многие лидеры, включая Владимира Путина, Нарендру Моди и Дональда Трампа. На тот момент США уже лидировали в гонке ИИ во многом благодаря усилиям частного бизнеса. Но то, что начиналось как гонка корпораций, превратилось в состязание правительств – точнее, команд, состоящих из правительств и корпораций. Приз победителю – мировое господство.
Информационный колониализм
В XVI веке глобальные империи строились при помощи парусников, лошадей и пороха. В XIX и XX веках колонизаторы полагались на пароходы, локомотивы и пулеметы. В XXI веке для господства над колонией достаточно извлекать данные. Пара-тройка корпораций или правительств, собирающих данные со всего мира, способны превратить остальную часть земного шара в информационные колонии.
Контроль над данными и алгоритмами обеспечит новым империям контроль над вниманием людей. В 2010-х годах техногиганты в погоне за прибылью ненамеренно повлияли на политику Мьянмы и Бразилии; будущие цифровые империи могут делать нечто подобное в своих политических интересах. Из-за опасений по поводу информационного колониализма многие страны уже блокируют зарубежные приложения, которые считают опасными.
Информационный колониализм может проявиться и в распространении систем социального рейтинга, оценивающих граждан разных стран. Эти оценки будут влиять на многое, от покупки авиабилетов до трудоустройства. Точно так же, как люди используют глобальные рейтинги Tripadvisor для оценки ресторанов даже в родном городе, они могут начать использовать китайский или американский социальный рейтинг в локальных взаимодействиях.
Превращение в информационную колонию будет иметь политические и социальные последствия. Сама природа информационной экономики может усугубить дисбаланс между метрополией и колонией. В прошлом главными активами были земля, заводы, электростанции и нефтяные скважины, и это ограничивало концентрацию богатства в одном месте. Но когда ключевым активом становится информация, картина меняется. Сегодня главным активом текстильной отрасли стали не хлопковые поля и фабрики, а данные о предпочтениях покупателей и модных трендах. Владея такой информацией, техногиганты вроде Amazon и Alibaba могут монополизировать текстильную отрасль.
Когда ИИ, роботы и 3D-принтеры автоматизируют производство, миллионы людей могут потерять работу, что ударит по национальным экономикам и изменит глобальный баланс сил. Сегодня текстильная отрасль обеспечивает занятость 40 % трудоспособного населения Пакистана и приносит 84 % экспортных поступлений Бангладеш. Да, автоматизация создаст новые рабочие места, но переобучение людей требует инвестиций, которые Пакистан и Бангладеш едва ли могут себе позволить.
Таким образом, ИИ и автоматизация представляют особую проблему для бедных стран. Лидеры цифровизации аккумулируют прибыль и могут направить ресурсы на переобучение людей, чтобы получить еще больше прибыли. При этом ценность неквалифицированного труда в отстающих странах снижается, а средств на переподготовку людей у них нет, что ведет к еще большему отставанию. По прогнозам PricewaterhouseCoopers, к 2030 году ИИ принесет мировой экономике 15,7 триллиона долларов. Но при сохранении нынешних тенденций 70 % этих денег осядут в Китае и Северной Америке.
От паутины к коконам
Мир может разделиться на две цифровые империи. Его уже все чаще разделяет кремниевый занавес, который состоит из кода и проходит через каждый смартфон, компьютер и сервер. Код в вашем смартфоне определяет, по какую сторону кремниевого занавеса вы живете, какие алгоритмы управляют вашей жизнью, кто контролирует ваше внимание и куда передаются ваши данные.
Информация все хуже просачивается сквозь кремниевый занавес между Китаем и США или между Россией и Евросоюзом. Стороны все чаще держатся за разные цифровые сети, и каждая действует по своим правилам и преследует свои цели. В Китае цифровые технологии служат укреплению государства и проведению его политики. В США разработкой и внедрением ИИ занимаются в основном частные корпорации, и новые инструменты ИИ призваны обогатить техногигантов, а не укрепить государство или действующую администрацию. Китай значительно преуспел в разработке и внедрении систем социального рейтинга, а также онлайн- и офлайн-слежки. Американские корпорации активно отслеживают действия людей в интернете, но у них мало возможностей для офлайн-наблюдения, а идея социального рейтинга чаще воспринимается с неприязнью.
Каждая сторона использует свое ПО. В Китае заблокированы американские приложения, а в США мало кто пользуется китайскими. Что еще важнее, стороны не зеркалят друг друга. Нельзя сказать, что китайцы и американцы разрабатывают свои версии одних и тех же приложений. У их приложений разные цели, разная цифровая архитектура, и они по-разному влияют на жизнь людей. Эти различия затрагивают значительную часть мира, поскольку большинство стран полагаются на китайское или американское ПО, а не на локальные технологии.
Стороны используют разное оборудование, в частности смартфоны и компьютеры. США принуждают своих партнеров отказываться от китайского оборудования, а также ограничивают экспорт в Китай микросхем и средств для их создания. В долгосрочной перспективе такие ограничения подтолкнут Китай к развитию собственной цифровой сферы, которая будет отличаться от американской даже на микроуровне.
Две цифровые сферы продолжат отдаляться друг от друга. Китайское ПО будет работать только с китайским оборудованием и инфраструктурой, американское – только с американскими. Постепенно это приведет к еще большему разрыву не только в технологиях, но и в культурной, социальной и политической сфере. Технологии долгое время сближали человечество, но теперь они могут его расколоть. Если в последние десятилетия главной метафорой человечества была всемирная паутина, то будущее, возможно, принадлежит коконам.
Глобальный раскол между психикой и телом
Разделение на информационные коконы может привести к развитию принципиально разных культур, идеологий и идентичностей. Автор отмечает, что прогнозировать культурные и идеологические изменения гораздо сложнее, чем изменения в экономике и политике, и все же важно представить себе возможные сценарии.
Один из сценариев заключается в том, что разные цифровые коконы могут использовать взаимоисключающие подходы к базовым вопросам человеческой идентичности. Многие религиозные и культурные конфликты в истории подпитывались спорами о взаимосвязи души и тела, а компьютерная сеть может обострить эту проблему и сделать ее поводом для личных, идеологических и политических конфликтов.
Чтобы показать возможные политические последствия этой проблемы, автор обращается к истории христианства. Ранние христиане в основном придерживались ветхозаветной идеи о том, что люди существуют только в физическом теле и в будущем воскреснут во плоти. Однако позже сформировался дуалистический подход, согласно которому люди состоят из нематериальной души, заключенной в материальное тело. После смерти душа навечно освобождается от тела. Споры о взаимосвязи души и тела не утихали две тысячи лет. Разные подходы к этой проблеме влияли на отношение людей к собственному телу: монахи и отшельники истязали свои тела, пока их души ликовали в религиозном экстазе, а другие христиане, такие как Мартин Лютер, склонялись к тому, что тело вообще не имеет значения – важна только вера.
Древние споры о душе и теле могут показаться неуместными в контексте ИИ-революции, но технологии XXI века возродили эту дискуссию. Какова связь между физическим телом человека и его аккаунтами в интернете? Человек, проводящий бóльшую часть жизни в виртуальной реальности, заслуживает жалости – или одобрения, как освободившийся от порочного мира?
Все острее встает вопрос о том, может ли человек принимать любую виртуальную идентичность, или его идентичность должна быть привязана к биологическому телу. Ответ может иметь далеко идущие последствия. Общество, где идентичность привязана к биологическому телу, должно больше заботиться о материальной инфраструктуре, а общество, которое ориентируется на виртуальные личности, может стремиться к созданию подобия Царства Божьего в киберпространстве, не фокусируясь на материальном.
Споры о взаимосвязи психики и тела могут привести к новым культурным и политическим расколам. Что произойдет, если американская сфера начнет определять людей по их онлайн-идентичности, а также признает личностями инструменты ИИ и понизит значимость экосистемы, в то время как китайская сфера будет придерживаться противоположных позиций? Ждут ли людей конфликты по поводу прав ИИ и двойственной природы аватаров?
Автор признает, что это спекулятивные рассуждения, но допускает, что в будущем компьютерная сеть начнет культивировать новые идентичности, которые сегодня человечеству трудно себе представить. И если мир поделится на два конкурирующих цифровых кокона, идентичности из одного кокона могут быть непонятны обитателям другого.
От войны кодов к горячей войне
Сегодня в ИИ-гонке лидируют Китай и США, но другие страны и блоки могут попытаться создать собственные цифровые сферы с учетом своих традиций. Мир могут поделить не две глобальные империи, а десяток. Неясно, ослабит ли это конкуренцию или только обострит ее.
Но чем острее конкуренция, тем выше угроза вооруженного конфликта. Холодная война между США и СССР не переросла в прямую военную конфронтацию во многом благодаря доктрине гарантированного взаимного уничтожения. Но в эпоху ИИ угроза эскалации выше, потому что кибервойна по своей сути отличается от ядерной войны.
Во-первых, кибероружие универсальнее ядерных бомб. Оно способно выводить из строя электросети, уничтожать секретные научные центры, разжигать политические скандалы и манипулировать выборами. И все это тайно – кибероружие не оставляет в небе грибовидное облако или инверсионный след. Выявить атаку и ее инициатора крайне сложно, а потому соблазн начать кибервойну особенно велик.
Во-вторых, кибервойна непредсказуема. Никто не знает, сработает ли его оружие в нужный момент. Запустятся ли китайские ракеты, или американцы успели взломать их систему управления? Будут ли американские авианосцы действовать по плану или начнут ходить кругами?
Такая неопределенность подрывает доктрину гарантированного взаимного уничтожения. Одна из сторон может решить, что способна нанести первый удар и избежать возмездия. Согласно теории игр, самый опасный момент в гонке вооружений наступает тогда, когда одна из сторон ощущает за собой преимущество и чувствует, как оно ускользает.
Даже если человечество избежит мировой войны, появление новых цифровых империй поставит под угрозу благополучие миллиардов людей. Империи прошлого эксплуатировали и угнетали свои колонии, и цифровые империи едва ли поведут себя лучше. Кроме того, мир, расколотый на империи, вряд ли сможет эффективно сотрудничать для преодоления экологического кризиса или регулирования потенциально опасных технологий.
Глобальные обязательства
Впрочем, сотрудничество остается возможным, пока люди способны обмениваться информацией. Возможно, мы найдем какую-то общую историю, которая нас сблизит. В конце концов, напоминает автор, именно это сделало Homo sapiens доминирующим видом.
Глобальное сотрудничество осложняется ошибочным представлением о том, что оно требует устранения культурных, социальных и политических различий. Популисты заявляют, что, если международное сообщество примет универсальные нормы и ценности, это разрушит независимость и уникальные традиции их стран. Тем самым популисты противопоставляют глобальное сотрудничество и патриотизм.
Но это вовсе не взаимоисключающие понятия. Ради заботы о соотечественниках часто необходимо сотрудничать с иностранцами. Например, пандемию COVID-19 было бы трудно сдержать без глобального сотрудничества. Угроза потери контроля над ИИ – аналогичная ситуация, в которой патриотизм и глобальное сотрудничество должны идти рука об руку.
Глобализм не означает создания глобальной империи или открытия границ для неограниченной миграции. Он означает две простые вещи. Во-первых, соблюдение ряда глобальных правил. Эти правила не отрицают уникальности наций, они лишь регулируют отношения между государствами. Примером глобализма в действии автор называет чемпионат мира по футболу: на этом соревновании люди обычно болеют за сборную своей страны, но в то же время Бразилия не сможет играть с Германией, если бразильцы и немцы не согласятся соблюдать общие правила.
Во-вторых, иногда необходимо ставить долгосрочные интересы всех людей выше краткосрочных интересов немногих. Например, на чемпионате мира по футболу не используют допинг, чтобы не превратить спорт в состязание биохимиков. В других областях, где технологии меняют правила игры, тоже нужно стремиться к балансу национальных и глобальных интересов. Государства продолжат конкурировать в технологической сфере, но иногда им следует договариваться об ограничении разработки и внедрения опасных технологий – не только из альтруизма, но и ради самосохранения.
Человеческий выбор
Для заключения и выполнения глобальных соглашений по ИИ необходимы серьезные перемены в работе международной системы. Регулирование ИИ потребует особого уровня доверия и самодисциплины по двум причинам. Во-первых, лабораторию ИИ спрятать проще, чем ядерный реактор. Во-вторых, инструменты ИИ часто могут использоваться как в гражданских, так и в военных целях. Даже подписав соглашение о запрете автономных систем вооружения, страна может производить такое оружие тайно или маскировать его под гражданскую продукцию. А значит, правительствам и корпорациям будет все труднее доверять друг другу и противостоять соблазну нарушить правила. Способны ли люди достичь необходимого уровня доверия и самодисциплины?
Многие скептически относятся к способности людей меняться, отказываться от насилия и выстраивать прочные глобальные связи. Они полагают, что вся международная система представляет собой вечную борьбу за власть. Это мрачное видение основано на «теории лакировки», согласно которой в глубине души люди – охотники каменного века, живущие в джунглях, где сильный охотится на слабого. Теория гласит, что люди лакируют реальность тонким слоем мифов и ритуалов, но так и не избавились от закона джунглей.
Однако биологические исследования показывают, что закон джунглей сам по себе миф. Настоящие джунгли полны сотрудничества, симбиоза и альтруизма, которые проявляют животные, растения, грибы и бактерии. Если бы организмы отказались от сотрудничества, тропические леса и их обитатели погибли бы. Таков закон джунглей.
Что касается наших предков из каменного века, то четких свидетельств их воинственных наклонностей не имеется. Одни периоды в истории человечества были жестокими, другие относительно мирными. Самая явная закономерность, которую можно проследить в нашей истории, – это растущий масштаб сотрудничества. Когда-то сапиенсы взаимодействовали только на уровне общин и племен, сегодня – на уровне религий, торговых сетей и государств. Государство – продукт сложных процессов укрепления доверия и сотрудничества. Если бы людей интересовала только власть, они никогда не создали бы государства.
Конфликты всегда были возможны, но никогда не были неизбежны. Интенсивность войн зависит от технологических, экономических и культурных факторов, с изменением которых меняются и войны. Ядерные технологии значительно повысили потенциальную цену войны, а переход к экономике знаний снизил потенциальные выгоды от нее. К концу ХХ века ведущие отрасли промышленности опирались на технические навыки и организационные ноу-хау, которые невозможно обрести военным путем. Ряд экономических чудес был совершен побежденными державами и странами, которые избегали войн.
Статистика указывает на сокращение масштабов войн после 1945 года, но еще ярче об этом свидетельствуют госбюджеты. Если на протяжении большей части истории военные расходы были главной статьей бюджета каждой страны, то в начале XXI века в среднем по миру они составляли всего около 7 % госбюджетов, и даже США тратили на поддержание своей военной гегемонии лишь около 13 % бюджета.
Войн стало меньше не благодаря божественному вмешательству или изменению законов природы, а потому, что люди изменили свои законы, мифы и институты и стали принимать более разумные решения. Но тот факт, что это изменение стало результатом человеческого выбора, также означает, что оно обратимо. Сегодня все больше лидеров снова мечтает о военной славе, число вооруженных конфликтов растет, а военные бюджеты раздуваются.
Когда некий лидер верит в беспощадный мир, где люди поедают друг друга, ему остается лишь выбрать, кем быть: хищником или жертвой. При такой постановке вопроса лидер скорее предпочтет войти в историю как хищник. Но таким лидерам автор напоминает, что в эпоху ИИ альфа-хищником, скорее всего, будет ИИ.
Однако в реальности выбор гораздо шире. Многие вещи, которые считаются естественными и вековечными, на самом деле созданы людьми и могут быть изменены. Но само понимание того, что конфликтов можно избежать, не должно вызывать у нас самоуспокоенности. Напротив, это возлагает на человечество большую ответственность. Если человеческую цивилизацию поглотит конфликт, мы не сможем винить ни законы природы, ни технологии. Но при должных усилиях нам по плечу создать лучший мир, и это не наивность, а реализм, считает автор. Все старое когда-то было новым. Единственная постоянная в истории – это перемены.
После выхода книги