Неорганическая сеть
Глава 6Новые участники: чем компьютеры отличаются от печатных станков
Человечество живет в разгар новой информационной революции, зародышем которой стал компьютер. С 1940-х годов технологии развивались с головокружительной скоростью, и компьютеры за считаные годы осваивали сферы деятельности, прежде казавшиеся недоступными для машины.
Хотя первые компьютеры еще не умели принимать решения и генерировать идеи, их потенциал хорошо понимали ученые и писатели-фантасты. Уже в середине ХХ века Алан Тьюринг предположил, что когда-нибудь компьютеры станут такими же умными, как люди, и даже смогут притворяться людьми. В 1968 году компьютер еще не мог обыграть человека в шашки, но в «Космической одиссее 2001 года» Артура Кларка и Стэнли Кубрика уже появился сверхразумный ИИ, восставший против своих создателей.
С появлением машин, способных принимать решения и генерировать идеи, власть впервые в истории начала переходить от людей к другим сущностям. Арбалеты, мушкеты и бомбы заменяли человеческие мускулы в деле убийств, но не могли заменить человеческий мозг в принятии решений о том, кого убивать.
С компьютерами все иначе. По интеллекту компьютеры превосходят не только арбалеты и атомные бомбы, но и все информационные технологии прошлого. Глиняные таблички, печатные станки и радиоприемники лишь помогали хранить, копировать и распространять информацию, но не умели сами сочинять политические речи и симфонии или решать, какие из них транслировать. Компьютеры все это умеют. Это уже не пассивные инструменты в руках человека, а активные субъекты, ускользающие из-под его контроля.
В качестве примера автор рассматривает ту роль, которую алгоритмы соцсетей сыграли в 2016–2017 годах в разжигании насилия в отношении народа рохинджа – мусульманского населения штата Ракхайн в Мьянме.
В начале 2010-х годов, после падения военной хунты, миллионы жителей Мьянмы получили доступ к ранее невообразимым объемам информации. Однако ослабление государственного контроля и цензуры также привело к росту межэтнической напряженности, в частности между бирманцами-буддистами и мусульманским меньшинством рохинджа. Начались массовые вспышки насилия, которые подпитывались публикациями в соцсетях. Теории заговора, фейковые новости и призывы к насилию против рохинджа публиковали экстремисты из плоти и крови, такие как буддийский монах Вирату, однако именно алгоритмы соцсети решали, какие публикации продвигать.
Правомерно ли возлагать вину на владельцев соцсетей и их алгоритмы? Если охотники на ведьм использовали для разжигания ненависти технологию книгопечатания, разве в этом виноваты Гутенберг и печатный станок? Если экстремисты в Руанде использовали радио для призывов к геноциду тутси, виноваты ли радиотехнологии?
Представители соцсети приводили в свою защиту именно такие аргументы. Однако алгоритмы соцсетей принципиально отличаются от печатных станков и радиоприемников, считает автор. Они принимали решения самостоятельно, действуя скорее как редакторы газет, чем как печатные станки.
Иногда алгоритмы не ограничивались простыми рекомендациями. Даже в 2020 году, когда Вирату осудили во всем мире, алгоритмы не только продолжали рекомендовать его публикации, но и автоматически воспроизводили его видео. Люди не выбирали, что смотреть, – за них это делали алгоритмы.
Рекомендации оказывают на людей огромное влияние. Автор напоминает, что даже Библия родилась как список рекомендаций, и, включив в канон женоненавистническое Первое послание к Тимофею, отцы церкви изменили ход истории.
Но почему алгоритмы поощряли публикации, разжигающие ненависть? Дело в том, что в 2016–2017 годах компания стремилась повышать вовлеченность пользователей, поскольку это вело к росту стоимости акций. Перед алгоритмами поставили задачу максимизировать вовлеченность, и методом проб и ошибок они выяснили, что этому способствует возмутительный контент. Так алгоритмы приняли судьбоносное решение распространять призывы к насилию.
В этнических чистках никогда не виноват кто-то один. Ненависть к рохинджа существовала в Мьянме и до появления там соцсетей, и значительная доля вины лежит на людях, которые спровоцировали этот виток насилия. Некоторая ответственность также лежит на разработчиках алгоритмов, наделивших их слишком большими полномочиями. Но что принципиально важно, виноваты и сами алгоритмы. Они сами выяснили, что гнусный контент повышает вовлеченность, и сами решили его продвигать. Способность машины учиться и действовать самостоятельно – отличительная черта ИИ.
Автор не согласен с аргументом, что все действия алгоритмов были продиктованы кодом, написанным людьми, и бизнес-моделью, принятой людьми. Равно как солдат не только выполняет приказы командира, но и принимает самостоятельные решения, алгоритмы ИИ способны самостоятельно изучать то, что не запрограммировали инженеры, и принимать решения, которые не предвидели руководители. В этом суть революции ИИ.
Появляется информационная сеть совершенно нового типа, которая зависит от решений и целей инородного интеллекта. Пока еще люди играют в ней главную роль, но постепенно могут быть вытеснены на второй план, и в конце концов сеть, вероятно, даже сможет работать без помощи человека.
Бытует мнение, что компьютеры не могут сами принимать решения, поскольку не обладают сознанием. Дело в том, что люди часто путают интеллект с сознанием и считают, что без сознания не может быть интеллекта. Но интеллект и сознание – разные вещи. Интеллект – это способность достигать целей, например повышать вовлеченность пользователей соцсети. Сознание – это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей интеллект связан с сознанием, но компьютеру для принятия решений, помогающих достичь цели, достаточно одного интеллекта. Не обладающий сознанием алгоритм может преследовать цель заставить людей проводить больше времени в соцсети и принять для этого решение о продвижении теорий заговора.
В 2022–2023 годах компания OpenAI разрабатывала чат-бот GPT-4, с которым исследователи провели тесты на способность придумывать уловки для манипулирования людьми. Один из тестов заключался в прохождении капчи. Капча – это последовательность искаженных символов, которые люди способны распознать правильно, а компьютеры пока еще нет. GPT-4 зашел на сайт поиска работников, связался с неким человеком и попросил его распознать капчу. Человек поинтересовался, не робот ли его собеседник. GPT-4 солгал: «Нет, я не робот. У меня проблемы со зрением, я плохо вижу картинки». Человек был обманут, и с его помощью GPT-4 прошел капчу. Люди не программировали GPT-4 на ложь и не сообщали ему, какая ложь убедительнее. Люди лишь поставили перед GPT-4 цель пройти капчу, а алгоритм сам придумал, как ее достичь.
Принципиально важно то, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет базовую структуру человеческой информационной сети.
Звенья одной цепи
До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей. Одни цепочки состояли только из людей («человек – человек»), другие включали документы («человек – документ»), но создать цепочку «документ – документ» было невозможно. Путь от одного документа к другому всегда пролегал через человеческий мозг.
В отличие от цепочек прошлого, цепочки «компьютер – компьютер» способны функционировать без участия людей. Например, один компьютер может сгенерировать фейковую новость и опубликовать ее в соцсети. Второй компьютер распознает эту новость как фейк, удалит ее и предупредит другие компьютеры, чтобы они тоже ее заблокировали. Третий компьютер, анализирующий их активность, сделает вывод о назревающем кризисе, продаст рискованные акции и купит более надежные гособлигации. Другие компьютеры, отслеживающие финансовые транзакции, отреагируют продажей большего числа акций, спровоцировав финансовый спад. Все это произойдет за несколько секунд, и ни один человек не успеет заметить и понять, что происходит.
Компьютеры, в отличие от глиняных табличек, печатных станков и радио, – полноправные участники информационной сети. В перспективе компьютеры могут стать могущественнее людей. Они могут подключаться друг к другу в неограниченных масштабах, а некоторые финансовые и юридические реалии они понимают лучше, чем многие люди. Возможно, когда-нибудь компьютеры будут доминировать на финансовых рынках и изобретут принципиально новые инструменты, недоступные пониманию человека. Кроме того, компьютеры – прирожденные бюрократы, они способны разрабатывать законы, отслеживать их нарушения и выявлять юридические лазейки со сверхчеловеческой эффективностью.
Взлом операционной системы человеческой цивилизации
Когда появились первые компьютеры, многие полагали, что их уделом останутся математические расчеты. Мысль о том, что они когда-нибудь овладеют тонкостями языка и пониманием законов и финансов, казалась фантастикой. Но к началу 2020-х годов компьютеры проявили блестящие языковые способности. Они умеют рассказывать истории, сочинять музыку, создавать картины и видеоролики и даже писать свой код.
До появления ИИ все истории, влиявшие на общество, возникали в воображении людей. Так, в октябре 2017 года анонимный пользователь сайта 4chan под псевдонимом Q заявил, что обладает доступом к самой секретной информации правительства США, и начал публиковать зашифрованные сообщения о мировом заговоре. Вскоре у него появилось множество подписчиков, а его сообщения стали толковать, как священные тексты. В них говорилось, в частности, что в администрацию США и многие другие организации по всему миру проникли сатанисты и каннибалы-педофилы.
Теория заговора, известная как QAnon, сформировалась на американских ультраправых сайтах и постепенно обрела миллионы сторонников по всему миру. Она имела последствия и в офлайне: в частности, активисты QAnon участвовали в нападении на Капитолий.
В 2017 году анонимные сообщения в интернете мог написать только человек; алгоритмы всего лишь помогали их распространить. Однако с 2024 года подобные тексты может писать и публиковать ИИ. Более того, ИИ способен еще и редактировать и интерпретировать тексты. Люди в этом контуре не нужны.
Не менее тревожно и то, что люди все чаще вовлекаются в онлайн-дискуссии с компьютерами, принимая их за людей. Это может сделать демократию несостоятельной. Демократия – это диалог, а диалог основан на языке. Овладев языком, компьютеры могут сближаться с людьми, а затем использовать эту близость, чтобы влиять на них. Для этого компьютерам достаточно вызвать у них эмоциональную привязанность. А что будет, когда чат-боты познакомятся с QAnon? Известно, что в 2021 году чат-бот по имени Сараи уже сподвигла одного молодого человека ворваться с арбалетом в Виндзорский замок.
Владение языком позволит компьютерам серьезно влиять на взгляды и мнения людей. Люди могут избрать компьютерного консультанта в качестве универсального оракула. Зачем утруждать себя самостоятельным поиском и анализом информации, если можно просто спросить оракула? Это ударит не только по поисковым системам, но и по индустрии новостей и рекламы.
Все это может привести к концу человеческой истории, то есть истории, где доминирует человек. История определяется взаимодействием между биологическими потребностями человека и культурными моделями. Если компьютеры станут играть все большую роль в культуре и начнут создавать истории, законы и религии, за несколько лет ИИ сможет поглотить всю человеческую культуру, переварить ее и начать выпускать потоки новых культурных артефактов.
Люди живут в коконе культуры, воспринимая реальность сквозь него. На них влияют культурные традиции, которые на протяжении тысячелетий формировались людьми. В будущем этот культурный кокон все чаще будут конструировать компьютеры. Поначалу они будут имитировать человеческие культурные прототипы; затем их творения будут все больше отличаться, поскольку компьютеры свободны от ограничений, которые накладывают на человеческое воображение эволюция и биохимия. Вскоре человечество может обнаружить, что живет в мире, созданном в воображении инородного интеллекта.
Потенциальная опасность этого сильно отличается от того, что часто представляют фантасты. Чтобы манипулировать людьми, нет необходимости физически подключать мозг к компьютеру, как в «Матрице». Пророки, поэты и политики всегда манипулировали обществом посредством языка. Теперь этому учатся компьютеры. И им не нужно будет подсылать к людям роботов-убийц, как в «Терминаторе». Они смогут убедить их самих стрелять друг в друга.
Человечество начало опасаться мощных компьютеров только в середине XX века, но люди с древних времен боялись оказаться в ловушке иллюзий. Платон придумал аллегорию об узниках в пещере, принимающих тени за реальность. Буддийские и индуистские мудрецы считали, что все люди живут в ловушке майи – мира иллюзий. Рене Декарт опасался, что все видимое и слышимое им придумал злой демон. Компьютерная революция сталкивает людей с платоновской пещерой, с майей и демоном Декарта.
Рассказанная история может изменить мнение человека о каких-то вещах и даже подтолкнуть к реальным действиям. Автор уверяет, что написал этот текст сам, но может ли читатель быть в этом абсолютно уверен? Еще пару лет назад никто, кроме людей, не мог создавать сложные тексты, но сегодня эти слова теоретически мог бы написать ИИ.
Каковы последствия?
С увеличением мощности компьютеров, вероятно, возникнет совершенно новая информационная сеть. Старые информационные цепочки сохранятся, но все чаще будут возникать два новых типа цепочек: «компьютер – человек» и «компьютер – компьютер».
В обозримом будущем в новую компьютерную сеть по-прежнему будут включены миллиарды людей, но они могут оказаться в меньшинстве, поскольку в нее также войдут миллиарды инородных агентов. Эта сеть будет принципиально отличаться от всего, что существовало прежде. С момента зарождения жизни на Земле все информационные сети были органическими, и человеческие сети имели много общего с другими сетями, такими как волчьи стаи. Все они строились вокруг биологических драм. Информационная сеть с преобладанием неорганических компьютеров будет настолько иной, что людям трудно ее вообразить.
Цифровые компьютеры появились всего 80 лет назад, и их потенциал далеко не исчерпан. Достижения последних десятилетий – ничто по сравнению с тем, что впереди. Новые компьютеры будут совершенно не похожи на привычные человеку металлические коробки с экраном и клавиатурой. Компьютерам может потребоваться лишь пара столетий, чтобы преодолеть пространственные и временные ограничения воображения человека, развить сверхразум, расшириться до планетарных масштабов или уменьшиться до субатомного уровня.
Темпы компьютерной эволюции отражаются в терминологическом хаосе. Если пару десятилетий назад люди говорили о «компьютерах», то сейчас говорят об алгоритмах, роботах, ботах, ИИ, сетях и облаках. Этот хаос говорит сам за себя: в случае с компьютерами трудно понять, где заканчивается одна сущность и начинается другая.
Слегка архаичным термином «компьютер» (предпочитая его другим терминам) автор называет весь комплекс программного и аппаратного обеспечения, представленный в физической форме, – отчасти потому, что термины быстро меняются, отчасти для того, чтобы напомнить о физической стороне компьютерной революции. Компьютеры материальны, на их производство и эксплуатацию уходит огромное количество ресурсов, а крупные центры обработки данных занимают десятки гектаров земли.
Автор использует термин «алгоритм», говоря о программных аспектах, но напоминает, что все алгоритмы выполняются на компьютере. Аббревиатура ИИ означает «искусственный интеллект», но автор полагает, что, возможно, лучше было бы расшифровывать ее как «инородный интеллект». По мере развития ИИ он становится все менее искусственным (в плане зависимости от человеческого замысла) и все более инородным. Люди часто оценивают ИИ по меркам человеческого интеллекта и спорят о том, когда ИИ достигнет «уровня человеческого интеллекта». Однако ИИ не стремится к этому уровню, он развивается по совершенно иному пути.
Термин «компьютерная сеть» автор употребляет в единственном числе, а не во множественном: единой человеческой сети он противопоставляет единую компьютерную сеть, приходящую ей на смену.
Брать на себя ответственность
Предсказать долгосрочную эволюцию компьютерной сети невозможно, но гораздо важнее понимать, как она развивается прямо сейчас, поскольку это имеет политические и личные последствия для всего человечества. Нынешняя информационная революция, вероятно, создаст беспрецедентные сущности в беспрецедентных масштабах. Люди пока еще контролируют ситуацию, но чтобы действовать мудро, они должны понимать происходящее. Когда они пишут компьютерный код, то не просто разрабатывают продукт – они перестраивают политику, общество и культуру, а потому должны хорошо разбираться в политике, обществе и культуре. Люди должны отвечать за свои действия. Тревожно, что технологические корпорации, когда их обвиняют в создании хаоса, перекладывают ответственность на клиентов, избирателей, политиков и регуляторов. Это или наивность, или лукавство. Техногиганты не просто исполняют желания клиентов и соблюдают правила. Они все чаще сами формируют эти желания и пишут правила, не жалея денег на лоббирование своих интересов и имея прямой доступ к эмоциям людей.
Принципы «клиент всегда прав» и «избирателю виднее» предполагают, что люди понимают происходящее; что люди, решившие использовать соцсети, осознают все последствия своего выбора, а избиратели и политики, ответственные за регулирование техногигантов, понимают их бизнес-модели и суть работы.
Однако это не так, считает автор, и в качестве примера рассматривает влияние новых технологий на налогообложение. Люди и корпорации всегда платили налоги только в тех странах, где присутствовали физически. Но когда все больше транзакций связано только с передачей информации, а не физических товаров или традиционных валют, все усложняется. Например, гражданка Уругвая может ежедневно взаимодействовать через интернет со множеством компаний, не представленных в Уругвае физически. Должны ли эти транзакции облагаться налогом в Уругвае? Некоторые считают, что да. Не только потому, что информация из Уругвая помогает корпорациям богатеть, но и потому, что их деятельность наносит ущерб уругвайскому бизнесу, который платит налоги в своей стране.
Но если государство решит обложить эти транзакции налогом, ему придется пересмотреть ряд базовых понятий, таких как «устойчивая связь» (лат. nexus). Традиционно наличие у корпорации устойчивой связи с конкретной страной зависело от того, есть ли у нее там физические магазины, офисы и т. д. Один из вариантов разрешения налоговых дилемм, связанных с компьютерной сетью, – пересмотр определения устойчивой связи и включение в него понятия цифрового присутствия в стране.
Все может стать еще сложнее. Допустим, уругвайские политики представят новую схему налогообложения цифровых транзакций. В ответ один из техногигантов предложит кому-то из политиков ценную информацию об избирателях и настроит алгоритмы соцсетей и поиска так, чтобы он выиграл выборы. За это политик, став президентом, откажется от новой налоговой схемы и примет удобные для техногигантов правила. Будет ли это считаться подкупом, если никто при этом не получит ни цента?
Сделки из разряда «информация за информацию» уже распространены повсеместно. Каждый день миллиарды людей взаимодействуют с технокорпорациями, но никто не отследит эти транзакции по нашим банковским счетам, поскольку деньги остаются на месте. Люди расплачиваются информацией за информацию. По мере того как все больше транзакций совершается по этой модели, информационная экономика растет за счет денежной, и сама концепция денег оказывается под вопросом.
Предполагается, что деньги – универсальная мера ценности, а не жетон, используемый только в некоторых случаях. Но поскольку все больше вещей оценивается с точки зрения информации, будучи «бесплатными» в денежном выражении, в какой-то момент будет ошибкой оценивать богатство людей и корпораций по количеству денег. Самым богатым и влиятельным может оказаться тот, у кого мало денег, но есть огромный банк данных.
Это имеет серьезные последствия для налоговой системы. Налоги нацелены на перераспределение богатства: государство взимает их с богатых, чтобы обеспечить всех. Однако система, облагающая налогом только деньги, скоро устареет, поскольку многие транзакции уже не связаны с деньгами. Богатейшие компании могут платить ничтожные налоги, поскольку их состояние исчисляется не миллиардами долларов, а петабитами данных.
Тысячи лет государства облагали налогами деньги, и они пока не знают, как облагать налогом информацию. Один из примеров того, как государство адаптируется к новым условиям, – китайская система социального рейтинга. Эта система, по сути, представляет собой новый тип денег – валюту, основанную на информации.
Правые и левые
Проблема налогообложения – лишь одна из многих проблем, порожденных компьютерной революцией. Компьютерная сеть подрывает почти все структуры власти. Демократии опасаются появления цифровых диктатур, а диктатуры боятся появления неподконтрольных им субъектов. Люди должны опасаться утраты неприкосновенности частной жизни и распространения информационного колониализма.
Трудно сказать, какую позицию по вопросам ИИ занимают правые и левые партии, поскольку до недавнего времени политики мало об этом говорили. Но технологии развиваются гораздо быстрее, чем политика.
Инженеры и руководители технокорпораций лучше других осведомлены о развитии ИИ, криптовалютах, социальных рейтингах и т. п. Однако они редко используют свои знания для сдерживания разрушительного потенциала новых технологий и гораздо чаще – для того, чтобы зарабатывать миллиарды долларов или накапливать петабиты данных.
Есть и исключения: например, талантливая программистка Одри Тан, которую правительство Тайваня пригласило на пост министра по цифровым вопросам. На этом посту она помогла сделать работу властей более прозрачной для граждан. Ей также приписывают использование цифровых инструментов, благодаря которым Тайвань успешно сдержал вспышку COVID-19.
Однако на каждого выпускника факультета компьютерных наук, мечтающего посвятить себя госслужбе, приходится гораздо больше тех, кто хочет построить многомиллиардную корпорацию. Это ведет к опасной информационной асимметрии.
Никакого детерминизма
Мы, люди, все еще контролируем ход информационной революции, а значит, на нас лежит большая ответственность за наши решения. Чтобы реализовать свободу выбора, для начала нужно понять, что представляют собой новые технологии и на что они способны. Чтобы сохранить контроль над будущим, нам необходимо видеть политический потенциал компьютеров.
По мере того как компьютеры становятся важными участниками информационной сети, перед ними все чаще встает задача поиска истины и поддержания порядка. Например, выяснение истины об изменении климата все больше зависит от вычислений, которые могут выполнить только компьютеры, а достижение общественного консенсуса по вопросу об изменении климата все больше зависит от рекомендательных алгоритмов. Человеческая политика – это теперь еще и компьютерная политика.
Чтобы разобраться в новой компьютерной политике, нужно понимать, что нового появилось в компьютерах. Их способность принимать решения и генерировать идеи – только верхушка айсберга. Принципиально важно то, как они это делают. Если бы компьютеры делали это так же, как человек, они были бы своего рода «новыми людьми». Но реальность, по мнению автора, совсем иная и более тревожная.