Неустанная: сеть всегда включена
Люди привыкли к тому, что их дела, мысли, поступки не остаются без внимания других людей. Члены семьи, друзья и соседи всегда хотели знать, что делают и чувствуют их близкие, и близким всегда было небезразлично, какими их видят и что о них знают окружающие их люди. Социальные иерархии, политические маневры и романтические отношения требуют от человека постоянных усилий по расшифровке мыслей и чувств других людей, а иногда и по сокрытию собственных мыслей и чувств.
С появлением и развитием централизованных бюрократических сетей одной из важнейших функций бюрократии стала слежка за населением. Правители, священники и торговцы стремились выведать секреты граждан, чтобы контролировать их и манипулировать ими.
Конечно, наблюдение необходимо и для оказания полезных услуг, таких как обеспечение безопасности. Чтобы узнать о населении больше, бюрократы собирают данные, изучают их и выявляют закономерности. Империи, церкви и корпорации во все времена собирали и анализировали данные о поведении миллионов людей. Однако наблюдение всегда было неполным. В демократических странах слежку ограничивали законы о защите частной жизни и прав личности, в тоталитарных режимах слежке мешали технические ограничения. Некоторая конфиденциальность существовала даже в сталинском СССР и в послевоенной Румынии, где установился режим, подобный сталинскому.
Из-за трудностей в сборе и анализе информации в XX веке ни одно тоталитарное государство не могло эффективно контролировать все население. Бóльшая часть того, что делали и говорили румынские и советские граждане, ускользало от внимания румынской Секуритате и советского КГБ. А многие донесения, попавшие в тайную полицию, так и оставались непрочитанными. Реальная сила Секуритате и КГБ заключалась не в способности постоянно следить за всеми, а в умении внушать страх повсеместной слежки, который заставлял людей проявлять крайнюю осторожность в словах и действиях.
Недремлющие агенты
Агенты Секуритате не сопровождали людей в туалет и в спальню – в отличие от нынешних смартфонов. Сегодня многие действия люди выполняют онлайн, предоставляя сети свои данные. По сути, они стали информаторами, доносящими на самих себя.
Компьютерная сеть не только эффективнее собирает информацию, но и анализирует ее гораздо быстрее любого человека. Сотрудник Секуритате за 40 лет мог бы прочесть около 2,6 млрд слов. В 2024 году алгоритмы способны справиться с такой задачей за пару часов. Фотографии, видео- и аудиозаписи алгоритмы тоже обрабатывают со сверхчеловеческой эффективностью.
Что еще важнее, алгоритмы намного превосходят людей в умении находить закономерности. Выявление закономерностей требует способности генерировать идеи и принимать решения. Чтобы выявить потенциального террориста, люди-аналитики сначала создают набор общих критериев, а затем решают, отвечает ли конкретный человек всем этим критериям в достаточной степени, чтобы вызывать подозрение.
К 2010-м годам люди стали все чаще делегировать принятие решений алгоритмам. Примерно в 2014–2015 годах Агентство национальной безопасности США внедрило инструмент ИИ под названием Skynet, который вносил людей в список потенциальных террористов на основе множества данных и критериев, которые прежде ускользали из поля зрения аналитиков. Skynet подвергался жесткой критике, но к 2020-м годам технология была усовершенствована и внедрена во многих странах.
Разумеется, компьютеры тоже ошибаются. Они вполне могут причислить к террористам невиновных людей. Сомнения вызывает и само определение терроризма: ведь многие режимы объявляли «террористами» всех своих оппонентов. Стало быть, решения ИИ могут отражать идеологическую предвзятость, а не объективные факты. Способность принимать решения и генерировать идеи неотделима от способности ошибаться. Но даже если ошибок удастся избежать, сверхэффективное выявление закономерностей может оказаться на руку диктаторам или мошенникам.
Эта способность алгоритмов имеет и огромный положительный потенциал: алгоритмы позволяют разоблачать коррумпированных чиновников и корпорации, уклоняющиеся от уплаты налогов, помогают диагностировать болезни и выявлять эпидемии. Но автор стремится разбавить утопические представления об алгоритмах, показав их темную сторону.
Цифровые бюрократы способны следить за гражданами повсеместно и круглосуточно. Как рыба живет в воде, так люди живут в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое действие человека оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.
Подкожное наблюдение
Цифровая бюрократия может следить даже за тем, что происходит внутри человеческого тела. Камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах уже способны фиксировать и анализировать малейшие движения глаз пользователя. По этим движениям компьютер отличает моменты концентрации от моментов отвлечения, а людей, фокусирующихся на деталях, – от тех, кто уделяет больше внимания контексту. По глазам компьютеры также могли бы узнать о здоровье, личных особенностях, интересах и предпочтениях человека. Цифровая бюрократия может использовать всю эту информацию в благих целях, например для ранней диагностики заболеваний. Но она также может заложить основу для самых жестоких тоталитарных режимов в истории.
Теоретически диктаторы будущего могли бы использовать свою компьютерную сеть для гораздо более глубоких наблюдений за гражданами. Например, процессы, происходящие в сердце и мозге человека, потенциально могут рассказать о его политических взглядах. Правительства и корпорации уже разрабатывают соответствующие технологии биометрии. В январе 2024 года компания Илона Маска Neuralink впервые имплантировала чип в мозг человеку.
Маск утверждает, что эта технология не только облегчит жизнь людям с различными заболеваниями, но и разовьет человеческие способности в целом и тем самым поможет людям конкурировать с ИИ. Но пока у чипов Neuralink и других биометрических устройств остается множество технических недостатков. Контролировать активность организма извне очень трудно, а имплантация электродов и прочих устройств мониторинга остается сложной, опасной, дорогой и малоэффективной процедурой.
Что еще важнее, никто пока не обладает необходимыми знаниями, чтобы делать выводы, например, о политических взглядах человека на основе данных об активности его мозга. Согласно одной из популярных теорий заговора, некие группировки, возглавляемые миллиардерами вроде Илона Маска, уже внедряют чипы людям в мозг, чтобы следить за ними и контролировать их. Но на самом деле людям следовало бы больше беспокоиться по поводу смартфонов, с которых они читают подобные теории заговора. Чип может отслеживать показатели организма вроде мозговой активности и пульса, тогда как смартфон знает, какие новостные каналы вы предпочитаете. Какие из этих данных полезнее для определения ваших политических взглядов? Сегодня смартфон все еще гораздо более ценный инструмент наблюдения, чем биометрические датчики.
Однако по мере накопления биологических знаний все может измениться. Если сеть научится точно узнавать, что вызывает у каждого гнев, страх или радость, то сможет предугадывать человеческие чувства и манипулировать ими, продавая потребителю все что угодно, будь то продукт, политик или война.
Конец частной жизни
В мире, где за людьми следили люди, нормой была все-таки конфиденциальность. Но в мире, где за людьми следят компьютеры, конфиденциальности может прийти конец. Сегодня нормой становится повсеместное использование инструментов наблюдения на основе ИИ. Эпоха постприватности наступает и в авторитарных странах, и в демократических мегаполисах.
Правительства, стремящиеся бороться с преступностью, подавлять инакомыслие или противостоять внутренним угрозам (реальным или мнимым), окутывают свои страны плотной сетью онлайн- и офлайн-слежения со шпионскими программами, камерами видеонаблюдения, ПО для распознавания лиц и голосов, а также базами данных с возможностью поиска.
Государства регулярно собирают биометрические данные населения. Большинство стран обязывают граждан при подаче заявления на паспорт оставлять отпечатки пальцев, сканы лица или радужной оболочки. При въезде в другие страны от путешественника тоже часто требуют отпечатки пальцев. Когда местные жители и туристы прогуливаются по улицам Дели, Пекина, Сеула или Лондона, их передвижения фиксируют камеры. В 2023 году в мире работало более миллиарда камер видеонаблюдения, то есть примерно по одной камере на каждые восемь человек.
Любые передвижения людей и их действия в интернете оставляют информационный след. Полученный массив данных анализируется с помощью ИИ для выявления незаконных и подозрительных действий, поиска пропавших без вести, обнаружения носителей вирусов или преследования политических диссидентов. Как и любая технология, инструменты ИИ могут использоваться как во благо, так и во вред.
В 2021 году такие инструменты помогли ФБР вычислить участников штурма Капитолия. В 2019 и 2023 годах в Китае с помощью алгоритмов распознавания лиц были найдены люди, похищенные много лет назад, еще в трехлетнем возрасте. В 2019 году датский футбольный клуб «Брондбю» начал использовать технологию распознавания лиц на своем домашнем стадионе для выявления хулиганов.
Хотя в теории подобное использование технологий похвально, возникают опасения по поводу нарушения конфиденциальности и превышения властями своих полномочий. Инструменты, помогающие найти преступников, спасти детей и наказать хулиганов, в нечистых руках могут быть использованы для преследования мирных демонстрантов. В конечном счете технологии наблюдения на базе ИИ могут привести к появлению режимов тотальной слежки и новых видов массовых автоматизированных репрессий.
Пример – преследование женщин в Иране за несоблюдение закона о ношении хиджаба. Если раньше за женщинами следила полиция нравов, то теперь это делают видеокамеры и технологии распознавания лиц. Автоматизированная система высылает предупреждения и налагает штрафы даже без участия людей.
В ближайшие годы, предполагает автор, многие люди будут жить в условиях такой тотальной слежки, по сравнению с которой Румыния времен Чаушеску покажется либертарианской утопией.
Разновидности наблюдения
В XXI веке слежкой занимается не только государство. Ревнивые супруги устанавливают семейную диктатуру, отслеживая переписку в соцсетях и поисковые запросы партнера и даже задействуя для шпионажа встроенные в телефон микрофоны и камеры. Все больше работников из разных сфер оказывается под пристальным наблюдением работодателей. А корпорации следят за клиентами, желая выведать их предпочтения. Исследовательница Шошана Зубофф называет эту коммерческую систему мониторинга «надзорным капитализмом».
В дополнение ко всем этим видам наблюдения «сверху вниз» существуют одноранговые системы, в которых люди постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает глобальную систему, которая отслеживает отели, рестораны, прочие места отдыха – и самих туристов. В 2019 году ею воспользовались 463 млн туристов, которые просмотрели 859 млн отзывов. Именно сами пользователи, а не алгоритмы, решают, стоит ли посетить то или иное заведение. Люди, пообедавшие в ресторане, могут оценить его по шкале от 1 до 5, а также добавить фотографии и отзывы. Алгоритм же просто собирает данные, вычисляет средние оценки, ранжирует по ним рестораны и выставляет результаты на всеобщее обозрение.
Алгоритм ранжирует и пользователей, которые получают баллы за отзывы и фотографии и штрафуются за нарушения. Это одноранговая система наблюдения: все оценивают друг друга. Tripadvisor не нужно вкладываться в камеры, шпионское ПО или сложные биометрические алгоритмы. Почти все данные предоставляют пользователи, и почти всю работу выполняют они же.
Одноранговые сети наблюдения разрушают ощущение приватности у миллионов таксистов, парикмахеров, косметологов и других частных поставщиков услуг. По словам журналистки Линды Кинстлер, если раньше клиент был королем лишь номинально, то теперь он стал настоящим тираном. В прошлом сесть в такси или посетить парикмахерскую означало войти в чье-то частное пространство. Теперь же клиенты берут с собой камеру, микрофон и тысячи потенциальных наблюдателей.
Система социального рейтинга
Одноранговые системы наблюдения обычно агрегируют баллы для выведения общей оценки. Эта «оценочная логика» возведена в абсолют в системе социального рейтинга, где баллы людям начисляются за всё и общая персональная оценка влияет тоже на всё. В последний раз люди придумывали столь грандиозную систему 5000 лет назад, когда были изобретены деньги. Систему социального рейтинга можно рассматривать как новый вид денег.
Деньги – это баллы, которые люди получают за товары и услуги, а затем используют для покупки других товаров и услуг. Сами по себе баллы ничего не стоят (люди не могут питаться деньгами или одеваться в них), но служат показателем человеческих достижений.
Однако денежная система не всеохватна: даже в развитых капиталистических странах всегда оставались уголки, куда не проникали деньги, и всегда существовало много того, что нельзя оценить в деньгах. Сколько стоит улыбка? Сколько заработает человек, навестив свою бабушку?
Для оценки того, чего не купишь за деньги, существует альтернативная, неденежная система, которую называют честью, статусом или репутацией. Система социального рейтинга призвана стандартизировать оценки на рынке репутации. В этой системе свою цену имеют даже улыбки и семейные визиты. Но что произойдет, если распространить принципы денежного рынка на рынок репутации?
Одно из главных различий между деньгами и репутацией заключается в том, что деньги представляют собой строгий математический конструкт, тогда как репутация не поддается точной численной оценке. Торговцы и покупатели на средневековом рынке обычно знали точную цену товаров, но рыцари на средневековом рынке репутации не знали точного количества чести, которую принесут те или иные действия. Эта неопределенность была не ошибкой в системе, а важной особенностью. Считалось, что благородные поступки совершаются из внутренней добродетели, а не ради внешнего вознаграждения. «Расчетливость» была синонимом хитрости и коварства. И эта разница между рынком денег и рынком репутации все еще существует.
Некоторые рассматривают системы социального рейтинга как способ поощрения просоциального поведения, наказания за эгоизм и создания более добрых и гармоничных обществ. Китайское правительство утверждает, что его система социального рейтинга помогает бороться с коррупцией, мошенничеством, недобросовестной рекламой и тем самым укрепляет доверие между людьми, корпорациями и государством. Другие считают подобные системы унизительными и бесчеловечными, уничтожающими приватность и превращающими жизнь в бесконечное собеседование. Система социального рейтинга может превратиться в систему тоталитарного контроля.
Конечно, рынок репутации всегда заставлял людей соответствовать социальным нормам. В большинстве культур люди боятся потерять лицо больше, чем лишиться денег. Однако в силу своей субъективности рынок репутации не мог быть инструментом тоталитарного контроля. Теперь же алгоритмы социального рейтингования в сочетании с технологиями повсеместной слежки угрожают объединить все соревнования за статус в одну бесконечную гонку. Новый рынок репутации может уничтожить конфиденциальность и контролировать людей гораздо жестче, чем рынок денег.
Всегда активны
Люди – органические существа, подчиняющиеся биологическим циклам. После активной деятельности им нужен отдых. Человеческие сети тоже подчиняются этим циклам, их соблюдает даже финансовый рынок. Нью-Йоркская фондовая биржа открыта по будням с 9:30 до 16:00 и закрыта в праздничные дни. Если в 16:01 в пятницу начнется война, рынок не отреагирует на нее до утра понедельника.
Но компьютерная сеть может оставаться включенной постоянно. А значит, компьютеры подталкивают человечество к новому образу жизни, когда люди всегда активны и за ними всегда следят. В некоторых сферах, например в здравоохранении, это может оказаться благом. Но в тоталитарном государстве это обернется катастрофой.
Перерывы крайне важны для отдыха и для исправления ошибок в работе сети. Чем быстрее развивается сеть, тем быстрее накапливаются ошибки и тем труднее людям выявлять их и исправлять. Да, ошибаться способна даже неустанная и вездесущая сеть. Система тотальной слежки может сформировать весьма искаженное представление о мире и людях. Вместо того чтобы узнавать правду о мире и о людях, сеть может создать новый мировой порядок и навязать его человечеству.