Компьютерная политика
Глава 9Демократии: способны ли мы по-прежнему поддерживать диалог?
Цивилизации рождаются из союза бюрократии и мифологии. Компьютерная сеть – это бюрократия нового типа, она гораздо могущественнее и безжалостнее любой человеческой. Автор предполагает, что эта сеть создаст и новые межкомпьютерные мифологии, более сложные, чем человеческие мифы. Потенциальные выгоды от этой сети огромны, потенциальная угроза – разрушение человеческой цивилизации.
Предупреждения о крахе цивилизации многим кажутся надуманными. Всякий раз при появлении новых мощных технологий звучат мрачные прогнозы, но люди пока еще живы. Так, промышленная революция, вопреки сценариям конца света, привела к появлению самых богатых обществ в истории. А интеллектуальные машины принесут еще больше пользы, обещают энтузиасты ИИ.
И все же у человечества есть веские причины опасаться новых мощных технологий. Автор предупреждает, что новые технологии часто ведут к катастрофам не потому, что они плохи, а потому, что людям требуется время, чтобы научиться разумно их использовать.
В качестве примера автор приводит промышленную революцию. В XIX веке промышленные технологии перевернули традиционные экономические, социальные и политические структуры и открыли путь к созданию совершенно новых обществ, потенциально более богатых и мирных. Однако для этого потребовалось множество дорого обошедшихся экспериментов и сотни миллионов жертв.
Одним из трагических экспериментов стал современный империализм. Считалось, что индустриальное общество может существовать только в виде империи, поскольку только империя может обеспечить его внешними рынками и сырьем и только империи могут распространять технологические новшества в так называемом неразвитом мире. Прошло более столетия страданий, и большинство людей осознали, что промышленные империи – ужасная идея и что существуют лучшие способы построить индустриальное общество и обеспечить его сырьем и рынками сбыта. Вдобавок к прочим катастрофам промышленная революция подорвала глобальный экологический баланс, вызвав волну вымирания видов. Под угрозой оказалось даже выживание человеческой цивилизации.
Казалось бы, имперские завоевания, мировые войны, геноциды и тоталитарные режимы научили людей не повторять эти ошибки. Кто-то скажет, что к концу XX века человечество стало поступать более или менее правильно. Но даже если так, послание XXI веку безрадостно, считает автор. Если человечеству потребовалось столько ужасных уроков, чтобы научиться управлять паровой энергией и телеграфом, во что обойдется ему обучение управлению биоинженерией и ИИ? Технологии XXI века гораздо более мощные и потенциально гораздо более разрушительные, чем технологии XX века. И у людей меньше прав на ошибку.
Демократический путь
К концу ХХ века стало ясно, что империализм, тоталитаризм и милитаризм – не идеальные способы построения индустриального общества. Либеральная демократия, обладающая сильными механизмами самокоррекции, предложила лучший путь. Но совместима ли либеральная демократия со структурой новых информационных сетей?
Одна из потенциальных угроз заключается в том, что компьютерная сеть разрушит частную жизнь. Если правительство или корпорация будет знать о нас больше, чем мы сами, и контролировать все наши действия, это даст им тотальный контроль над обществом. Однако тот факт, что компьютеры позволяют создать режим тотальной слежки, еще не означает, что такой режим неизбежен. Технологии редко что-либо предопределяют. Так, в 1970-х годах демократические страны обладали технологиями, позволяющими развернуть по примеру диктатур армию тайных агентов и информаторов, но они этого не сделали.
Демократии могут использовать возможности наблюдения в ограниченных масштабах, не вторгаясь в частную жизнь граждан, но обеспечивая качественную медицину и безопасность. Крайне важно при этом, чтобы все понимали базовые принципы, которым должны следовать демократические государства.
Первый принцип – благожелательность. Собирая информацию о людях, сеть должна использовать ее им во благо, а не для манипулирования ими.
Второй принцип – децентрализация. Нельзя допускать концентрации всей информации в одном месте, будь то правительство или частная компания.
Третий принцип – взаимность. Если демократическое государство усиливает контроль за гражданами, оно должно одновременно усилить контроль за правительством и корпорациями.
Четвертый принцип заключается в том, что системы наблюдения всегда должны оставлять возможность как для изменений статуса, так и для отдыха. Сеть не должна ни навязывать людям жесткую кастовую систему, ни пытаться насильно их перевоспитывать.
Поступь демократии
Еще одна угроза заключается в том, что автоматизация дестабилизирует рынок труда, а это, в свою очередь, подорвет демократию. Опасения по поводу того, что автоматизация приведет к массовой безработице, уходят корнями вглубь веков, однако до сих пор они не оправдывались: с исчезновением одних рабочих мест всегда появлялись другие. Маловероятно, что через пару десятилетий все человеческие профессии исчезнут; реальная проблема, по мнению автора, будет заключаться в трудностях адаптации к новым рабочим местам. Поэтому нужно заранее обучать молодежь навыкам, которые пригодятся в будущем. Увы, никто не знает, что это за навыки. Далее автор рассматривает несколько ошибочных, на его взгляд, гипотез о будущем рынка труда.
Первая ошибочная гипотеза заключается в том, что интеллектуальные навыки автоматизировать сложнее, а двигательные проще. Однако пока компьютеру гораздо легче обыграть чемпиона мира по шахматам, чем заменить медсестру или кухонного работника, чья работа требует ловкости и развитой мелкой моторики.
Вторая ошибочная гипотеза состоит в том, что только люди обладают творческими способностями, а значит, автоматизировать творческие задачи будет трудно. Однако в шахматах компьютеры уже гораздо креативнее людей, и в будущем они могут превзойти нас во многих других сферах, от музыки до литературы. Под креативностью часто понимают способность видеть закономерности и нарушать их, а компьютеры выявляют закономерности лучше людей.
Третья ошибочная гипотеза состоит в том, что компьютеры не заменят людей в профессиях, требующих эмоционального интеллекта. Если эмоциональный интеллект – это способность верно распознавать чужие эмоции и оптимально на них реагировать, то компьютеры и здесь могут превзойти людей, ведь эмоции тоже представляют собой некие паттерны. Одно исследование показало, что ChatGPT уже способен описывать эмоции людей в определенных сценариях точнее среднего человека, а в другом исследовании пациенты сочли ChatGPT более эмпатичным по сравнению с врачом-человеком.
Конечно, иногда хочется, чтобы специалист испытывал собственные чувства. Хотя люди-шахматисты безнадежно уступают компьютерам, они не лишились работы и поклонников, потому что нам интересны человеческие эмоции. Но даже если компьютеры никогда не смогут испытывать эмоции, люди будут относиться к ним так, как если бы они могли. Мы стремимся к отношениям с сознательным существом, но если мы уже выстроили отношения с некой сущностью, то склонны наделять ее сознанием.
Сегодня чат-боты и другие инструменты ИИ учатся вызывать у людей чувства и сближаться с ними. Это может побудить общество относиться к компьютерам как к сознательным существам и предоставлять им те же права, что и людям. В США, например, за корпорациями как за субъектами права признаются определенные права и свободы. ИИ тоже смогут становиться субъектами права и получать права и свободы. А значит, даже профессии, связанные с выстраиванием отношений, потенциально могут быть автоматизированы.
В ближайшие десятилетия новые рабочие места будут появляться и исчезать, и людям придется переучиваться не один раз, а много. Автор задается вопросом: если три года высокой безработицы в Веймарской республике привели к власти Гитлера, то во что превратят демократию нескончаемые потрясения на рынке труда?
Самоубийство консерваторов
Часть ответа на этот вопрос автор видит в саморазрушении консервативных партий. Демократическая политика издавна представляла собой диалог консерваторов и прогрессистов. Сторонники прогресса обычно преуменьшают важность традиций и институтов и предлагают создать лучшие социальные структуры с нуля. Консерваторы более осторожны и считают, что социальная реальность слишком сложна, а люди плохо прогнозируют будущее, и потому лучше сохранять статус-кво, даже если это кажется несправедливым. И если какие-то изменения неизбежны, их нужно вносить постепенно.
Однако в последние годы консервативные партии во многих демократических странах были захвачены неконсервативными лидерами и преобразованы в радикальные революционные партии. Они не защищают традиционные институты, а относятся к ним с подозрением, отвергая авторитет ученых и других представителей элит. Они утверждают, что эти институты настолько неэффективны, что просто нет иного выбора, кроме как разрушить их и создать новые с нуля. Но это уже революционная, а не консервативная точка зрения. Такое самоубийство консерваторов вынудило прогрессистов стать хранителями старого порядка и институтов.
Никто не знает, почему так происходит. Возможно, растущие темпы перемен сделали умеренно консервативную программу нереалистичной. Если сохранить существующие традиции и институты невозможно, а революция кажется неизбежной, то единственный способ помешать революции левого толка – спровоцировать революцию правого толка. Именно такая политическая логика в 1920–1930-х годах заставила консервативные силы поддержать фашистские революции в Италии, Германии, Испании и других странах. Но самоубийство консерваторов может быть и результатом беспочвенной истерии. В 1930-е годы не было причин разочаровываться в демократии, как нет причин для этого и сейчас, считает автор. От кризиса и безработицы в 1930-е годы страдала не только Веймарская республика, но и США, однако к власти в США не пришел жестокий тиран. Напротив, Франклин Рузвельт ввел «Новый курс» и укрепил американскую демократию. Политика никогда не была следствием одних только экономических факторов. Веймарская республика рухнула во многом потому, что это была новая демократия, рожденная в условиях поражения и не имеющая сильных институтов и поддержки.
Когда и консерваторы, и прогрессисты сопротивляются соблазну революции и чтят демократические традиции и институты, демократии проявляют значительную гибкость. Механизмы самокоррекции позволяют им справляться с технологическими и экономическими волнами лучше, чем это удается жестким режимам.
Компьютеры еще далеко не полностью раскрыли свой потенциал, и то же можно сказать о людях. Одна из главных трансформаций на рынке труда XX века произошла не благодаря технологиям, а в результате раскрытия неиспользованного потенциала половины человечества. Не требовалось никаких чудес техники, чтобы привлечь на рынок труда женщин, – достаточно было просто отказаться от устаревших мифов.
В ближайшие десятилетия экономика претерпит серьезные потрясения, и гибкость демократий, их сильные механизмы самокоррекции и готовность пересматривать старые мифы будут важнейшими активами. Было бы глупо отказываться от них именно тогда, когда они нужны больше всего, считает автор.
Недоступные пониманию
Но чтобы механизмы самокоррекции помогли что-то исправить, нужно понимать, что именно требует исправления. Если законодатели, журналисты, судьи и прочие граждане не в силах понять, как работает бюрократическая система, они не могут контролировать ее и теряют доверие к ней.
До компьютерного века бюрократия не могла стать абсолютно непостижимой, потому что правила и протоколы создавались людьми. Чиновники бывают жестокими и жадными, но жестокость и жадность – человеческие качества, которые можно предвидеть и которыми можно манипулировать. «Бесчеловечность» бюрократии – это на самом деле отражение человеческих недостатков.
Человеческая природа бюрократии оставляла надежду на выявление и исправление ее ошибок. В качестве примера автор приводит историю о том, как в 1951 году из-за расистских предрассудков чернокожую девочку не приняли в школу «для белых». Ее отец подал иск, который в итоге дошел до Верховного суда США. В 1954 году суд постановил, что разделение школ по расовому признаку противоречит Конституции.
Но что произойдет, если в будущем какой-нибудь алгоритм социального рейтинга откажет ребенку с низким рейтингом в приеме в школу с высоким рейтингом? Компьютеры не лишены предвзятости и создают свои мифы и фиктивные категории. Как выявлять и исправлять такие ошибки?
Это уже не умозрительные вопросы. Автор приводит историю Эрика Лумиса, которого приговорили к шести годам тюрьмы за относительно мелкие правонарушения. При вынесении приговора судья использовал алгоритм COMPAS, разработанный для оценки риска рецидивов. Ни судья, ни Лумис не понимали, как работает этот алгоритм, а компания-разработчик отказалась дать разъяснения, сославшись на коммерческую тайну. Впоследствии выяснилось, что COMPAS мог почерпнуть предвзятость из массива данных, на котором он обучался. Однако в 2016 году апелляция Лумиса была отклонена.
С тех пор появились гораздо более сложные алгоритмы, и сегодня граждане многих стран получают тюремные сроки отчасти на основании их рекомендаций. При этом ни судьи, ни обвиняемые не понимают, как работают эти алгоритмы. И тюремные сроки – это только вершина айсберга.
Право на объяснение
По мере того как все больше решений в отношении людей принимают компьютеры, демократические механизмы самокоррекции разрушаются, а с ними исчезают прозрачность и подотчетность. Растет потребность в закреплении нового права человека – права на объяснение. Общий регламент по защите данных, вступивший в силу в Евросоюзе в 2018 году, гласит, что если алгоритм принимает решение в отношении человека, то человек вправе получить объяснение и оспорить решение в органах власти с участием людей. В идеале это должно нивелировать предвзятость алгоритмов и помочь механизмам самокоррекции выявлять и исправлять ошибки компьютеров.
Но возможно ли реализовать это право на практике? Даже эксперты в области ИИ признаются, что часто уже не могут объяснить, как алгоритмы принимают решения. Автор приводит мнение Мустафы Сулеймана – основателя компании DeepMind, разработавшей программу AlphaGo: «Многие технологии и системы становятся настолько сложными, что ни один человек не в состоянии их понять… Разработчики не могут заглянуть под капот и объяснить в деталях, что привело к тому или иному результату. GPT-4, AlphaGo и тому подобное – это черные ящики, их выводы и решения основаны на непрозрачных и невероятно сложных цепочках мельчайших сигналов». Играя в го против чемпиона мира Ли Седоля, AlphaGo сделала странный и на первый взгляд ошибочный ход, который в итоге привел ее к победе. Но даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы этого сделать.
Когда все больше важных решений принимается в «черном ящике», а люди не могут понять их и оспорить, демократия перестает функционировать. Растущая непостижимость информационной сети стала одной из причин подъема популизма и харизматичных лидеров. Будучи не в силах разобраться в потоках информации, люди верят в теории заговора и обращаются за спасением к тому, кого понимают: к человеку. Но ни один человек не может в одиночку выяснить, как работают современные алгоритмы и справедливы ли их решения, ведь алгоритмы обрабатывают огромные массивы данных. Люди, сталкиваясь с проблемой, склонны искать для выбора решения какой-то один аргумент и игнорировать все прочие. Когда кто-то приводит сразу множество аргументов, это вызывает подозрения. Если друг не пришел на вашу свадьбу и объяснил это тем, что навещал маму в больнице, вы ему верите. Но если он перечислит сразу пятьдесят причин, возникнут сомнения в его честности.
Люди не составляют в уме список факторов, не придают каждому из них определенный вес, не суммируют их и не делают вывод на основании расчетов. Но именно так действуют алгоритмы. Автор рассматривает гипотетический пример, когда банковский алгоритм отказывает в выдаче кредита на основании тысячи показателей, включая модель смартфона, с которого делалась заявка, и уровень заряда его батареи.
Такой способ принятия решений обладает потенциальными преимуществами, ведь всегда полезно учитывать все релевантные факторы. Конечно, возникает вопрос: кто решает, считать ли релевантными факторами модель смартфона или цвет кожи? Но как бы люди ни определяли релевантность, способность учитывать большее количество данных будет скорее преимуществом. Человеческая предвзятость во многом проистекает из того, что люди фокусируются только на одном-двух факторах. Именно поэтому банки и другие институты все чаще полагаются на алгоритмы.
Но все усложняется, когда дело доходит до объяснений. Как человеку проанализировать и оценить решение, принятое на основе огромного количества данных? Для этого нужно не только держать их в голове, но и понимать, каким образом алгоритм выявил закономерности и ранжировал факторы. Автор не верит в способность отдельного человека справиться с такой задачей, но возлагает надежду на группы экспертов, которые, вооружившись собственными инструментами ИИ, смогут оценить справедливость решений алгоритмов даже более надежно, чем кто-либо мог бы оценить справедливость человеческих решений. Ведь на человеческие решения многие факторы влияют на подсознательном уровне, и их почти невозможно выявить. Судья может вынести суровый приговор не только на основании справедливых доводов, но и потому, что он голоден.
В случае с судьями из плоти и крови проблему пока решить невозможно. А когда решение принимает алгоритм, эксперты теоретически могут изучить все учтенные им факторы и их веса. Именно так уже был проверен на предвзятость алгоритм COMPAS. К проверке алгоритмов можно подключить не только людей, но и компьютеры. Вполне можно поручить одному алгоритму проверять другой. А чтобы обеспечить надежность проверяющего алгоритма, придется поддерживать бюрократические институты, которые будут проводить аудит алгоритмов. Без таких институтов не будут выполняться законы, дающие людям право на объяснение.
«Нырок»
По мере того как компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, глубинная структура власти продолжит меняться, и для выживания демократиям потребуются не только особые институты, но и творцы, способные доступно и занимательно объяснить новые структуры. Например, так, как это было сделано в эпизоде «Нырок» научно-фантастического сериала «Черное зеркало».
Женщина по имени Лейси живет с братом, но мечтает переехать. Чтобы получить скидку на жилье, ей нужно повысить свой социальный рейтинг. Для этого Лейси возобновляет контакты с подругой детства, у которой высокий рейтинг. Но по дороге на свадьбу к подруге она проливает кофе на «высокорейтинговую» женщину, из-за чего ее собственный рейтинг понижается. В результате ей не удается сесть на самолет, и дальше все идет кувырком. Рейтинг Лейси продолжает падать, и в конце концов она оказывается в тюрьме. Эта история – прозорливый анализ того, что происходит, когда компьютерные технологии меняют правила конкуренции за статус.
Автор надеется, что если бюрократы и творческие люди научатся сотрудничать и полагаться на помощь компьютеров, то удастся предотвратить превращение компьютерной сети в абсолютно недоступную пониманию человека. И напоминает: тот факт, что люди могут создать системы социального рейтинга, не означает, что они должны их создавать.
Цифровая анархия
Новая компьютерная сеть может благоволить не только цифровому тоталитаризму, но и цифровой анархии. Децентрализованный характер демократий и их сильные механизмы самокоррекции защищают от тоталитаризма, но затрудняют поддержание порядка. Чтобы нормально функционировать, демократия должна обеспечивать свободную общественную дискуссию и поддерживать минимальный социальный порядок и доверие к институтам. Дискуссии должны вестись по правилам, и должен существовать легитимный механизм принятия решений.
До появления современных информационных технологий ни одному масштабному обществу не удавалось сочетать свободную дискуссию с доверием к институтам, поэтому масштабная демократия была невозможна. Может ли она снова стать нежизнеспособной с появлением новой компьютерной сети? Компьютерная сеть облегчает участие в дискуссии: если в прошлом только СМИ и влиятельные партии решали, чьи голоса прозвучат в публичной сфере, то теперь соцсети сделали дискуссию более открытой. Но в то же время она стала и более анархичной.
К диалогу присоединяются всё новые группы, которые привносят новые мнения и интересы и оспаривают старые правила ведения дискуссии. Демократическая система становится более инклюзивной, однако в краткосрочной перспективе возникает хаос. Если не договориться о правилах, результатом будет анархия, а не демократия.
Особую тревогу у автора вызывает тот факт, что ИИ позволяет подключаться к публичному диалогу не только людям: боты тоже активно участвуют в политических дискуссиях. И если раньше боты лишь распространяли контент, созданный людьми, то новое поколение инструментов ИИ само генерирует миллионы сообщений в соцсетях. При этом исследования показывают, что дезинформации, сгенерированной нейросетью, люди склонны доверять больше, чем дезинформации, написанной людьми.
Алгоритмы не только вступают в дискуссии, но и все чаще дирижируют ими, нарушая правила ведения диалога. Если боты-манипуляторы начнут доминировать в дискуссии, это может привести к сворачиванию демократических дебатов именно тогда, когда люди больше всего в них нуждаются. Такая анархическая сеть не обеспечит ни истины, ни порядка и не сможет существовать долго. А следующим шагом после анархии, по мнению автора, будет установление диктатуры, когда люди согласятся обменять свободу на некоторую определенность.
Запретить ботов
Демократии могут и должны принимать меры по регулированию ИИ и не допускать засорения информационного пространства фейковыми людьми, распространяющими фейковые новости. При этом можно опираться на опыт денежного рынка. С момента появления денег существовала техническая возможность их подделать. Фальшивомонетничество представляет угрозу для финансовой системы, поскольку подрывает доверие людей к деньгам. Однако подделка денег преследуется по закону, и в обращение попадает относительно немного фальшивых купюр, так что доверие людей к деньгам сохраняется.
Столь же решительные меры следует принять для защиты доверия к людям. Философ Дэниел Деннет предлагает правительствам объявить фейковых людей вне закона – так же, как были объявлены вне закона фальшивые деньги. Закон должен запрещать не только дипфейки с реальными людьми, но и любые попытки субъектов, не являющихся людьми, выдать себя за человека. Такие меры не нарушат ничьи права и свободу слова, поскольку у ботов нет прав и свобод.
Это не означает, что нужно запретить всем ботам, алгоритмам и ИИ участвовать в любых дискуссиях. Они могут участвовать во многих дискуссиях при условии, что не выдают себя за людей. Например, ИИ-врач может быть очень полезен, но он не должен притворяться человеком.
Следует также запретить неконтролируемым алгоритмам курировать важные публичные дебаты. Принципы, используемые алгоритмами для принятия решений о том, какие голоса заглушить, а какие усилить, должны проверяться человеческим институтом. И хотя следует проявлять осторожность в отношении цензуры человеческих взглядов, люди могут запретить алгоритмам намеренно распространять возмутительный контент.
Поддерживать демократический диалог никогда не было просто, и все платформы, где он велся, требовали регулирования. Это вдвойне актуально в эпоху, когда инородная форма интеллекта угрожает перехватить инициативу в диалоге.
Будущее демократии
На протяжении большей части истории масштабная демократия была невозможна из-за отсутствия необходимых информационных технологий. Теперь же демократия может оказаться несостоятельной из-за того, что информационные технологии становятся слишком сложными. Невозможно поддерживать публичный диалог, когда в нем участвуют недоступные для понимания алгоритмы, которые отрицают разумные аргументы и разжигают ненависть. Но если демократии и рухнут, то это произойдет не вследствие технологической неизбежности, а из-за неспособности людей разумно регулировать новые технологии.
Информационная сеть в ряде демократических стран уже дает сбой. Демократы и республиканцы в США не могут прийти к согласию даже по элементарным фактам, таким как результаты выборов 2020 года, и с трудом ведут диалог. Сотрудничество двух партий в Конгрессе почти сошло на нет. Аналогичные процессы происходят и в других странах. Когда граждане видят друг в друге скорее врагов, чем политических соперников, демократия несостоятельна.
Почему разрушаются демократические информационные сети? Некоторые видят причину в идеологических разногласиях, однако во многих дисфункциональных демократиях идеологические разрывы не увеличились. Другие пеняют на алгоритмы соцсетей. Они действительно поляризируют общество, но явно есть и другие факторы. Правда в том, что точный ответ не известен. Автор видит в этом примету времени. Информационная сеть стала настолько сложной и настолько опирается на непрозрачные алгоритмические решения и межкомпьютерные сущности, что людям очень трудно ответить даже на самый простой политический вопрос: почему они воюют друг с другом?
Если не разобраться в проблеме и не решить ее, масштабные демократии могут не пережить растущего влияния компьютерных технологий. А если так, что же придет на смену демократии в качестве доминирующей политической системы?