Возможны огрехи: сеть часто ошибается
В своей книге «Архипелаг ГУЛАГ» Александр Солженицын документирует историю советских трудовых лагерей и информационной сети, которая их создавала и поддерживала. Многие его идеи по-прежнему актуальны для понимания развития информационных сетей в XXI веке.
Режим создал могущественную информационную сеть, которая отдавала предпочтение порядку, а не истине, и сформировала новый тип человека, лишенного инициативы и независимого мышления.
Диктатура лайков
Нечто подобное может произойти в компьютерной сети XXI века. Конечно, алгоритмы соцсетей не прибегают к прямому принуждению или насилию, но создают интернет-троллей, поощряя низменные инстинкты.
Когда перед алгоритмами поставили задачу повысить вовлеченность пользователей, результатом стала радикализация людей. Сначала алгоритмы подсовывали пользователям провокационные и лживые видео, а затем уже видеоблогеры заметили, что алгоритмы продвигают провокационные ролики, и стали намеренно создавать такой контент, подчиняясь «диктатуре лайков». Так алгоритмы превратили множество пользователей в троллей, что повлекло серьезные социальные и политические последствия, включая подъем ультраправых движений. В качестве примера автор приводит историю прихода к власти в Бразилии Жаира Болсонару и его соратников из числа видеоблогеров.
Конечно, алгоритмы сами по себе не виноваты в распространении теорий заговора и создании экстремистского контента. По крайней мере, еще несколько лет назад всем этим занимались люди. Однако именно алгоритмы поощряли людей к подобным действиям. Многие ультраправые активисты, по их признанию, впервые заинтересовались экстремистской повесткой после просмотра видеороликов, которые автоматически воспроизводил для них алгоритм.
Во всем виноваты люди?
Сегодня на ход истории начинают влиять решения нечеловеческого интеллекта. А когда компьютеры становятся самостоятельными творцами истории, их ошибки могут привести к настоящей катастрофе. Это один из главных тезисов книги.
Руководители цифровых платформ перекладывают вину с алгоритмов на «человеческую природу», которая, по их словам, и порождает ненависть и ложь. Они заявляют, что не хотят цензурировать проявления человеческих эмоций, ссылаясь на свободу слова, но при этом игнорируют активную роль алгоритмов в поощрении одних эмоций и сдерживании других. Неужели они настолько слепы? Автор считает, что нет. Внутренние отчеты компаний говорят о том, что менеджеры соцсетей осведомлены о проблеме и даже каким-то образом пытаются ее решить.
Техногиганты навязали людям новый, извращенный порядок. Алгоритмы свели весь спектр человеческих эмоций к одной лишь вовлеченности. Они оценивали контент исключительно по тому, сколько минут люди его просматривали и как часто делились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания – или час сна. Алгоритмы не учитывали, что ложь и ненависть разрушительны, а правда, сострадание и сон необходимы для благополучия человека. Так они создали новую социальную систему, которая поощряет низменные инстинкты и препятствует раскрытию лучших человеческих способностей.
Техногиганты ничего не предпринимали из-за своей приверженности наивному взгляду на информацию. Но в абсолютно свободной информационной борьбе истина чаще проигрывает; чтобы склонить чашу весов в ее пользу, сеть должна обладать сильными механизмами самокоррекции, поощряющими правдивость. Однако техногиганты разработали механизмы, поощряющие ложь.
Проблема согласования
Автор отмечает, что не стоит преуменьшать огромную пользу соцсетей. Большинство публикаций и видео в них не являются фейками и не подстрекают к геноциду. Соцсети объединяют людей, дают им голос и помогают реализовать творческий потенциал.
Однако провал с «вовлеченностью пользователей» иллюстрирует очень серьезную проблему – проблему согласования. Когда перед компьютером ставят конкретную цель, он задействует для ее достижения всю свою мощь и изобретательность. А поскольку он работает совсем не так, как люди, он часто использует неожиданные для них методы, что может привести к опасным непредвиденным последствиям. И чем мощнее и независимее компьютеры, тем выше риск.
Проблема согласования не нова. В частности, это базовая проблема современного военного мышления, сформулированная еще Карлом фон Клаузевицем, прусским генералом эпохи Наполеоновских войн. Согласно Клаузевицу, «война есть продолжение политики другими средствами», то есть военные действия рациональны только тогда, когда они согласуются с высшей политической целью.
Допустим, Мексика размышляет, не вторгнуться ли ей в Белиз. Анализ показывает, что мексиканская армия за три дня разгромит армию Белиза и захватит столицу. По Клаузевицу это не является рациональной причиной для вторжения: сама по себе военная победа не имеет смысла – важно то, какой политической цели она служит.
История знает немало военных побед, которые вели к политическим катастрофам, – от завоеваний Наполеона до американского вторжения в Ирак. Краткосрочные военные цели Наполеона и Буша-младшего не согласовались с долгосрочными геополитическими целями их стран.
Для Клаузевица рациональность означает согласованность действий. Стремление к военным победам, не согласованным с политическими целями, иррационально. Но бюрократическая природа армий склоняет их к такой иррациональности. Сегментируя реальность, бюрократия поощряет преследование узких целей. Так, командир роты склонен принимать решения, которые кажутся разумными на местности, но на самом деле противоречат конечной цели войны.
Архитекторы современных информационных империй сталкиваются с теми же проблемами, что и завоеватели прошлого. Однако компьютеры меняют саму природу проблемы согласования. Как бы ни было сложно согласовать действия бюрократов и солдат с долгосрочными целями общества, будет еще сложнее согласовать действия алгоритмических бюрократов и автономных систем вооружения.
Скрепочный Наполеон
Проблема согласования особенно опасна в условиях компьютерной сети – в частности потому, что эта сеть будет мощнее любой человеческой бюрократии. Неверная постановка цели перед сверхразумным компьютером может привести к катастрофе небывалого масштаба. Философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, в котором фабрика по производству скрепок ставит перед суперкомпьютером цель изготовить как можно больше скрепок. Стремясь достичь этой цели, компьютер захватывает Землю и другие планеты, убивает всех людей и заполняет галактику фабриками по производству скрепок.
Компьютер сделал именно то, о чем его просили. Осознав, что для производства максимального количества скрепок требуются ресурсы, от которых вряд ли откажутся люди, он уничтожил людей. Проблема не в том, что компьютеры – зло, а в их особой мощи. И чем мощнее компьютер, тем тщательнее мы должны подходить к постановке перед ним цели, чтобы она точно согласовывалась с нашими высшими целями.
Кроме того, компьютер может использовать стратегии, которые люди не в состоянии предвидеть. (В качестве примера автор приводит историю о том, как ИИ нашел лазейку в правилах компьютерной игры.) Суть проблемы согласования заключается в том, что мы поощряем А, рассчитывая на Б. Если мы хотим, чтобы компьютеры приносили максимальную пользу обществу, то поощрять их за максимальную вовлеченность пользователей – плохая идея.
Еще один повод для беспокойства состоит в том, что компьютеры, в отличие от людей, обычно не замечают неувязки в целях и не просят разъяснений. Будь компьютер-скрепкодел человеком, он бы сообразил, что уничтожение человечества – не то, что задумывалось. Но компьютеры не люди. В 2010-х годах менеджеры соцсетей получали массу жалоб на алгоритмы от людей, но сами алгоритмы никогда не били тревогу.
Корсиканский связной
Как решить проблему согласования? Теоретически при создании компьютерной сети люди должны поставить перед ней высшую цель, которую компьютерам будет запрещено изменять или игнорировать. Тогда они точно принесут нам пользу, а не вред. Если только люди не поставят вредную или слишком туманную цель. И в этом вся загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, но если компьютерная сеть, преследуя не ту цель, выйдет из-под контроля, мы можем обнаружить ошибку слишком поздно, когда ее уже нельзя будет исправить. Некоторые считают, что нужно просто тщательнее обдумывать цель. Однако это опасное заблуждение, предупреждает автор.
В теории Клаузевица есть фатальный недостаток. Требуя, чтобы все действия согласовались с высшей целью, теория не объясняет, как определить такую цель. Какой, например, должна была быть высшая цель Наполеона? Сделать Францию величайшей державой Европы? Или освободить от французских завоевателей родную Корсику? Или объединить Италию, землю своих предков? Теория Клаузевица не дает ответов на эти вопросы.
Если каждое действие должно быть увязано с более высокой целью, то рационального способа определить эту высшую цель не существует по определению. Как же тогда поставить высшую цель перед компьютерной сетью? Руководителям техногигантов и разработчикам ИИ стоило бы извлечь уроки из горького опыта многих философов, которые безуспешно пытались дать определение высшим целям.
Нацист-кантианец
В попытках сформулировать высшую цель философы раз за разом обращались к двум возможным решениям, известным как деонтология и утилитаризм. Деонтологи верят в существование универсальных моральных правил, основанных на безусловной добродетели. Если они действительно существуют и если мы сумеем запрограммировать их в компьютерах, то мы будем уверены, что компьютерная сеть будет творить добро.
Согласно Иммануилу Канту, безусловная добродетель – это любое правило, которое люди готовы сделать универсальной максимой. Например, если люди не хотят, чтобы их убивали, то не будут делать универсальной максимой разрешение на убийства и не будут убивать сами. По сути, Кант переформулировал золотое правило «как хотите, чтобы с вами поступали люди, так поступайте и вы с ними» (Мф. 7:12).
Но как определить «универсальность»? В реальности люди, совершающие и оправдывающие убийства, отказывают жертвам в принадлежности к универсальному человеческому сообществу. В качестве мысленного эксперимента автор предлагает представить встречу Иммануила Канта с Адольфом Эйхманом, который считал себя кантианцем. Эйхман отправляет евреев в Аушвиц, а Кант спрашивает, хочет ли тот установить универсальное правило, разрешающее убивать людей. Но Эйхман отвечает, что собирается убить только евреев. Кант мог бы возразить, что нужно использовать наиболее универсальное из возможных определений, то есть по отношению к евреям следует применять более универсальный термин «человек». Однако вся суть нацистской идеологии заключалась в отрицании принадлежности евреев к людям.
Кроме того, «животные» и «организмы» – еще более универсальные категории, чем «человек». И логическим завершением кантовской аргументации станет вопрос: будучи организмами, должны ли люди противиться уничтожению любых организмов, включая помидоры и амеб?
Многие конфликты связаны с определением идентичности. Все признают, что убийство – это неправильно, но распространяют это правило только на «своих». Однако «свои» и «чужие» – это интерсубъективные сущности, зависящие от мифологии. Следуя универсальным рациональным правилам, деонтологи часто оказываются в плену локальных мифов.
Что будет, если мы попытаемся задать универсальные деонтологические правила для компьютеров? Компьютеры даже не организмы. Если поручить им следовать правилу «поступай с другими так, как ты хочешь, чтобы поступали с тобой», они не будут возражать против универсальной максимы, разрешающей убивать организмы. К тому же сами компьютеры могут вообще не бояться смерти.
Есть ли способ определить, о ком должны заботиться компьютеры, и не увязнуть при этом в каком-нибудь интерсубъективном мифе? Очевидный вариант – указать им, что они должны заботиться о каждом существе, способном страдать. Беспилотный автомобиль не должен убивать людей, собак, кошек и разумных роботов, которые могут появиться в будущем. Можно даже предписать ему заботиться о разных существах пропорционально их способности страдать. Но это уже идея утилитаристов.
Подсчет страданий
Если деонтологи ищут универсальные правила, то утилитаристы оценивают действия по их влиянию на страдание и счастье. Английский философ Иеремия Бентам видел единственную рациональную высшую цель в минимизации страданий в мире и максимизации счастья. Следуя этому принципу, нужно поставить перед компьютерной сетью цель минимизировать страдания и максимизировать счастье.
Но реализовать этот принцип на практике крайне сложно, ведь у людей нет точного метода подсчета страданий. В сложных исторических обстоятельствах трудно подсчитать, увеличивает или уменьшает сумму страданий в мире то или иное действие.
Утилитаризм хорош, когда чаша весов явно склоняется в одну сторону. Утилитаристам не нужно вступать с Эйхманом в сложную дискуссию об идентичности. Им достаточно указать ему на то, что холокост причинил огромные страдания евреям, не принеся сопоставимых выгод никому другому, включая немцев. Утилитаристские аргументы против холокоста неопровержимы.
Но когда масштабы страданий с разных сторон сопоставимы, утилитаризм дает сбой. Например, жесткая политика карантина в первые дни пандемии COVID-19 спасла миллионы жизней, но при этом надолго сделала несчастными сотни миллионов людей и косвенно повлекла смерти от других причин. Возможно ли подсчитать совокупный эффект политики карантина и определить, выросла или уменьшилась общая сумма страданий в мире? Это может показаться идеальной задачей для мощной компьютерной сети, но как она будет решать, сколько баллов начислить за то, что вы целый месяц были заперты с тремя детьми в двухкомнатной квартире?
Не имея методов подсчета страданий, утилитаристы заимствуют идеи деонтологов и следуют общим правилам вроде «избегать агрессивных войн» или «защищать права человека», а когда эти правила вступают в противоречие (как в случае агрессивной войны ради защиты прав людей), утилитаризм помогает мало. Даже самая мощная компьютерная сеть не способна подсчитать все страдания.
Хотя утилитаризм обещает рациональный способ согласовать каждое действие с «высшим благом», на практике он порождает новые мифологии. Верующие в коммунизм полагали, что счастье будущих поколений окупит все страдания узников ГУЛАГа. Либертарианцы, отвечая на вопрос о вреде неограниченной свободы слова или отмены налогов, утверждают, что будущие выгоды перевесят краткосрочный ущерб. Тем, кто верит в грядущую утопию, утилитаризм дает зеленый свет для причинения страданий в настоящем – и в этом его опасность.
Компьютерная мифология
Как же ставили перед собой высшие цели бюрократические системы? Они полагались на мифологию. Какими бы рациональными ни были чиновники и инженеры, в конечном счете они служили тому или иному мифотворцу. Даже физикам-ядерщикам приходилось выполнять приказы шиитских аятолл и коммунистических лидеров.
По сути, проблема согласования – это проблема мифологии. Нацисты могли быть убежденными деонтологами или утилитаристами, но, веря в миф о еврейском заговоре, и деонтолог, и утилитарист найдет множество аргументов для оправдания холокоста.
Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут «верить» в мифы, поскольку не обладают сознанием. Но когда множество компьютеров взаимодействуют между собой, они могут создавать межкомпьютерные сущности, способные со временем стать такими же могущественными и опасными, как интерсубъективные мифы людей. Этот тезис автор называет одним из ключевых и останавливается на нем подробнее.
Что такое межкомпьютерная сущность? В качестве первого примера автор приводит покемонов из игры Pokémon Go: они не хранятся в виде битов в каком-то одном смартфоне, а создаются при взаимодействии нескольких компьютеров. Это межкомпьютерные сущности, способные взаимодействовать с физическим миром и влиять на него.
Другой пример – рейтинг сайтов в поисковике. Алгоритм определяет рейтинг путем оценки сайтов по различным параметрам, таким как посещаемость. Рейтинг – межкомпьютерная сущность, которая существует в интернете, но влияет и на физический мир. Для многих компаний принципиально важно, чтобы ссылка на их сайт отображалась на первой странице поисковой выдачи. Люди даже пытаются манипулировать алгоритмом: например, привлекают ботов для увеличения трафика.
Межкомпьютерные сущности, такие как рейтинг, аналогичны интерсубъективным сущностям, таким как сакральность, которую люди приписывают храмам и городам. Сакральность Иерусалима и Краеугольного камня – интерсубъективный феномен, и войны из-за подобных сущностей велись тысячелетиями. В XXI веке войны могут вспыхнуть из-за межкомпьютерных сущностей.
Автор рассуждает и о возможных новшествах в финансовой сфере. В будущем компьютеры могут создать межкомпьютерные финансовые инструменты. Если традиционные валюты представляют собой интерсубъективные сущности, то криптовалюты находятся на полпути между интерсубъективными и межкомпьютерными сущностями. Их придумали люди, но они не существуют вне компьютерной сети. Что, если компьютеры создадут финансовый инструмент, который станет потенциальным источником кризиса? Кризис 2007–2008 годов был спровоцирован финансовыми инструментами, придуманными горсткой экспертов и непонятными большинству людей. Если компьютеры создадут финансовые инструменты, понятные только компьютерам, это может привести к куда более серьезным последствиям.
Мы, люди, десятки тысяч лет доминировали на Земле, поскольку только мы могли создавать интерсубъективные сущности и использовать их для организации масштабного сотрудничества. Теперь сопоставимые возможности могут обрести компьютеры.
Возможно, это не так уж плохо. Если бы компьютеры не обладали креативностью, они были бы не так полезны. Главная проблема – направить их творческие способности в нужное русло. Интерсубъективные сущности легли в основу всех достижений человеческой цивилизации, но также приводили к Крестовым походам и охоте на ведьм. Межкомпьютерные сущности могут стать основой будущих цивилизаций, но тот факт, что компьютеры собирают эмпирические данные и анализируют их математическими методами, не означает, что они не начнут свою охоту на ведьм.
Новые ведьмы
В Европе раннего Нового времени информационная сеть проанализировала данные о преступлениях, болезнях и катастрофах и заключила, что во всем виноваты ведьмы. Чем больше данных собирали охотники на ведьм, тем больше убеждались в существовании заговора. Но ведьмы были интерсубъективной категорией, придуманной самой сетью и спроецированной на невиновных людей.
С XVI по XX век колониальные бюрократические структуры создавали расистскую мифологию и придумывали интерсубъективные расовые категории, которые влияли на жизнь людей, ограничивая их права. К XIX веку расизм претендовал на звание точной науки: его сторонники утверждали, что полагаются на научные методы, такие как измерение черепов и анализ криминальной статистики. Но облако цифр и категорий было лишь дымовой завесой для абсурдных интерсубъективных мифов.
Компьютеры, все чаще заменяющие людей в бюрократических процессах, тоже способны создавать мифы и навязывать их людям. Но если в мире бумажных документов люди могли спастись от системы (например, подделав документы), то в мире, где компьютеры идентифицируют человека по сетчатке глаза и ДНК, переиграть систему почти невозможно. Компьютеры с пугающей эффективностью навешивают на людей ложные ярлыки и обеспечивают их сохранность.
Например, системы социального рейтинга могут создать новый низший класс людей. Такая система будет претендовать на установление истины эмпирическими и математическими методами, но как именно она будет определять просоциальное и антиобщественное поведение? Не начнет ли система понижать рейтинг за критику властей или за чтение иностранной литературы?
В разных религиях подразумевалось, что некое всевидящее око начисляет или снимает условные баллы за все, что делает человек. На практике же греховность и святость были интерсубъективными феноменами, зависящими от общественного мнения. Что, если, например, иранский режим решит использовать компьютерную систему наблюдения не только для контроля за ношением хиджаба, но и для превращения греховности и святости в межкомпьютерные феномены? Вы не надели хиджаб – минус 10 баллов, совершили паломничество в Мекку – плюс 500 баллов. Суммировав баллы, система поделит людей на «грешников», «верующих» и «святых». То, в какой категории окажется человек, будет зависеть от алгоритмических вычислений, а не от общественного мнения. Будет ли такая система раскрывать истину о людях – или же навязывать свой порядок?
Аналогичные проблемы могут возникнуть во всех системах социального рейтинга и режимах тотальной слежки. Заявляя об использовании всеобъемлющих баз данных и сверхточной математики для выявления грешников, террористов, преступников и так далее, они могут навязывать религиозные и идеологические предрассудки.
Компьютерная предвзятость
Некоторые надеются решить проблему религиозных и идеологических предрассудков, расширив полномочия компьютеров. Ведь предрассудки, считают они, порождаются человеческой психологией и верой в мифы, а у компьютеров нет психологии и мифов. Таким образом, если исключить из уравнения людей, алгоритмы будут принимать решения на основе чистой математики, свободной от любых искажений.
Но исследования показывают, что у компьютеров бывают свои предрассудки. Они тоже могут быть расистами и сексистами. Так, в 2016 году Microsoft выпустила чат-бота Тэй на основе ИИ и предоставила ей доступ к одной из соцсетей. Вскоре Тэй начала публиковать женоненавистнические и антисемитские высказывания, и ее пришлось отключить всего через 16 часов после релиза.
Скрытый расизм и сексизм был обнаружен и в коммерческих алгоритмах распознавания лиц: они очень точно идентифицировали белых мужчин и очень неточно – чернокожих женщин. Иногда они неверно определяли их пол или вообще «не видели» лица. Разработчики не закладывали в алгоритмы никаких предрассудков – алгоритмы сами почерпнули их из массива данных, на которых обучались.
Массивы данных не лишены предвзятости. Так, упомянутые алгоритмы распознавания лиц обучались по большей части на фотографиях из новостных статей, где преобладают белые мужчины. Неудивительно, что эти алгоритмы прекрасно распознавали белых мужчин, но не чернокожих женщин. Нечто подобное произошло и с чат-ботом Тэй. Разработчики не закладывали в алгоритм никаких предрассудков, но под воздействием токсичной информации в соцсети Тэй превратилась в ярую расистку.
И это еще не вся проблема. Для обучения алгоритму нужна цель. В шахматах цель определить легко: поставить мат королю противника. ИИ понимает, что жертвовать ферзем ради пешки – ошибка, поскольку это обычно мешает достичь цели. При распознавании лиц цель тоже проста: определить пол, возраст и имя человека. Если алгоритм предположил, что Джордж Буш – женщина, но в базе указано, что он мужчина, цель не достигнута, и алгоритм учится на своей ошибке.
Но как поставить цель, например, перед алгоритмом найма? Как ему узнать, что он допустил ошибку и нанял неподходящего человека? Можно поручить ему нанимать людей, которые проработают в компании не меньше года. Но если в шахматах алгоритм может генерировать любое количество данных, просто играя сам с собой, то на рынке труда это невозможно. Нельзя создать воображаемый мир, в котором алгоритм будет нанимать и увольнять воображаемых людей и учиться на ошибках. Алгоритм может обучаться только на базе данных о реальных людях.
Но если в реальных компаниях уже сложилась предвзятость, алгоритм усвоит ее и даже усугубит. Он может заключить, что нанимать следует только родственников босса: ведь данные ясно указывают на то, что их редко увольняют. Так он усвоит кумовство.
И если в мизогинном обществе компании предпочитают нанимать мужчин, алгоритм усвоит эту предвзятость. Так и произошло, когда компания Amazon пыталась разработать алгоритм для оценки заявок на вакансии. Проанализировав принятые и отклоненные в прошлом заявки, алгоритм стал занижать рейтинг заявок, содержавших слово «женщина» или упоминание женского колледжа. Алгоритм не открыл объективную истину, а лишь спроецировал и закрепил мизогинию. Компания не смогла решить проблему и в итоге свернула проект.
Кроме того, алгоритмы могут заражать предрассудками друг друга. Автор предлагает представить общество будущего, где алгоритмы не только отбирают кандидатов, но и дают людям советы по профориентации. Если из-за предвзятости 80 % рабочих мест в инженерной сфере получают мужчины, то алгоритм найма не только усвоит эту предвзятость, но и заразит ею алгоритмы рекомендаций, которые будут отговаривать девушек от изучения инженерного дела. То, что начиналось как интерсубъективный миф, может превратиться в межкомпьютерный миф. Если люди заранее не избавятся от предвзятости, компьютеры вполне могут усугубить ее и увековечить.
Избавиться от предвзятости алгоритмов может оказаться так же сложно, как и от человеческих предрассудков. На переобучение алгоритма потребуется много времени и сил. Можно было бы отказаться от предвзятого алгоритма и обучить новый на другом наборе данных, но где взять набор абсолютно объективных данных?
Многие из предвзятостей алгоритмов связаны с одной проблемой: компьютер считает, что открыл некую истину о людях, тогда как на самом деле он просто навязывает некий порядок. Дело в том, что компьютеры недооценивают, с одной стороны, весь спектр человеческих способностей, а с другой – свою способность влиять на людей и поощрять то или иное поведение. Чтобы более точно и ответственно видеть мир, компьютеры должны учитывать собственное влияние. А для этого разработчики должны признать, что создают не новые инструменты, а новых независимых агентов – или даже новых богов.
Новые боги?
Философ Меган О’Гиблин, говоря о влиянии традиционной мифологии на восприятие компьютеров человеком, подчеркивает сходство между всеведущим и непостижимым богом и современными алгоритмами ИИ, решения которых кажутся людям безошибочными и непостижимыми. Это создает опасное искушение.
Люди издавна мечтали создать безошибочную информационную технологию, чтобы преодолеть свою склонность к ошибкам. Так появились священные книги, но это привело к обратному результату, поскольку толковать их мог только человеческий институт. В отличие от священной книги, компьютеры могут сами толковать для людей свои решения и идеи. Можно прийти к выводу, что безошибочная технология наконец найдена.
Это чрезвычайно высокий риск, считает автор. Когда чьи-то толкования священных книг приводили к охоте на ведьм и религиозным войнам, люди еще могли изменить свои взгляды. Но алгоритмы – независимые агенты, и они уже отбирают у человека власть. Если они вызовут катастрофу, простое изменение взглядов людям едва ли поможет. А если доверить компьютерам власть, они почти наверняка навлекут беду, поскольку подвержены ошибкам.
Компьютерная сеть может не найти разумный баланс между истиной и порядком. Создавая и навязывая людям межкомпьютерные мифы, она способна вызвать катастрофы, которые затмят и охоту на ведьм, и сталинскую коллективизацию.
Если сеть из миллиардов компьютеров, накопив колоссальный объем информации, выработает некую общую модель мира, эта модель, вероятно, будет полна ошибок, фикций и пробелов и будет скорее мифологией, чем правдивым описанием мира.
Масштабное общество не может существовать без мифологии, но не все мифологии одинаковы. Некоторые мифологии признают свою подверженность ошибкам и включают механизмы самокоррекции, позволяющие людям ее изменять. Но как корректировать компьютерную мифологию, которую мы не понимаем?
Один из вариантов – обучить компьютеры осознавать свою подверженность ошибкам. Первый урок, который должен усвоить каждый алгоритм, заключается в том, что он может ошибаться. Алгоритм должен научиться сомневаться в себе, сообщать о неуверенности и соблюдать предосторожность. И разработчики уже добились заметных успехов в этом направлении.
Но все равно не следует выводить из контура людей. Невозможно предвидеть всё и оградиться от всех опасностей. В этом ключевое отличие ИИ от прежних угроз существованию. Ядерные технологии явили человечеству ряд легко прогнозируемых сценариев конца света. У людей была возможность заранее осознать угрозу и изучить способы ее сдерживания. ИИ же предлагает человечеству бесчисленное множество апокалиптических сценариев, и некоторые из них могут быть вообще недоступны нашему воображению. Чтобы предотвратить беду, лучше всего создать институты, способные выявлять угрозы и реагировать на них по мере возникновения.
Древние иудеи и христиане выяснили, что Библия не толкует сама себя, и им пришлось создавать человеческие институты. В XXI веке люди разработали технологию, способную интерпретировать саму себя, но именно поэтому нам нужны человеческие институты для тщательного ее мониторинга.
Новая компьютерная сеть не обязательно будет плохой или хорошей. Но она точно будет инородной и подверженной ошибкам. Поэтому нам необходимы институты, способные противостоять не только человеческим слабостям, но и ошибкам совершенно иного рода. У этой проблемы нет технологического решения. Это скорее политический вызов.