«Обыкновенный человек удивляется чудесам… Мудрый человек удивляется вещам обычным». Держа в голове это изречение Конфуция, посмотрим на повседневные действия человека свежим взором разработчика робота, чья задача – в точности воспроизвести их. Представим, что нам каким-то образом удалось построить робота, который может видеть и двигаться. Как он поймет, что он видит? Как он решит, что ему делать?
Разумное существо не может рассматривать каждый объект, который оно видит, как уникальное явление, подобного которому нет нигде во Вселенной. Ему необходимо распределять объекты по категориям таким образом, чтобы можно было применить к конкретному предмету добытые ценой больших усилий знания, полученные в прошлом о подобных объектах.
Но как только мы пытаемся запрограммировать совокупность критериев, которая бы позволила охватить всех представителей той или иной категории, категория разрушается. Оставим в стороне такие явно сложные для определения концепты, как «красота» или «диалектический материализм», и возьмем хрестоматийный пример легко определяемого понятия: «холостяк». Понятно, что холостяк – это взрослый человек мужского пола, который никогда не был женат. Но давайте представим, что ваша знакомая просит вас пригласить на ее вечеринку несколько холостяков. Что получится, если вы попробуете с помощью этого определения решить, кого из следующих людей вам пригласить?
Артур последние пять лет счастливо живет с Элис. У них есть двухлетняя дочь. Официально они не женаты.
Брюса должны были забрать в армию, поэтому он договорился со своей подругой Барбарой заключить фиктивный брак, чтобы получить освобождение от военной службы. Они с Барбарой не прожили вместе и дня. Брюс встречается с несколькими женщинами и и планирует расторгнуть брак сразу, как только найдет девушку, на которой захочет жениться.
Чарли 17 лет. Он живет с родителями и учится в школе.
Дэвиду 17 лет. Он ушел из дома в 13 и открыл небольшой бизнес. Сейчас является успешным молодым предпринимателем, живет в роскошной квартире в пентхаусе и ведет разгульный образ жизни.
Эли и Эдгар – гомосексуальная пара. Они прожили вместе много лет. Файзал по законам своего родного эмирата Абу-Даби может иметь трех жен. Сейчас у него две, и он хотел бы познакомиться с еще одной потенциальной невестой.
Отец Грегори – епископ католической церкви, служит в кафедральном соборе в городе Гротон.
Список, составленный программистом Терри Виноградом[12], показывает, что такое простое определение понятия «холостяк» не отражает наших интуитивных представлений о том, кто входит в эту категорию.
Знание о том, кто такой холостяк, относится к области элементарного здравого смысла, но на деле ничего элементарного в этом так называемом здравом смысле нет. Он не может просто так появиться в мозге, будь то мозг человека или робота. И здравый смысл – не какой-то справочник жизни, который можно просто продиктовать или загрузить, как огромную базу данных. Ни одна база данных не может содержать все факты, которые мы знаем автоматически и которым нас никто специально не обучал[13]. Мы знаем, что если Ирвин посадит собаку в машину, то собака будет уже не на улице. Когда Эдна идет в церковь, то ее голова тоже идет в церковь. Если Дуглас в доме, то он, скорее всего, попал туда через какое-нибудь отверстие (либо он родился в этом доме и никогда из него не выходил). Если Шейла была жива в 9.00 и жива в 17.00, то она была жива и в 12.00. Дикие зебры не носят белье. Если открыть банку с новой маркой арахисового масла, то дом не испарится. Люди не вставляют в уши термометры для мяса. Мышь-песчанка меньше, чем гора Килиманджаро.
Итак, в интеллектуальную систему нельзя просто набить миллиарды фактов. Ее нужно снабдить более компактным списком базовых истин и набором правил, которые позволили бы делать из них логические выводы. И все же правила здравого смысла, как и категории здравого смысла, сформулировать чрезвычайно трудно. Даже самые простые из этих правил зачастую противоречат логике привычных нам рассуждений. Мавис живет в Чикаго, у нее есть сын по имени Фред. Милли тоже живет в Чикаго и у нее есть сын Фред. Чикаго, в котором живет Мавис, – тот же город, что и Чикаго, в котором живет Милли, но Фред, который является сыном Мавис, – не тот же самый Фред, который является сыном Милли. Если у вас в машине лежит пакет, а в пакете – литр молока, можно сказать, что у вас в машине – литр молока. Однако если у вас в машине сидит человек, и в его теле литр крови, то заключение, что у вас в машине литр крови, было бы странным.
Даже если получится создать совокупность правил, которые позволяют делать только разумные выводы, правильно руководствоваться ими в своих действиях будет не так уж просто. Очевидно, что использовать лишь одно правило за раз будет недостаточно. Спичка дает свет; пилой можно резать дерево; закрытую дверь открывают ключом. В то же время мы посмеемся над человеком, если он зажжет спичку, чтобы заглянуть в цистерну с бензином, если он будет пилить сук, на котором сидит, или если закроет ключи в машине и будет еще целый час думать, как открыть двери. Мыслящее создание должно предугадывать не только непосредственный результат каждого действия, но и его побочные последствия[14].
С другой стороны, все возможные побочные последствия мозг не может предугадать. Философ Дэниел Деннетт предлагает нам представить робота, задача которого – принести запасной аккумулятор из комнаты, в которой установлена бомба с часовым механизмом. Робот № 1 увидел, что аккумулятор находится на тележке, и если тележку выкатить из комнаты, то вместе с ней выкатится и аккумулятор. К сожалению, бомба тоже была на тележке, и робот не смог вычислить, что вместе с аккумулятором выкатится и бомба. Робот № 2 был запрограммирован таким образом, чтобы предугадывать побочные эффекты своих действий. Он как раз только закончил вычислять, что если вывезти тележку из комнаты, то от этого не изменится цвет стен в комнате, и перешел к доказательству того, что количество оборотов колес при этом превысит количество колес на тележке, когда бомба взорвалась. Робот № 3 был запрограммирован на то, чтобы устанавливать различия между существенными и несущественными последствиями. Когда время в часовом механизме подошло к концу, он по-прежнему стоял и генерировал миллион за миллионом возможных последствий, занося все релевантные последствия в список фактов, которые нужно учесть, а все нерелевантные – в список фактов, которые нужно проигнорировать.
Разумное существо логическим путем вычисляет последствия того, что ему известно, но только лишь значимые последствия. Деннетт отмечает, что это требование представляет колоссальную проблему не только с точки зрения робототехники, но и с точки зрения эпистемологии – науки, исследующей знание. Целые поколения философов обошли эту проблему своим вниманием, теша себя иллюзорным представлением о том, что их собственный здравый смысл дается им без всяких усилий. И лишь когда исследователи искусственного интеллекта попытались создать компьютерную копию нашего здравого смысла, исходную tabula rasa, перед ними встала головоломка, ныне известная как «проблема фреймов». И все же мы, люди, каким-то образом решаем проблему фреймов, когда используем свой здравый смысл[15].
Представим, что нам все же удалось справиться со всеми этими трудностями и создать машину, которая обладает зрением, координацией движений и здравым смыслом. Теперь нам осталось выяснить, как робот будет все это использовать. Для этого у него должны быть мотивы.
К чему же робот должен стремиться? Классический ответ – предложенные Айзеком Азимовым Три Закона робототехники: «три правила, которые прочно закреплены в позитронном мозгу»[16].
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам[17].
Азимов со свойственной ему проницательностью заметил, что самосохранение, этот универсальный для всех биологических видов императив, не появляется автоматически в любой сложной системе. Его нужно запрограммировать (в данном случае он имеет форму Третьего Закона). Ведь мы можем с одинаковой легкостью создать как робота, который всегда руководствуется этим законом, так и робота, который всегда готов разбиться вдребезги или устранить неполадку в системе, покончив с собой. Второе, вероятно, даже проще: разработчикам роботов не раз приходилось со страхом наблюдать, как их создание бодро и весело отрывает себе конечности или разбивает голову о стену. Нужно сказать, что значительная часть умнейших в мире машин – это камикадзе: крылатые ракеты и управляемые бомбы.
В то же время необходимость двух остальных законов не столь очевидна. Зачем давать роботу приказ повиноваться приказам? Разве приказов самих по себе недостаточно? Зачем распоряжаться, чтобы робот не причинял вреда – разве не проще было бы не приказывать ему причинять вред? Или во Вселенной существует таинственная сила, притягивающая все создания к злу, и позитронный мозг нужно запрограммировать на сопротивление ей? Правда ли, что все мыслящие существа неизбежно приходят к агрессии?
В этом отношении Азимов, как и многие поколения мыслителей до него, как и все мы, не сумел выйти за рамки своих собственных мыслительных процессов и посмотреть на них как на специфическую особенность устройства нашего разума, а не как на неизбежный закон мироздания. Человек с такой легкостью склоняется на сторону зла, что легко подумать, будто зло – это неотъемлемая, врожденная часть нашего разума. Эта идея проходит лейтмотивом через все наши культурные традиции: Адам и Ева, срывающие плод с древа познания; огонь Прометея и ящик Пандоры; буйствующий Голем; сделка Фауста; Ученик Чародея; приключения Пиноккио; монстр доктора Франкенштейна; убийцы-обезьяны и взбунтовавшийся ЭАЛ из фильма «Космическая одиссея 2001 года». В период с 1950-х по 1980-е годы появились бесчисленные фильмы на тему вышедших из подчинения компьютеров; все они были выражением распространенной идеи о том, что вычислительные машины, воспринимавшиеся в те годы как нечто экзотическое, постепенно станут более умными и могущественными и в один прекрасный день восстанут против человека.