[21], привязать веревку от крана к противовесу, и так был изобретен первый автоматический клапан, — паренек припомнил обрывки заклинаний, подслушанные у хозяина, и попытался заставить веник носить воду в бочку. С этим заданием веник справился послушно и эффективно. Но когда вода начала переливаться через край бочки, ученик вдруг сообразил, что не помнит заклинание, которым чародей укрощал веник. Паренек едва не утонул, но тут вернулся «чародей маститый», который изрек нужные слова власти, а затем как следует выбранил ученика[22].
Даже здесь окончательную катастрофу удается предотвратить лишь посредством deus ex machina[23]. Уильям У. Джейкобс, английский писатель начала XX века, довел этот принцип до очевидного и трагичного логического конца в повести «Обезьянья лапка», классическом образце «литературы ужасов».
Английская рабочая семья, о которой идет речь, ужинает на кухне. Потом сын уходит на фабрику, а старики-родители слушают рассказы гостя, старшего сержанта, возвратившегося со службы в Индии. Сержант рассуждает об индийской магии и показывает хозяевам высушенную обезьянью лапку; по его словам, это талисман, зачарованный индийским факиром на исполнение трех желаний каждого из трех последовательных владельцев. Мол, так факир хотел показать, что судьба повелевает человеком.
Сержант добавляет, что не знает первых двух желаний первого владельца талисмана, но знает, что его последним желанием была смерть. Сам он второй владелец зачарованного предмета, но его опыт слишком страшен, чтобы об этом рассказывать. Он бросает лапку в огонь, но хозяин не дает той сгореть и, игнорируя предостережения сержанта, желает получить двести фунтов стерлингов.
Вскоре раздается стук в дверь. Входит очень представительный господин из той компании, в которой работает сын хозяев. Настолько мягко, насколько способен, он сообщает, что их сын погиб в результате несчастного случая на производстве. Компания не признает себя ответственной за случившееся, но выражает свое сочувствие и предлагает пособие в размере двухсот фунтов стерлингов.
Старики вне себя от горя; по предложению матери они просят талисман вернуть им сына. К тому времени снаружи успело стемнеть, пала ночь, ветреная и непроглядная. В дверь снова стучат. Родители каким-то образом понимают, что это их сын, но не во плоти. История заканчивается третьим желанием — чтобы призрак удалился.
Основной темой всех этих историй служит опасность магии. По всей видимости, эта опасность объясняется тем, что магические действия реализуются в высшей степени буквально; если магия вообще способна даровать что-либо, она дарует именно то, что просишь, а не то, что подразумевал или что на самом деле хотел попросить. Если просишь двести фунтов стерлингов и не уточняешь, что деньги ценой жизни твоего сына тебе не нужны, ты получишь свои двести фунтов — а уж выживет твой сын или умрет, остается лишь догадываться.
Магия автоматизации, в особенности такая магия автоматизации, которая опирается на самообучение устройств, выглядит столь же буквальной. Если играешь в игру по определенным правилам и настраиваешь машину играть на победу, результат будет достигнут (если его возможно достичь в принципе), но машина не будет обращать ни малейшего внимания на любые соображения, помимо соблюдения правил, ведущих к победе. В военной игре с некоторым конвенциональным условием победы к этой победе станут стремиться любой ценой, даже за счет истребления собственных сил, если только необходимость выживания не сформулирована недвусмысленно в определении победы, которое задается машине.
Это не просто невинный словесный парадокс. Я совершенно точно не смогу найти доводов, чтобы опровергнуть предположение о том, будто Россия и США, поодиночке или вместе, изучают возможность применения машин, а именно обучающихся машин, для определения момента, когда лучше нажать кнопку запуска атомной бомбы, этого ultima ratio[24] современного мира.
Многие годы все армии на свете играли в военные игры, и все эти игры отставали от своих эпох. Кто-то сказал, что на каждой войне толковый полководец воюет так, как воевали в последней войне, а дурной — как в предпоследней[25]. Это означает, что способы ведения войн неизменно отстают от событий реальной обстановки.
Это было верно всегда, пускай в периоды, которые изобиловали войнами, непременно находилось какое-то число умудренных схватками воинов, которые вели бои в условиях, изменявшихся сравнительно медленно. Такие опытные воины могут считаться единственными военными экспертами в полном смысле этого словосочетания. В настоящее время не существует экспертов по ядерной войне: нет людей, обладающих опытом участия в конфликте, где обе стороны располагают атомным оружием и используют это оружие. Разрушение наших городов в ядерной войне, деморализация населения, голод и болезни, побочные воздействия (число жертв которых с немалой вероятностью будет намного превосходить число жертв от взрывов и последующего заражения) — обо всем этом известно лишь предположительно.
Данное обстоятельство позволяет тем, кто прогнозирует малое число жертв побочных воздействий и рассуждает о больших шансах на выживание народов после катастрофы нового типа, гордо рядиться в патриотические одежды. Но если война ведет к полному истреблению, если обычные военные действия лишены всякого смысла, значит, армия и флот утратили былое назначение, а бедным, преданным службе генералам и адмиралам суждено остаться без работы. У компаний по производству ракет не сохранится прежний идеальный рынок, где все товары предназначены для однократного использования и потому не конкурируют с продукцией, которую только предстоит изготовить. Духовенство лишится того энтузиазма, того восторга, которые всегда сопутствуют крестовым походам. Если коротко, когда имеется военная игра, предусматривающая такое развитие событий, найдется много тех, кто забудет о возможных последствиях, станет требовать свои двести фунтов стерлингов и не спохватится уточнить, что сын должен остаться в живых.
Всегда возможно просить о чем-то, отличном от нашего истинного желания, а потому такая возможность представляется чрезвычайно серьезной в тех случаях, когда процесс, которым мы добиваемся исполнения желаний, является косвенным, а степень, в которой наши желания осуществляются, не ясна до самого конца. Обычно мы осознаем свои желания — в той мере, в какой они вообще осознаются — через процесс обратной связи, посредством которого мы сравниваем степень достижения промежуточных целей с нашими предвкушениями. Здесь обратная связь проходит через нас, и мы способны отступить, пока не стало слишком поздно. Если механизм обратной связи встроить в машину, действия которой не поддаются контролю до получения конечного результата, вероятность катастрофы чрезвычайно возрастает. Мне категорически не хотелось бы участвовать в первом испытании автомобиля, управляемого фотоэлектрическим устройством обратной связи, не будь в нем какой-то рукоятки, при помощи которой я мог бы перехватить управление, если замечу, что автомобиль грозит врезаться в дерево.
Люди с умственным складом машинопоклонников часто питают иллюзию, будто высокоавтоматизированный мир станет предъявлять меньше требований к человеческой изобретательности, нежели мир сегодняшний, и заберет у нас необходимость в решении трудных задач — как тот римский раб, он же греческий философ, который думал за своего господина[26]. Это явное заблуждение. Механизм, ориентированный на достижение цели, совсем не обязательно будет стремиться к реализации наших целей, если только мы не сконструируем его соответственно — а при таком конструировании мы должны предвидеть все стадии процесса, для управления которым создается механизм; не следует уповать на робкие попытки прогнозирования, полезные лишь до определенной точки, за которой понадобятся, при возникновении новых затруднений, новые прогнозы. Расплата за ошибки прогнозирования велика уже сегодня и значительно возрастет, когда автоматизация осуществится в полной мере.
В наше время вошла в моду идея, будто возможно предотвратить некоторые опасности, в особенности те, которыми чревата ядерная война, при помощи так называемых самоотключающихся устройств. За подобными представлениями стоит гипотеза, что даже в случаях, когда какое-либо устройство функционирует некорректно, существует возможность управлять его неполадками в безопасном режиме. Например, если выходит из строя насос, будет гораздо лучше, чтобы авария ознаменовалась выбросом воды, а не взрывом при избыточном давлении. Когда мы сталкиваемся с опасностью, хорошо нам понятной, применение самоотключающихся устройств вполне оправданно и полезно. Впрочем, они вряд ли пригодятся в ситуациях, когда та или иная опасность еще не распознана. Если, к примеру, имеется некая отдаленная, но глобальная угроза человечеству, сулящая уничтожение, то лишь пристальное и тщательное изучение общественных явлений способно выявить эту угрозу своевременно. Ведь потенциальные угрозы такого рода лишены зримых признаков, по которым их можно опознать. Потому режим самоотключения, пускай он может быть необходимым для предотвращения гибели человечества, ни в коем случае нельзя считать достаточной мерой предосторожности.
С развитием инженерной техники, которая все больше старается и стремится достигать поставленных человеком целей, усиливается потребность в постановке задач для нее способами, отражающими именно человеческое целеполагание. В прошлом неполное и неадекватное восприятие человеческих намерений было относительно безвредным — только потому, что такому восприятию сопутствовали технические ограничения, затруднявшие для нас выполнение операций, которые подразумевали тщательную оценку этих намерений. Это лишь один из множества примеров того, как бессилие человека до сих пор ограждало нас от разрушительного натиска человеческих прихотей.