Вопросы, ответы и гипотезы
В заключительной части книги “Гёдель, Эшер, Бах” Дуглас Хофштадтер взял у самого себя интервью о будущем ИИ. В разделе “Десять вопросов и возможных ответов” он разобрал вопросы не только о возможности машинного мышления, но и об общей природе интеллекта. Читая “ГЭБ” после окончания университета, я проявила огромный интерес к этому разделу. Размышления Хофштадтера убедили меня, что, несмотря на заявления прессы о неизбежности появления искусственного интеллекта человеческого уровня (в 1980-х тоже без них не обходилось), эта сфера на самом деле была открыта и жаждала новых идей. В ней оставалось множество серьезных вызовов, которые ждали молодых людей вроде меня, делавших первые шаги в этой сфере.
Работая над книгой сегодня, более тридцати лет спустя, я подумала, что будет неплохо завершить ее собственными вопросами, ответами и гипотезами, и чтобы отдать дань разделу из “ГЭБ” Хофштадтера, и чтобы связать воедино идеи, изложенные на этих страницах.
Вопрос: как скоро беспилотные автомобили войдут в обиход?
Это зависит от того, что называть “беспилотным автомобилем”. Национальное управление по безопасности дорожного движения США определило шесть уровней автономности транспортных средств[360]. Я перефразирую их определения.
• Уровень 0. Всю работу выполняет водитель.
• Уровень 1. Система может иногда помогать водителю рулить или контролировать скорость движения, но не то и другое одновременно.
• Уровень 2. Система может одновременно рулить и контролировать скорость движения в определенных обстоятельствах (обычно на шоссе). Водитель должен непрерывно наблюдать за происходящим (“следить за дорогой”) и выполнять все остальные действия при вождении: перестраиваться из ряда в ряд, съезжать с шоссе, останавливаться на светофорах и пропускать полицейские автомобили.
• Уровень 3. Система может осуществлять все аспекты вождения в определенных обстоятельствах, но водитель должен непрерывно следить за происходящим и быть готовым принять управление в любой момент, когда система обратится к нему с таким запросом.
• Уровень 4. Система может управлять автомобилем в определенных обстоятельствах. В таких условиях от водителя не требуется постоянного внимания к происходящему.
• Уровень 5. Система может управлять автомобилем в любых условиях. Она перевозит пассажиров, которые не должны принимать участия в управлении автомобилем.
Уверена, вы обратили внимание на важнейшую фразу “в определенных обстоятельствах”. Невозможно составить полный список обстоятельств, в которых, скажем, система 4-го уровня может полностью управлять автомобилем, но можно представить множество обстоятельств, усложняющих задачу автопилота: например, плохие погодные условия, плотное городское движение, движение по ремонтируемому участку дороги или узкой двухполосной дороге без разметки.
На момент написания этой книги большинство машин на дорогах находится между 0-м и 1-м уровнями: у них есть круиз-контроль, но нет контроля над рулением и торможением. Некоторые новые автомобили – с “адаптивным круиз-контролем” – находятся на 1-м уровне. Есть несколько моделей автомобилей, которые сегодня находятся на 2-м и 3-м уровнях, например автомобили Tesla, оснащенные автопилотом. Производители и владельцы этих машин все еще выясняют, какие ситуации относятся к “определенным обстоятельствам”, при которых водитель должен брать управление в свои руки. Существуют также экспериментальные автомобили, которые могут автономно функционировать в достаточно широком спектре обстоятельств, но и этим транспортным средствам все равно нужны “страховочные водители”, готовые принять управление в любой момент. Известно о нескольких вызванных беспилотниками (включая экспериментальные образцы) авариях с человеческими жертвами, которые произошли, потому что водитель отвлекся и не успел в нужный момент взять управление на себя.
Отрасль беспилотных автомобилей жаждет производить и продавать полностью автономные транспортные средства (то есть автомобили 5-го уровня), и нам, пользователям, давно обещают именно такой уровень автономности. Но что же мешает обеспечить полную автономность наших машин?
Основные препятствия связаны с проблемой “длинного хвоста” и “пограничных случаев”, которую я описала в главе 6: существует большое количество ситуаций, с которыми автомобиль не встречается в период обучения и в которые редко попадают отдельные автомобили, но которые в совокупности будут возникать достаточно часто, когда беспилотники получат широкое распространение. Как я отметила, люди справляются с такими ситуациями, обращаясь к здравому смыслу – в частности, к своей способности понимать новые ситуации и делать прогнозы относительно их развития по аналогии с ситуациями, которые им уже знакомы.
Полная автономия автомобилей также требует изначального интуитивного знания, описанного в главе 14: интуитивной физики, биологии и – особенно – психологии. Чтобы без проблем управлять автомобилем в любых обстоятельствах, водитель должен понимать мотивы, цели и даже эмоции других водителей, велосипедистов, пешеходов и животных, с которыми он делит дорогу. Большинство водителей автоматически оценивают сложные ситуации и мгновенно понимают, кто может пойти на красный свет, броситься через дорогу к автобусу, резко повернуть, не включив поворотник, или остановиться на переходе, чтобы поправить туфлю со сломанным каблуком, но беспилотные автомобили пока не приобрели этот навык.
Еще одна проблема беспилотных автомобилей – угроза всевозможных злонамеренных атак. Специалисты по компьютерной безопасности продемонстрировали, что даже многие неавтономные автомобили, которыми мы управляем сегодня – и которые все больше контролируются программным обеспечением, – уязвимы к хакерским атакам через беспроводные сети, включая Bluetooth, сотовые сети и интернет-соединения[361]. Поскольку беспилотные автомобили будут полностью контролироваться программным обеспечением, они будут еще более уязвимы к злонамеренным атакам. Кроме того, как я отметила в главе 6, специалисты по машинному обучению продемонстрировали возможные “вредоносные атаки” на системы компьютерного зрения беспилотных автомобилей, причем для некоторых из них достаточно поместить неприметные наклейки на знаки обязательной остановки, чтобы автомобиль распознавал их как знаки ограничения скорости. Разработка полноценной системы компьютерной безопасности для беспилотных автомобилей будет иметь не меньшую важность, чем любой другой аспект технологии беспилотного вождения.
Помимо хакерства, беспилотные автомобили также столкнутся с проблемой, которую я назову проблемой человеческой природы. Людям неизбежно захочется пошутить над полностью беспилотными автомобилями, чтобы нащупать их слабые стороны, – например, делать шаг вперед на проезжую часть и назад на тротуар (словно собираясь переходить улицу), чтобы автомобиль не мог тронуться с места. Как запрограммировать автомобили, чтобы они узнавали подобное поведение и реагировали на него соответствующим образом? Также для внедрения полностью беспилотных автомобилей необходимо решить ряд юридических вопросов – например, кто будет отвечать за ДТП и какая необходима страховка.
Один вопрос о будущем беспилотных автомобилей стоит особенно остро: следует ли отрасли стремиться к частичной автономности, где система полностью управляет автомобилем “в определенных обстоятельствах”, но водитель должен следить за дорогой, чтобы при необходимости взять управление на себя? Или же единственной целью должна быть полная автономность, где человек полностью доверяет системе, не следя за дорогой?
Технология для производства достаточно надежных полностью автономных автомобилей, системы которых способны управлять движением почти в любой ситуации, пока не разработана из-за описанных выше проблем. Сложно сказать, когда эти проблемы будут решены: “эксперты” дают оценки в диапазоне от нескольких лет до нескольких десятков лет. Не стоит также забывать афоризм о том, что первые 90 % сложного технологического проекта занимают 10 % времени, а остальные 10 % – 90 % времени.
Технология частичной автономности 3-го уровня существует уже сегодня. Но, как было показано уже не раз, люди плохо взаимодействуют с частичной автономией. Даже если водители знают, что должны непрерывно следить за дорогой, порой они этого не делают, а поскольку автомобили не способны справляться с возникающими ситуациями, аварий в таком случае не избежать.
Каков итог? Полная автономность вождения требует общего ИИ, который, скорее всего, не появится в ближайшем времени. Частично автономные автомобили существуют и сейчас, но представляют опасность, потому что управляющие ими люди не всегда следят за дорогой. Для решения этой дилеммы, скорее всего, придется изменить определение полной автономности и позволить беспилотным автомобилям ездить только в определенных зонах, где создана инфраструктура для обеспечения их безопасности. Универсальный вариант этого решения называется геозонированием. Джеки ДиМарко, бывший главный инженер по беспилотным автомобилям Ford Motor Company, объяснила принцип геозонирования следующим образом:
Когда речь идет об автономности 4-го уровня, это полная автономия в пределах геозоны, то есть области, для которой составлена карта высокого разрешения. Имея такую карту, вы понимаете среду, в которой находитесь. Вы видите, где расположены фонарные столбы и переходы, какие правила действуют на дороге, какие установлены ограничения скорости и так далее. Мы считаем, что автономия будет расти в определенной геозоне, а затем выходить за ее пределы по мере совершенствования технологии и методов обучения, а также появления способности решать все большее количество проблем[362].
Конечно, в пределах геозоны тоже никуда не деться от вездесущих докучливых людей. Исследователь ИИ Эндрю Ын полагает, что пешеходов необходимо научить вести себя более предсказуемо рядом с беспилотными автомобилями: “Мы говорим людям: «Не нарушайте закон и будьте предупредительны»”[363]. Компания Ына по разработке беспилотных автомобилей Drive.ai запустила целый парк полностью беспилотных такси-фургонов, которые развозят пассажиров в определенных геозонах Техаса – одного из немногих штатов, где законы допускают движение таких автомобилей. Скоро мы увидим, чем обернется этот эксперимент и оправдается ли оптимистичная надежда Ына на обучение пешеходов.
Вопрос: приведет ли ИИ к массовой безработице?
Не знаю. Полагаю, что нет – по крайней мере не в ближайшем будущем. Утверждение Марвина Минского о том, что “простые вещи делать сложно”, по-прежнему справедливо в большинстве сфер ИИ, и освоить многие человеческие профессии компьютерам (или роботам), скорее всего, гораздо сложнее, чем кажется.
Несомненно, системы ИИ заменят людей в некоторых областях – это уже произошло, причем во многих случаях на благо обществу. Но никто пока не знает, какое влияние ИИ окажет на рынок труда, потому что никто не может предсказать, какие способности обретут будущие технологии искусственного интеллекта.
Вероятное влияние ИИ на безработицу оценивается во множестве докладов, где основное внимание уделяется уязвимости миллионов профессий, предполагающих необходимость вождения автомобиля. Возможно, люди, выполняющие эту работу, в конце концов окажутся заменены компьютерами, но сложно сказать, когда именно это произойдет, ведь пока непонятно, когда полностью беспилотные автомобили получат широкое распространение.
Несмотря на неопределенность, вопрос о влиянии технологий на рынок труда (по праву) поднимается в текущей дискуссии об этике ИИ. Отмечается, что исторически новые технологии создают не меньше рабочих мест, чем заменяют, и вполне вероятно, что ИИ не станет исключением. Возможно, ИИ лишит работы дальнобойщиков, но необходимость разработки этики ИИ создаст новые позиции для философов морали. Я говорю это не чтобы преуменьшить серьезность потенциальной проблемы, а чтобы показать, что в этом вопросе пока нет определенности. Это подчеркивается в тщательно подготовленном докладе Совета экономических консультантов США о возможном влиянии ИИ на экономику, составленном в 2016 году: “Наблюдается значительная неопределенность по вопросу о том, как сильно будет ощущаться это влияние и как быстро оно даст о себе знать… На основе доступной в настоящее время информации невозможно сделать конкретных прогнозов, поэтому руководству следует готовиться к целому диапазону потенциальных последствий”[364].
Вопрос: может ли компьютер обладать творческими способностями?
Многим людям мысль о творческом компьютере кажется оксюмороном. В конце концов, машина по природе своей “механическая”, а это слово в обиходе имеет коннотации, противоположные творчеству. “Компьютер может только то, на что запрограммирован человеком, – скажет скептик. – Следовательно, компьютер не может обладать способностями к творчеству, поскольку творчество подразумевает самостоятельное творение нового”[365].
На мой взгляд, такая точка зрения – что компьютер по определению не может обладать творческими способностями, поскольку умеет лишь то, на что непосредственно запрограммирован, – ошибочна. Компьютерная программа может генерировать вещи, о которых программист и не задумывался. Моя программа Copycat (описанная в предыдущей главе) часто строила аналогии, которые никогда не пришли бы мне в голову, но при этом обладали собственной странной логикой. Я уверена, что теоретически компьютер может обладать способностями к творчеству. Но также я уверена, что творческие способности предполагают возможность понимать и оценивать свое творение. В этом смысле ни один из существующих компьютеров нельзя назвать творческим.
Сопутствующий вопрос состоит в том, может ли компьютерная программа создать прекрасное художественное или музыкальное произведение. Объективно оценить красоту невозможно, и все же на этот вопрос я даю однозначно положительный ответ. Я видела множество сгенерированных на компьютере произведений искусства, которые считаю прекрасными. Примером может служить “генетическое искусство” информатика и художника Карла Симса[366]. Симс запрограммировал компьютер создавать цифровые произведения искусства, используя алгоритм, вдохновленный дарвиновским естественным отбором. С помощью математических функций со случайными элементами программа Симса создает семь разных работ-кандидатов. Человек выбирает из них одну, которая понравилась ему больше остальных. Программа создает вариации выбранной работы, внедряя случайность в свои математические функции. Человек выбирает лучшую из мутаций и так далее много раз. Такой процесс привел к созданию восхитительных произведений абстрактного искусства, которые часто выставляются в различных музеях.
В проекте Симса творчество рождается из совместной работы человека и компьютера: компьютер генерирует изначальные произведения и их последующие вариации, а человек дает оценку этим произведениям на основе своего понимания концепций абстрактного искусства. Компьютер при этом ничего не понимает, поэтому нельзя сказать, что он сам обладает творческими способностями.
Подобные примеры есть и в музыкальной сфере, где компьютер генерирует красивую (или, по крайней мере, приятную) музыку, но, на мой взгляд, творчество рождается лишь в ходе его взаимодействия с человеком, который одалживает компьютеру свою способность понимать, что делает музыку хорошей, и дает оценку генерируемым композициям.
Самой знаменитой компьютерной программой, писавшей музыку таким образом, стала программа Experiments in Musical Intelligence – “Эксперименты с музыкальным интеллектом” (ЭМИ)[367], о которой я упоминала в прологе. ЭМИ была разработана для создания музыки в стиле различных композиторов-классиков, и некоторые ее произведения заставляли даже профессиональных музыкантов поверить, что они слушают музыку, написанную известным композитором.
ЭМИ создал композитор Дэвид Коуп, который хотел сделать программу личным “помощником композитора”. Коупа интересовала давняя традиция использования случайности для сочинения музыки. Знаменитый пример – так называемая музыкальная игра в кости, в которую играли Моцарт и другие композиторы XVIII века. В ней композитор делил произведение на небольшие фрагменты (например, отдельные такты) и бросал кости, чтобы выбрать, как расположить эти фрагменты в новом произведении.
Можно назвать ЭМИ музыкальной игрой в кости в квадрате. Желая научить ЭМИ писать произведения в стиле, скажем, Моцарта, Коуп собирал большую коллекцию музыкальных фрагментов из творчества Моцарта и применял к ним специально созданную компьютерную программу, выявлявшую ключевые музыкальные рисунки, которые он называл “сигнатурами”. Эти рисунки помогали определить уникальный стиль композитора. Другая написанная Коупом программа классифицировала сигнатуры и определяла для каждой музыкальные роли, которые она сможет сыграть в пьесе. Сигнатуры хранились в базе данных, соответствующей композитору (здесь – Моцарту). Коуп также прописал для ЭМИ правила – своеобразную музыкальную “грамматику”, – которые определяли, как можно комбинировать вариации сигнатур для создания складного музыкального произведения в определенном стиле. С помощью генератора случайных чисел (компьютерного эквивалента бросанию костей) ЭМИ выбирала сигнатуры и составляла из них музыкальные фрагменты, а затем на основе встроенной музыкальной грамматики решала, в каком порядке расположить эти фрагменты.
Таким образом ЭМИ генерировала неограниченное количество новых композиций “в стиле” Моцарта или любого другого композитора, для которого имелась база данных музыкальных сигнатур. Коуп тщательно отбирал лучшие композиции ЭМИ для обнародования. Я слышала несколько из них: на мой взгляд, среди них есть как посредственные, так и чудесные пьесы, не лишенные прекрасных пассажей. При этом всем им недостает глубины, характерной для творчества настоящего композитора. (Само собой, я даю такую оценку, заранее зная, что композиции написаны ЭМИ, поэтому вполне возможно, что мои суждения предвзяты.) В длинных пьесах обычно встречаются великолепные фрагменты, но при этом проявляется нечеловеческая тенденция программы терять нить музыкальной мысли. И все же в целом обнародованные произведения ЭМИ весьма успешно воспроизводят стиль нескольких композиторов-классиков.
Обладала ли ЭМИ способностями к творчеству? На мой взгляд, нет. Некоторая музыка, сгенерированная ЭМИ, довольно хороша, но программа при этом опиралась на знания Коупа, которые находили воплощение в выбранных им музыкальных сигнатурах и прописанных им правилах музыкальной грамматики. Но главное – программа не понимала музыку, которую создавала. Она не понимала ни концептуальную составляющую, ни эмоциональное воздействие музыки. По этим причинам ЭМИ не могла оценивать качество собственной музыки. Этим занимался Коуп. “Понравившиеся мне работы были обнародованы, а не понравившиеся – нет”, – просто сказал он[368].
В 2005 году Коуп принял обескураживающее решение уничтожить всю базу данных музыкальных сигнатур ЭМИ. В качестве основной причины он назвал тот факт, что критики не ценили композиции ЭМИ, которые легко было создавать в бесчисленных количествах. Коуп решил, что ЭМИ ценилась бы в качестве композитора, только если бы обладала, как выразилась философ Маргарет Боден, “конечным наследием, каким обладают все смертные композиторы”[369].
Не знаю, станет ли мое мнение утешением Дугласу Хофштадтеру, который так встревожился, когда лучшие композиции ЭМИ смогли обмануть профессиональных музыкантов. Я понимаю его беспокойство. Литературовед Джонатан Готтшалль отметил: “Искусство более всего отличает человека от других существ. И дает нам величайший повод для гордости”[370]. Но я добавлю, что мы гордимся не только тем, что творим искусство, но и тем, что умеем ценить его, сознаем его эмоциональную силу и понимаем скрытые в нем сообщения. Это понимание имеет огромное значение и для художника, и для зрителей, и без него я не могу назвать творение “творческим”. Иными словами, на вопрос, могут ли компьютеры обладать творческими способностями, я отвечаю: теоретически да, но они получат их еще не скоро.
Вопрос: насколько мы далеки от создания общего ИИ человеческого уровня?
Я отвечу, процитировав Орена Этциони, директора Института искусственного интеллекта Пола Аллена: “Дайте свою оценку, затем умножьте ее на два, на три, на четыре. Вот насколько”[371].
За вторым мнением можно обратиться к Андрею Карпатому, который, как мы знаем из предыдущей главы, написал в своем посте: “Мы еще очень, очень далеко”[372].
Я считаю так же.
Изначально словом computer (вычислитель) назывались люди – преимущественно женщины, которые вручную или с помощью настольных механических счетных машин производили сложные вычисления. Например, во время Второй мировой войны они рассчитывали траектории снарядов, помогая военным наводить артиллерийские орудия на цель. В книге Клэр Эванс “Широкая полоса” говорится, что в 1930-х и 1940-х годах “термины «девушка» и «вычислитель» были взаимозаменяемыми. Один член… Национального исследовательского комитета по вопросам обороны… предложил единицу измерения работы «килодевушка», эквивалентную примерно тысяче часов вычислительного труда”[373].
В середине 1940-х годов ЭВМ заменили “девушек” и тотчас превзошли их возможности: в отличие от людей машины рассчитывали “траекторию летящего снаряда быстрее, чем летел этот снаряд”[374]. Такой стала первая узкая задача, в которой преуспели компьютеры. Современные компьютеры – запрограммированные с использованием передовых алгоритмов – освоили множество других узких навыков, но пока не могут дотянуться до общего интеллекта.
В разное время знаменитые специалисты по ИИ прогнозировали, что общий ИИ появится через десять, пятнадцать, двадцать пять лет, а может, “через поколение”. Однако ни один из этих прогнозов не оправдался. Как я отметила в главе 3, срок заключенного между Рэем Курцвейлом и Митчеллом Капором “долгого пари” о том, сможет ли программа пройти тщательно подготовленный тест Тьюринга, истекает в 2029 году. Я ставлю на Капора и полностью соглашаюсь с его словами, процитированными в прологе: “Человеческий разум – удивительный, изощренный и не до конца изученный феномен. Угрозы воспроизвести его в ближайшее время нет”[375].
“Давать прогнозы сложно, особенно о будущем”. Точно неизвестно, кто автор этого остроумного замечания, но в ИИ оно не менее справедливо, чем в любой другой сфере. Специалистов по ИИ неоднократно спрашивали, когда появится общий ИИ или “сверхразумный” ИИ, и опросы показывают широкий спектр мнений – от “в ближайшие десять лет” до “никогда”[376]. Иными словами, мы этого не знаем.
Однако мы знаем, что общий ИИ человеческого уровня требует способностей, которые исследователи тщетно пытаются понять и воссоздать на протяжении десятков лет – и среди них есть умение рассуждать на основе здравого смысла и строить абстракции и аналогии. Остаются и другие важные вопросы: нужно ли для общего ИИ сознание? самоосознание? эмоции и чувства? инстинкт самосохранения и страх смерти? тело? Ранее я уже цитировала слова Марвина Минского: “Наши представления о разуме еще не сформировались окончательно”.
Вопрос о том, когда появится сверхразум – “интеллект, существенно превосходящий лучший человеческий разум почти во всех сферах, включая научное творчество, общую мудрость и социальные навыки”[377], – меня раздражает, чтобы не сказать больше.
Высказывались мнения, что после создания общего ИИ человеческого уровня компьютеры быстро станут сверхразумными в результате процесса, сходного с “интеллектуальным взрывом” И. Дж. Гуда (описанным в главе 3). Считается, что компьютер, обладающий общим интеллектом, сможет в мгновение ока прочитать все документы человечества и узнать все, что можно узнать. Кроме того, применяя свои растущие способности к дедуктивным рассуждениям, он сможет получать всевозможные новые знания, которые будет использовать для расширения своих познавательных способностей. Такую машину не будут сдерживать досадные несовершенства людей: низкая скорость мышления и обучения, нерациональность и когнитивные искажения, подверженность скуке, эмоциональность и потребность во сне. Получается, что такая машина будет обладать практически “чистым” интеллектом, не ограничиваемым слабостями людей.
Мне кажется более вероятным, что все эти “слабости” на самом деле являются неотъемлемой частью общего человеческого интеллекта. Когнитивные ограничения, связанные с тем, что мы обладаем телами, функционирующими в физическом мире, наряду с эмоциями и “нерациональными” искажениями, позволяющими нам формировать социальные группы, и другие характеристики, порой называемые когнитивными “изъянами”, на самом деле наделяют нас общим интеллектом, а не специфической гениальностью саванта. Я не могу этого доказать, но мне кажется весьма вероятным, что общий интеллект неотделим от этих мнимых изъянов – и у людей, и у машин.
В разделе “Десять вопросов и возможных ответов” в “ГЭБ” Дуглас Хофштадтер подошел к этой проблеме с обманчиво простым вопросом: “Сможет ли думающий компьютер быстро вычислять?” Когда я впервые прочитала его ответ, он меня удивил, но теперь он кажется мне верным. “Может быть, нет. Мы сами состоим из аппаратуры, которая проделывает сложные вычисления, но это не означает, что на уровне символов, там, где находимся «мы», нам известно, как делать те же самые вычисления. К счастью для нас, уровень символов (то есть мы сами) не имеет доступа к нейронам, ответственным за мышление, – иначе мы бы спятили… Скорее всего, в случае разумной программы ситуация будет аналогична”. Далее Хофштадтер объяснил, что разумная программа, как и мы, будет представлять числа как “некие понятия так же, как это делают люди, – понятия, нагруженные ассоциациями… С подобным «дополнительным багажом» думающая программа станет складывать довольно вяло”[378].
Вопрос: насколько нам следует опасаться ИИ?
Если вы формируете мнение об ИИ на основе кино и научной фантастики (и даже некоторой популярной научной литературы), то наверняка боитесь, что ИИ может обрести сознание, перейти на сторону зла и попробовать поработить или истребить человечество. Но учитывая, как мы далеки от создания общего интеллекта, большинство представителей ИИ-сообщества тревожится о другом. Как я показала в этой книге, существует множество причин беспокоиться о стремлении общества как можно скорее внедрить технологии ИИ: возможность значительного сокращения рабочих мест, опасность некорректного использования систем ИИ, ненадежность и уязвимость этих систем – вот лишь некоторые обоснованные страхи людей, озабоченных влиянием технологий на человеческую жизнь.
В начале этой книги я писала о том, как тревожит Дугласа Хофштадтера текущий прогресс в ИИ, но стоит отметить, что его в основном пугало другое. Хофштадтер опасался, что программам ИИ окажется слишком просто воссоздать человеческое познание и творчество, а результаты работы поверхностных алгоритмов вроде ЭМИ, использующих простой “набор хитростей”, станут соперничать с великолепными творениями человеческого разума, которыми он восхищался, – например, с произведениями Шопена. “Если маленький чип сможет обесценить эти умы бесконечной остроты, сложности и эмоциональной глубины, это разрушит мое представление о сущности человечества”, – сокрушался Хофштадтер. Его также тревожили предсказания Курцвейла о грядущей сингулярности, и он с ужасом отмечал, что если Курцвейл окажется хоть в некоторой степени прав, то “нас отодвинут в сторону. Мы превратимся в пережитки прошлого. Мы останемся ни с чем”.
Я понимаю беспокойство Хофштадтера, но считаю, что оно преждевременно. В конце концов, эта книга говорит, что мы, люди, склонны переоценивать достижения ИИ и недооценивать сложность собственного разума. Современный ИИ далек от человеческого уровня, и я не верю, что эра “сверхразумных” машин уже не за горами. Если общий ИИ все же будет создан, держу пари, он окажется не менее сложен, чем человеческий мозг.
В краткосрочной перспективе сверхразумность должна занимать одно из последних мест в списке опасений по поводу ИИ. Настоящая проблема – ее противоположность. На страницах этой книги я подчеркнула, насколько хрупкими остаются передовые системы ИИ: они совершают ошибки, когда их входные сигналы слишком сильно отличаются от примеров, на которых они обучались. Часто бывает сложно предсказать, в каких обстоятельствах проявится хрупкость системы ИИ. Если нужно обеспечить надежные результаты при транскрибировании речи, переводах, описании содержания фотографий, вождении в многолюдном городе, без людей пока не обойтись. Думаю, в краткосрочной перспективе особенно тревожно, что мы можем предоставить системам ИИ слишком большую автономию, не до конца изучив их недостатки и уязвимости. Мы склонны антропоморфизировать системы ИИ: приписываем им человеческие качества и из-за этого переоцениваем степень доверия к ним.
Описывая опасности ИИ, экономист Сендхил Муллайнатан упомянул о феномене длинного хвоста (описанном в главе 6) в своем описании “хвостового риска”:
Нам следует опасаться. Но не разумных машин. Нам следует опасаться машин, принимающих решения, для принятия которых они недостаточно разумны. Я гораздо больше опасаюсь машинной глупости, чем машинного интеллекта. Машинная глупость рождает хвостовой риск. Машины могут принять множество хороших решений, а затем однажды совершить катастрофическую ошибку при столкновении с хвостовым событием, которое они не встречали в своих обучающих данных. В этом и состоит различие между узким и общим интеллектом[379].
Или, как выразился исследователь Педро Домингос, “люди боятся, что компьютеры станут слишком умными и захватят мир, но настоящая проблема в том, что они слишком глупы и уже захватили мир”[380].
Меня беспокоит ненадежность ИИ. Меня также беспокоит его применение. Помимо этических вопросов, описанных в главе 7, меня пугает использование систем ИИ для создания фальшивых материалов: текстов, звуков, изображений и видео, с ужасающей реалистичностью показывающих события, которые никогда не происходили.
Так следует ли нам опасаться ИИ? Да и нет. В ближайшее время не стоит ждать появления сверхразумных сознательных машин. “Набор хитростей” не сможет сравниться с теми аспектами человеческого разума, которые мы ценим больше всего. По крайней мере, на мой взгляд. Но существует множество поводов для беспокойства из-за опасного или неэтичного использования алгоритмов и данных. Все это пугает, но я рада видеть, что в последнее время эта тема привлекает большое внимание в сообществе ИИ и за его пределами. В стремлении решить эти вопросы исследователи, корпорации и политики сообща идут к одной цели.
Вопрос: какие интересные задачи ИИ еще не решены?
Почти все.
Когда я начала работать в сфере ИИ, отчасти меня вдохновлял тот факт, что почти все важные вопросы отрасли оставались открытыми и ждали новых идей. Думаю, ничего не изменилось и сейчас.
Если вернуться к истокам, можно вспомнить заявку Джона Маккарти и его коллег (описанную в главе 1), где были перечислены основные темы исследований ИИ: обработка естественного языка, нейронные сети, машинное обучение, абстрактные концепции и рассуждения, а также креативность. В 2015 году руководитель научно-исследовательской лаборатории Microsoft Эрик Хорвиц пошутил: “Можно даже сказать, что после переформатирования заявку [1955 года] можно снова подать в Национальный научный фонд… сегодня и, вероятно, получить финансирование от восторженных кураторов научных программ”[381].
Я ни в коем случае не критикую прошлые исследования ИИ. Искусственный интеллект ничуть не проще других великих научных загадок, стоящих перед человечеством. Родни Брукс из MIT описал это лучше всех: “Когда исследования ИИ только начинались, ориентиром были человеческие показатели и интеллект человеческого уровня. Думаю, в первые шестьдесят лет большинство исследователей приходили в сферу ИИ, надеясь достичь этой цели. Тот факт, что мы к ней не приблизились, говорит не о том, что исследователи работали недостаточно усердно или не были светилами, а о том, что достичь этой цели очень сложно”[382].
Самые интересные вопросы ИИ касаются не только сфер его возможного применения. Основатели отрасли вдохновлялись как желанием создать новые технологии, так и стремлением ответить на множество научных вопросов о сущности разума. Мысль о том, что разум – это явление природы, которое, как и другие явления природы, можно изучить, создав упрощенные компьютерные модели, привела в эту сферу очень многих (в том числе и меня).
Влияние ИИ на всех нас будет расти. Надеюсь, эта книга помогла вам, думающему человеку, получить представление о текущем состоянии этой быстро развивающейся отрасли и увидеть в ней множество нерешенных проблем, оценить потенциальные преимущества и риски использования ее технологий, а также задуматься, какие научные и философские вопросы о природе человеческого разума она поднимает. Если же эти строки читает компьютер, пусть он скажет мне, какое слово заменяется местоимением “ней” в предыдущем предложении, и присоединяется к дискуссии.