М. Ф.: Как вы считаете, связан ли интеллект с сознанием?
Дж. Т.: Это очень сложный вопрос, потому что разные люди понимают под сознанием разные вещи. Философы, когнитивисты и нейробиологи к единому мнению пока не пришли.
М. Ф.: Хорошо, я переформулирую свой вопрос. Может ли машина обладать своего рода внутренним опытом? Является ли такой опыт обязательным условием для сильного ИИ?
Дж. Т.: Для начала рассмотрим два варианта того, что мы подразумеваем под сознанием. Во-первых, это сенсорные явления любого рода, которые в философии называют термином «квалиа». Это ощущение субъективного опыта, с трудом уловимое в любой формальной системе. Например, два человека называют красный цвет красным потому, что испытают при виде него одинаковые ощущения. Теоретически можно создать машину с такими субъективными переживаниями. Но зачем?
Во-вторых, мы определенным образом ощущаем мир и себя в нем. В таком варианте сознание уже можно рассматривать как вещь, необходимую для интеллекта уровня человека.
Если описать состояние мозга в произвольный момент на уровне функций каждого нейрона, это не будет иметь отношения к субъективному восприятию мира. Для людей мир состоит из объектов, а чувства обеспечивают единое понимание происходящего. Не ясно, как связать этот уровень опыта с нейронами, но подобный опыт необходим сильному ИИ. Причем он описывается на уровне объектов и агентов, а не на уровне состояния нейронов.
Ключевая часть самоощущения – это представление о том, что человек – это нечто большее, чем его тело. Это тема наших исследований. Вместе с философом Лори Полом и моим бывшим студентом и коллегой Томером Уллманом мы работаем над статьей, которую назвали Reverse Engineering the Self («Обратное проектирование себя»).
М. Ф.: Это тот же принцип, что и в обратном проектировании интеллекта?
Дж. Т.: Да, мы пытаемся понять один простой аспект нашего «я». Я называю его простым, но это только небольшая частичка набора вещей, которые можно называть сознанием. Специалисты в сфере ИИ, особенно те, кто занимается сильным ИИ, говорят, что работают над машинами, которые могут самостоятельно думать или учиться. Но такая машина обязательно должна себя осознавать.
У современных ИИ-систем, будь то беспилотные автомобили или такие программы, как AlphaGo, ничего подобного нет. Эти системы рекламируются как «самообучающиеся». Но без собственной личности они не понимают, что они делают. Человек, играющий в го, осознает процесс игры. Если он решает научиться играть в го, это будет его решение. Человек может попросить научить его, может практиковаться с другими. Он принимает множество решений, руководствуясь тем, как он себя ощущает в разные моменты времени. Если мы хотим получить систему с интеллектом уровня человека, ее нужно научить делать то, что сейчас делают инженеры. Другой вопрос – нужны ли нам такие машины?
М. Ф.: Какие опасности, на ваш взгляд, несет в себе ИИ в краткосрочной и долгосрочной перспективе?
Дж. Т.: Сейчас много говорят о сингулярности и суперинтеллектуальных машинах, которые решат захватить мир, потому что их цели окажутся несовместимыми с существованием людей. Я допускаю, что в далеком будущем может произойти что-то подобное, но лично меня это не беспокоит. Как я говорил выше, мы пока понятия не имеем, как добавить машинам ощущение себя. Соответственно, мысль о том, что они внезапно решат захватить мир, в настоящий момент абсурдна.
Честно говоря, у нас есть более актуальные поводы для беспокойства. Например, опасности, связанные со все более мощными алгоритмами, которые мы разрабатываем, пытаясь приблизиться к сильному ИИ. Они могут быть использованы как для полезных, так и для злонамеренных действий.
Я думаю, что ИИ-сообщество все больше осознает необходимость заниматься рисками, которые грозят нам в краткосрочной перспективе, будь то вопросы конфиденциальности или прав человека. Или то, как повальная автоматизация повлияет на экономику и рынок труда.
На протяжении почти всей истории существования человечества люди находили какой-то источник заработка и тратили первую часть жизни на приобретение профессиональных навыков. А дальше профессия могла кормить их до самой смерти. При необходимости можно было переквалифицироваться, но большинству этого просто не требовалось.
Сейчас же из-за постоянно развивающихся технологий рабочие места чаще меняются, появляются или исчезают. За время жизни человека это может произойти несколько раз. Разумеется, технологические изменения, из-за которых исчезали целые направления деятельности, случались всегда, но раньше этот процесс занимал намного больше времени. Когда-нибудь всем в течение жизни придется неоднократно переобучаться. И думать об этом следует уже сейчас.
М. Ф.: Возможна ли ситуация, при которой большинство окажется не в состоянии угнаться за постоянно меняющимися технологиями? Не лучше ли рассмотреть идею универсального базового дохода?
Дж. Т.: Я не думаю, что мы столкнемся с подобной ситуацией. Люди – устойчивый и гибкий вид. Да, возможно, наши способности к обучению и переподготовке ограничены. Но сейчас мы понятия не имеем, какие виды деятельности в будущем получат статус работы и начнут использоваться для получения средств к существованию.
Меня сильнее волнует куда более масштабная и неотложная проблема – изменение климата. Исследования в сфере ИИ способствуют ее приближению. Компьютеры все чаще используются для ИИ-приложений, майнинга криптовалют и прочих вещей, увеличивающих потребление энергии. На мой взгляд, те, кто занимается исследованиями ИИ, должны подумать о том, как их деятельность влияет на климат и как внести позитивный вклад в решение этой проблемы. Сейчас на этот аспект принято не обращать внимания.
Возникают проблемы и в сфере прав человека. Например, ИИ-технологии можно применять для шпионажа. Понятно, что исследователи не могут предотвратить или запретить использование технологий в злонамеренных целях, но они могут придумать какие-то контрмеры, например, дать людям возможность выяснять, когда за ними следят. Но эти моральные проблемы обязательно нужно решать.
М. Ф.: Как вы считаете, способно ли государство гарантировать применение ИИ в позитивном ключе с помощью регуляционных мер?
Дж. Т.: На мой взгляд, в Кремниевой долине работают в основном сторонники доктрины о свободе воли, которые считают, что главное – двигать вперед прогресс, а люди как-нибудь сами разберутся, что со всем этим делать. Честно говоря, мне бы хотелось, чтобы правительство и технологическая отрасль перестали враждебно относиться друг к другу и увидели больше общих целей.
Я оптимист и считаю, что представители разных групп могут и должны больше работать вместе и что исследователи ИИ могут стать инициаторами такого рода сотрудничества.
М. Ф.: Прокомментируйте проблему выравнивания, о которой писал Ник Бостром. С одной стороны, нам еще рано говорить о появлении суперинтеллекта, но может получиться так, что для поиска возможностей контроля таких систем потребуется еще больше времени. И именно поэтому решение проблемы выравнивания нужно искать уже сейчас.
Дж. Т.: На мой взгляд, задумываться о таких вещах можно и даже нужно. Просто не в первую очередь. Хотя бы потому, что существуют намного более актуальные экзистенциальные опасности. Проблему выравнивания ценностей трудно решить, потому что мы толком не знаем, что такое ценности. Те, кто занимается вычислительной когнитивистикой, пытаются понять, что же такое ценности, и выполнить их инженерный анализ. Но моральные принципы невозможно описать с инженерной точки зрения.
Мне кажется, что первым делом нужно лучше понять самих себя, и только потом можно будет переходить к технологической стороне. Нужно осознать, каким образом у людей появляется представление об их ценностях и моральных принципах. Этот вопрос актуален в когнитивистике, и по мере роста машинного интеллекта поиск ответа на него станет общеобязательным.
Кроме того, с помощью ИИ-технологий правительства и компании манипулируют людьми. В сравнении с этой проблемой выравнивание ценностей относится к фундаментальным исследовательским вопросам, которые нам вряд ли придется решать в реальности.
М. Ф.: Удастся ли добиться того, чтобы преимущества ИИ перевесили его отрицательные стороны?
Дж. Т.: По натуре я оптимист, поэтому мне сразу хочется ответить «да», но, к сожалению, этого нельзя гарантировать. Любые технологии, будь то ИИ, смартфоны или социальные сети, преобразуют нашу жизнь, меняют способ взаимодействия друг с другом и природу человеческого опыта. Я не уверен, что все это перемены к лучшему. Трудно с оптимизмом смотреть на семьи, в которых все проводят время со своими телефонами, или на то плохое, что принесли в нашу жизнь социальные сети.
Мы должны осознать и изучить все способы, которыми технологии делают с нами безумные вещи! Они проникают в наш мозг, меняют нашу систему ценностей, систему вознаграждений, систему социального взаимодействия. Я думаю, что нужно более активно исследовать эти явления.
Мне бы хотелось, чтобы сообщество серьезно озаботилось этой проблемой. Я оптимистично думаю, что в долгосрочной перспективе мы создадим ИИ, который, в конечном счете, принесет пользу всем. Но это возможно только при условии, что мы уже сейчас направим наши усилия в нужную сторону.
Орен Этциони
“Большинство людей, не задумываясь, ответит на вопрос «пройдет ли слон в дверной проем?», машина же впадет в ступор. То, что легко для одного, трудно для другого, и наоборот. Я называю это парадоксом ИИ".
Генеральный директор AI2
Орен Этциони курирует проект Mosaic. Является членом AAAI и успешным предпринимателем, стартапы которого приобретены такими гигантами, как eBay и Microsoft. Участвовал в реализации механизмов поиска, онлайн-шопинга, машинного чтения, извлечения открытой информации и семантического поиска академической литературы. Степень бакалавра computer science получил в Гарварде, а докторскую степень – в Университете Карнеги – Меллона. Был профессором в Университете штата Вашингтон. Стал соавтором более 100 технических документов.