Надежный и этичный ИИ
Представьте, что вы поздно вечером возвращаетесь с рождественского корпоратива на беспилотном автомобиле. На улице темно, идет снег. “Машина, вези меня домой”, – устало говорите вы. Вы немного навеселе. Вы откидываетесь на спинку сиденья, с облегчением закрываете глаза, а машина заводится и трогается с места.
Все хорошо, но чувствуете ли вы себя в безопасности? Успех беспилотных автомобилей всецело зависит от машинного обучения (особенно глубокого обучения), которое должно обеспечить автомобиль компьютерным зрением и системой принятия решений. Как нам определить, научились ли эти автомобили всему необходимому?
В индустрии беспилотных автомобилей это вопрос на миллиард. Я слышала от экспертов противоречивые мнения о том, когда беспилотные автомобили станут играть значительную роль в повседневной жизни, причем прогнозы (на момент написания этой книги) варьировались в диапазоне от нескольких лет до многих десятилетий. Беспилотные автомобили могут значительно облегчить нам жизнь. Автоматизированные транспортные средства могут существенно снизить число ежегодных смертей и травм в автомобильных авариях, миллионы которых случаются по вине рассеянных или пьяных водителей. Кроме того, автоматизированный транспорт позволит пассажирам стать продуктивнее во время поездок. Потенциальная энергоэффективность таких автомобилей выше, чем автомобилей с водителем, а для слепых и инвалидов, которые не могут водить машину, беспилотный транспорт и вовсе станет спасением. Но все это осуществится на практике, только если мы, люди, отважимся доверить беспилотным автомобилям свою жизнь.
Машинное обучение используется для принятия решений, влияющих на жизнь людей, во многих сферах. Как убедиться, что машины, формирующие вашу ленту новостей, диагностирующие ваши болезни, рассматривающие ваши заявки на кредит или – упаси боже – рекомендующие длительность вашего тюремного заключения, достаточно обучены, чтобы принимать взвешенные решения?
Эти вопросы волнуют не только исследователей ИИ, но и все общество, которое должно оценить множество текущих и будущих применений ИИ в свете сомнений относительно его надежности и потенциальных злоупотреблений.
Полезный ИИ
Анализируя роль ИИ в нашем обществе, легко обращать внимание на его недостатки. Однако не стоит забывать, что системы ИИ уже дают обществу огромные преимущества и потенциально могут стать еще полезнее. Хотя порой вы этого не сознаете, на современных технологиях ИИ основаны многие знакомые вам сервисы: расшифровка аудиозаписей, GPS-навигация, планирование поездок, спам-фильтры электронной почты, переводы с языка на язык, предупреждения о мошенничестве с кредитными картами, рекомендации книг и музыки, защита от компьютерных вирусов и оптимизация расходования энергии в зданиях.
Если вы фотограф, режиссер, художник или музыкант, возможно, вы используете системы ИИ, которые помогают вам в творческих проектах – например, программы для редактирования фотоснимков или нотации музыкальных произведений и создания аранжировок. Если вы студент, возможно, вы пользуетесь “интеллектуальной системой обучения”, которая адаптируется к особенностям вашего восприятия. Если вы ученый, вполне вероятно, что вы прибегали к одному из многих существующих инструментов ИИ при анализе данных. Если вы страдаете от слепоты или нарушений зрения, возможно, вы используете на своем смартфоне приложения компьютерного зрения, которые читают рукописный и печатный текст (например, на знаках и вывесках, в меню ресторанов, на деньгах). Если вы плохо слышите, теперь вы можете читать довольно точные субтитры к видео на YouTube, а в некоторых случаях – даже расшифровку речи прямо в ходе лекции. Это лишь несколько примеров того, как современные инструменты ИИ облегчают людям жизнь. Многие другие технологии ИИ еще разрабатываются, но вскоре также войдут в обиход.
В ближайшем будущем ИИ, скорее всего, широко распространится в здравоохранении. Мы увидим системы ИИ, которые будут помогать врачам ставить диагнозы и разрабатывать схемы лечения, открывать новые лекарства и следить за здоровьем и безопасностью пожилых людей у них на дому. Научное моделирование и анализ данных будут все больше полагаться на инструменты ИИ – например, при совершенствовании моделей изменения климата, роста населения и демографических изменений, экологии и науки о продуктах питания, а также других важных проблем, с которыми общество столкнется в следующем веке. Один из основателей Google DeepMind Демис Хассабис считает это самым важным потенциальным преимуществом ИИ:
Возможно, нам придется прийти к отрезвляющему осознанию того, что, даже если решением этих задач займутся самые умные люди планеты, эти [задачи] могут оказаться настолько сложными, что отдельным людям и научным экспертам сложно будет в течение жизни создать необходимые инновации и продвинуться вперед… Я уверен, что нам потребуется помощь, и думаю, решением станет ИИ[154].
Все мы слышали, что в будущем ИИ займется работой, которую терпеть не могут люди, – низкооплачиваемой, скучной, изнурительной, унизительной, негуманной и просто опасной. Если это действительно произойдет, это положительно скажется на благосостоянии людей. (Позже я опишу другую сторону этой медали – опасение, что ИИ заберет слишком много работы у людей.) Сегодня роботы широко используются для выполнения рутинных и однообразных задач на заводах, но со многими подобными задачами современные роботы еще не справляются. И все же по мере развития ИИ все больше подобной работы будет автоматизироваться. Вот несколько примеров будущего профессионального применения ИИ: беспилотные автомобили и грузовики, роботы для сбора фруктов, тушения пожаров, обезвреживания мин и очистки окружающей среды. Кроме того, роботы, вероятно, будут еще активнее, чем сегодня, использоваться для исследования космоса и других планет.
Пойдет ли обществу на пользу передача всех этих задач ИИ? Чтобы взглянуть на ситуацию шире, можно обратиться к истории технологий. Вот несколько профессий, которые давно оказались автоматизированы, во всяком случае в развитых странах: прачка, рикша, лифтер, пункавалла (слуга в Индии, единственной задачей которого было охлаждение комнаты с помощью опахала, пока не появились электрические вентиляторы), вычислитель (человек, обычно женщина, вручную осуществлявший утомительные вычисления, особенно во время Второй мировой войны). Большинство людей согласится, что в таких случаях замена людей машинами сделала жизнь лучше. Можно сказать, что сегодня ИИ просто продолжает эту траекторию прогресса, улучшая людям жизнь путем все большей автоматизации необходимых видов труда, которыми никто не хочет заниматься.
Великий компромисс ИИ
Разработчик ИИ Эндрю Ын оптимистично заявил: “ИИ – это новое электричество”. Он пояснил свою точку зрения: “Сто лет назад электричество преобразило все, а сегодня я не могу придумать отрасль, которую ИИ, по моему мнению, не преобразит в следующие несколько лет”[155]. По этой интересной аналогии совсем скоро ИИ станет таким же необходимым для наших электронных устройств – и таким же невидимым, – как само электричество. Однако важное различие заключается в том, что наука хорошо изучила электричество, прежде чем началась его коммерциализация. Мы умеем прогнозировать поведение электричества. Но со многими современными системами ИИ ситуация обстоит иначе.
Это приводит нас к тому, что можно назвать “Великим компромиссом ИИ”. Стоит ли нам с распростертыми объятиями принять способности систем ИИ, которые могут облегчить нам жизнь и даже помочь спасти жизни, и позволить более широкое внедрение новых систем? Или же нам следует быть осторожнее, учитывая непредсказуемые ошибки и предвзятость современного ИИ, его уязвимость для взлома и недостаток прозрачности в принятии решений? В какой степени людям следует контролировать различные системы ИИ? Какой должна быть система ИИ, чтобы мы могли позволить ей работать автономно? Споры об этом не утихают, хотя ИИ внедряется все шире и высказываются мнения, что его новые применения (например, беспилотные автомобили) уже не за горами.
Отсутствие консенсуса по этим вопросам было подчеркнуто в недавнем исследовании, проведенном Исследовательским центром Пью[156]. В 2018 году аналитики центра собрали мнения почти тысячи “пионеров технологий, инноваторов, разработчиков, руководителей бизнеса, управленцев, исследователей и активистов” по следующим вопросам:
Как вы думаете, можно ли с большой вероятностью утверждать, что к 2030 году развивающийся ИИ и родственные технологические системы расширят и дополнят человеческие возможности? Можно ли сказать, что большинство людей в основном будет жить лучше, чем сейчас? Или же, напротив, более вероятно, что развивающийся ИИ и родственные технологические системы ограничат самостоятельность и способность людей к действиям в такой степени, что большинство людей не станет жить лучше, чем сегодня?
Мнения разделились: 63 % респондентов полагали, что прогресс в ИИ улучшит жизнь людей к 2030 году, но 37 % не соглашались с ними. Одни утверждали, что ИИ “фактически искоренит бедность во всем мире, значительно снизит уровень заболеваемости и обеспечит более качественное образование почти для всех людей на планете”, в то время как другие прогнозировали апокалиптическое будущее: автоматизацию огромного количества профессий, потерю приватности и гражданских прав из-за постоянного наблюдения с применением технологий ИИ, появление неэтичного автономного оружия, самостоятельное принятие решений непрозрачными и ненадежными компьютерными программами, усиление расовой и гендерной предвзятости, манипуляции СМИ, рост киберпреступности и то, что один респондент назвал “истинной, экзистенциальной бесполезностью” людей.
Развитие машинного интеллекта сопряжено с целым клубком этических проблем, и дискуссии об этике ИИ и больших данных стали материалом для нескольких книг[157]. Чтобы проиллюстрировать сложность возникающих вопросов, я подробнее разберу один пример, который сегодня привлекает большое внимание: автоматическое распознавание лиц.
Этика распознавания лиц
Распознавание лиц – это задача присвоения имени лицу на изображении или видеозаписи (или в прямом эфире). Так, Facebook применяет алгоритм распознавания лиц к каждой фотографии, загружаемой на платформу, пытаясь выявить лица на снимке и соотнести их с известными пользователями сети (по крайней мере с теми, кто не отключил эту функцию)[158]. Если вы находитесь на Facebook и кто-то загружает фотографию с вашим лицом, система может спросить вас, хотите ли вы “отметить себя” на фото. Точность алгоритма распознавания лиц, используемого Facebook, одновременно впечатляет и пугает. Неудивительно, что эта точность обеспечивается работой глубоких сверточных нейронных сетей. Программа часто распознает лица не только когда они находятся на переднем плане в центре снимка, но и когда человек стоит в толпе.
Технология распознавания лиц имеет множество потенциальных плюсов: она может помогать людям искать фотографии в своих коллекциях, позволять людям с нарушениями зрения узнавать встречаемых людей, искать лица пропавших детей и беглых преступников на фотографиях и видео и выявлять случаи кражи личности. Однако столь же просто представить для нее применения, которые многим могут показаться оскорбительными или опасными. Так, Amazon предлагает свою систему распознавания лиц (в названии которой – Rekognition – слышатся странные отголоски антиутопий) полицейским управлениям, которые могут сравнивать, скажем, видео с камер видеонаблюдения с базой данных известных преступников или возможных подозреваемых.
Очевидной проблемой становится приватность. Даже если я не зарегистрирована на Facebook (или в любой другой социальной сети, использующей распознавание лиц), мои фотографии могут быть размечены и впоследствии автоматически распознаны сайтом без моего разрешения. Например, компания FaceFirst за плату предоставляет услуги по распознаванию лиц. Журнал New Scientist пишет: “FaceFirst… представляет систему для розничных магазинов, которая, как утверждается, «поднимает продажи, узнавая ценных клиентов при каждом посещении», а также отправляет «оповещения, когда известные проблемные клиенты входят в любой из ваших магазинов»”[159]. Подобные услуги предлагают и многие другие компании.
Но потеря приватности не единственная возникающая здесь проблема. Еще тревожнее становится, если задуматься о надежности систем распознавания лиц, ведь известно, что они порой совершают ошибки. Если ваше лицо будет ошибочно распознано, вам могут отказать в посещении магазина, запретить сесть в самолет или несправедливо обвинить в преступлении. Более того, современные системы распознавания лиц допускают значительно больше ошибок при распознавании цветных лиц, чем при распознавании белых. Американский союз защиты гражданских свобод (ACLU), который яростно сопротивляется использованию технологии распознавания лиц в правоохранительных органах, ссылаясь на потенциальное нарушение гражданских прав, протестировал систему Rekognition, разработанную Amazon, на 535 членах Конгресса США (не меняя настроек по умолчанию). Фотография каждого члена Конгресса сравнивалась с базой данных людей, арестованных по обвинениям в совершении уголовных преступлений. В ходе проверки система некорректно распознала лица 28 из 535 членов Конгресса, обнаружив для них соответствия в базе данных преступников. Двадцать один процент ошибок пришелся на фотографии афроамериканцев (при этом афроамериканцы составляют всего около 9 % членов Конгресса)[160].
На волне негатива после теста ACLU и других исследований, демонстрирующих ненадежность и предвзятость систем распознавания лиц, несколько высокотехнологичных компаний объявили, что выступают против использования технологии распознавания лиц в правоохранительных органах и скрытом наблюдении. Так, Брайан Брэкин, генеральный директор компании Kairos, которая специализируется на распознавании лиц, написал в широко разошедшейся статье следующее:
Технологии распознавания лиц, используемые для установления личности подозреваемых, негативно влияют на цветных людей. Отрицая это, мы обманываем себя… Я сам пришел к выводу (и в моей компании меня поддержали), что использование коммерческих систем распознавания лиц в правоохранительной сфере и государственном наблюдении любого типа недопустимо – и что оно открывает дверь для недобросовестного поведения нечистоплотных людей… Мы заслуживаем жить в мире, где мы не даем государствам возможности категоризировать, отслеживать и контролировать своих граждан[161].
В блоге на сайте компании президент и директор Microsoft по юридическим вопросам Брэд Смит призвал Конгресс регламентировать распознавание лиц:
Технология распознавания лиц поднимает вопросы, которые касаются механизмов защиты таких фундаментальных прав человека, как право на неприкосновенность частной жизни и свободу самовыражения. Эти вопросы повышают ответственность технологических компаний, создающих соответствующие продукты. На наш взгляд, они также призывают к созданию продуманного государственного регламента и разработке норм допустимого использования [систем]. Распознавание лиц потребует активных действий как от государственного, так и от частного сектора[162].
Компания Google последовала примеру коллег и объявила, что не будет предлагать универсальную услугу по распознаванию лиц на своей облачной платформе ИИ, пока не сможет “гарантировать, что ее использование соответствует нашим принципам и ценностям, не допускает злоупотреблений и не приводит к пагубным последствиям”[163].
Реакция этих компаний обнадеживает, но выводит на первый план другой важный вопрос: в какой степени следует регламентировать исследования и разработки ИИ, и кто должен устанавливать регламенты?
Регулирование ИИ
Учитывая риски технологий ИИ, многие специалисты по ИИ, включая меня, выступают за введение определенного регулирования. Но это регулирование не должно осуществляться исключительно силами исследователей и компаний, работающих в сфере ИИ. Связанные с ИИ проблемы – надежность, объяснимость, предвзятость, уязвимость к атакам, этика использования – имеют не только технический, но также социальный и политический характер, а потому очень важно, чтобы в их обсуждении участвовали представители разных сфер. Вверить регламентацию ИИ только специалистам или только государственным органам в равной степени недальновидно.
Примером того, как сложно разрабатывать подобные регламенты, может служить принятый в 2018 году закон Европейского парламента, который прозвали “правом на объяснение”[164]. По этому закону при “автоматическом принятии решений” должна быть доступна “осмысленная информация о внутренней логике” любого решения, касающегося гражданина ЕС. Эта информация должна предоставляться “в краткой, прозрачной, понятной и легкодоступной форме с использованием простого и ясного языка”[165]. Такая формулировка допускает множество интерпретаций. Что считать “осмысленной информацией” или “внутренней логикой”? Запрещает ли этот закон использование труднообъяснимых методов глубокого обучения в принятии решений, касающихся граждан (например, при вынесении решений по кредитам или распознавании лиц)? Такие неопределенности, несомненно, еще долго будут обеспечивать работой юристов и сотрудников регуляторных органов.
На мой взгляд, ИИ следует регулировать по модели других технологий, в частности применяемых в биологических и медицинских науках, например генной инженерии. В этих сферах регулирование – такое, как проведение контроля качества и анализа рисков и пользы технологий, – происходит в результате совместной работы государственных органов, компаний, университетов и некоммерческих организаций. Кроме того, существуют достаточно развитые области биоэтики и медицинской этики, которые оказывают значительное воздействие на решения о разработке и применении технологий. Исследование и применение ИИ отчаянно нуждается в продуманной регуляторной и этической инфраструктуре.
Формирование такой инфраструктуры только начинается. В США правительства штатов начинают разработку регламентов, в том числе для применения технологий распознавания лиц и использования беспилотного транспорта. Однако по большей части университетам и компаниям, создающим системы ИИ, приходится самим регламентировать свою деятельность.
Пустоту пытаются заполнить некоммерческие аналитические центры, часто финансируемые богатыми предпринимателями, которые работают в сфере технологий и беспокоятся об ИИ. Эти организации – с такими названиями, как Институт будущего человечества, Институт будущего жизни и Центр по изучению экзистенциального риска, – проводят семинары, спонсируют исследования, создают образовательные материалы и предлагают к внедрению меры, обеспечивающие безопасное и этичное использование ИИ. Головная организация, Партнерство по искусственному интеллекту, пытается объединить такие группы под своей эгидой, чтобы “служить открытой платформой для дискуссий и взаимодействия по вопросам ИИ и его влияния на людей и общество”[166].
Загвоздка в том, что не существует общего согласия в вопросе о том, как расставить приоритеты при разработке регламентов и этических норм. Стоит ли первым делом обратить внимание на алгоритмы, способные объяснить ход своих рассуждений? Или на конфиденциальность данных? Или на устойчивость систем ИИ к злонамеренным атакам? Или на предвзятость систем ИИ? Или на потенциальный “экзистенциальный риск”, исходящий от сверхразумного ИИ? Лично я полагаю, что слишком много внимания уделяется рискам, исходящим от сверхразумного ИИ, и слишком мало – ненадежности, непрозрачности и уязвимости глубокого обучения к атакам. Подробнее об идее сверхразумности я расскажу в последней главе.
Нравственные машины
Пока я рассказывала об этических аспектах использования ИИ людьми. Но есть и другой серьезный вопрос: могут ли машины обладать собственной моралью, которой будет достаточно, чтобы мы позволили им самостоятельно принимать этические решения, не проверяемые людьми? Если мы собираемся наделить системы распознавания лиц, беспилотные автомобили, роботов для ухода за стариками и даже роботизированных солдат автономностью в принятии решений, разве нам не нужно обеспечить эти машины такой же способностью к рассмотрению этических и моральных вопросов, которой обладаем мы сами?
Люди рассуждают о “морали машин” с тех самых пор, как впервые заговорили об ИИ[167]. Возможно, самая известная дискуссия о морали машин содержится в научно-фантастических рассказах Айзека Азимова, на страницах которых он предложил “три закона робототехники”:
1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен подчиняться приказам человека, за исключением тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму законам[168].
Эти законы стали знаменитыми, но на самом деле Азимов хотел показать, что такой набор правил неизбежно потерпит фиаско. Азимов впервые сформулировал эти законы в опубликованном в 1942 году рассказе “Хоровод”, по сюжету которого робот, повинуясь второму закону, движется к опасному веществу, но тут вступает в действие третий закон, поэтому робот разворачивается, после чего в действие снова вступает второй закон – и робот оказывается заложником бесконечной петли, что едва не приводит к катастрофе для людей. В своих рассказах Азимов часто описывал непредвиденные последствия этического программирования роботов. Азимов заглядывал в будущее: как мы видели, проблема несовершенства правил и возникновения непредвиденных последствий преследует все системы ИИ на основе правил, и с моральными суждениями ситуация обстоит точно так же.
Писатель-фантаст Артур Кларк использовал подобный сюжетный ход в своей книге “2001: Космическая одиссея”, опубликованной в 1968 году[169]. Искусственно-разумный компьютер ЭАЛ запрограммирован всегда говорить людям правду, но в то же время утаивать от астронавтов истинную цель их космической миссии. В отличие от беспомощного робота Азимова, ЭАЛ страдает от психологической боли, которую причиняет ему этот когнитивный диссонанс: “Он… улавливал в себе противоречие, которое медленно, но верно подтачивало цельность его электронной психики, – противоречие между правдой и необходимостью ее скрывать”[170]. В результате у компьютера развился “невроз”, который превратил ЭАЛа в убийцу. Рассуждая о реальной морали машин, математик Норберт Винер еще в далеком 1960 году отметил, что “нам нужно быть совершенно уверенными, что в машину закладывается именно та цель, которую мы хотим в нее заложить”[171].
В словах Винера находит отражение так называемая проблема соответствия ценностей в ИИ: стоящая перед программистами ИИ задача обеспечить, чтобы ценности их системы соответствовали ценностям людей. Но каковы ценности людей? Можно ли вообще считать, что общество разделяет некоторые универсальные ценности?
Добро пожаловать на курс основ этики. Для начала разберем любимый мысленный эксперимент всех студентов, изучающих этику – проблему вагонетки: вы едете на вагонетке, которая несется по рельсам, и видите впереди пятерых рабочих, которые стоят прямо у вас на пути. Вы ударяете по тормозам, но они не работают. К счастью, вправо уходит запасной путь, и вы можете повернуть на него, чтобы не сбить рабочих. К несчастью, на запасном пути тоже стоит рабочий – правда, всего один. Если вы ничего не сделаете, вагонетка собьет пятерых рабочих и все они погибнут. Если вы повернете направо, при столкновении погибнет только один рабочий. Как следует поступить с точки зрения морали?
Студенты разбирают проблему вагонетки целое столетие. Большинство людей отвечает, что с точки зрения морали предпочтительно увести вагонетку на запасной путь и убить одного рабочего, но спасти пятерых. Однако философы обнаружили, что другие формулировки одной и той же, по сути, дилеммы, склоняют людей к противоположному ответу[172]. Оказывается, рассуждая о моральных дилеммах, люди обращают огромное внимание на то, как эти дилеммы сформулированы.
Недавно проблема вагонетки снова всплыла в прессе при обсуждении беспилотных автомобилей[173], и вопрос о том, как следует программировать автономный автомобиль для решения таких проблем, вышел на первый план в дискуссиях об этике ИИ. Многие философы ИИ отмечают, что проблема вагонетки, в которой у водителя есть лишь два ужасных варианта, сама по себе весьма надуманна, а потому ни один водитель никогда не столкнется с ней в реальном мире. И все же она стала своеобразным символом, к которому обращаются всякий раз, когда встает вопрос, как следует программировать беспилотные автомобили, чтобы они смогли самостоятельно принимать моральные решения.
В 2016 году трое исследователей опубликовали результаты опросов нескольких сотен людей, которым предлагали оценить моральную составляющую различных действий беспилотных автомобилей в сценариях, напоминающих проблему вагонетки. В одном опросе 76 % респондентов ответили, что с точки зрения морали беспилотному автомобилю предпочтительно пожертвовать одним пассажиром, чтобы спасти десять пешеходов. Однако, когда людей спросили, купят ли они беспилотный автомобиль, запрограммированный жертвовать своими пассажирами, чтобы спасать гораздо большее число пешеходов, респонденты в подавляющем большинстве ответили, что не стали бы покупать такой автомобиль[174]. “Мы обнаружили, что участники шести исследований, проведенных Amazon Mechanical Turk, одобряли утилитарное использование АА [автономных автомобилей] (то есть АА, которые жертвуют своими пассажирами с благими целями) и хотели бы, чтобы их покупали другие люди, но сами предпочли бы ездить на АА, защищающих своих пассажиров любой ценой”, – написали авторы. В своем комментарии к исследованию психолог Джошуа Грин отметил: “Прежде чем заложить свои ценности в машины, нам необходимо разобраться, как сделать свои ценности понятными и последовательными”[175]. Похоже, это сложнее, чем нам казалось.
Некоторые исследователи этики ИИ предположили, что нам не стоит пытаться непосредственно запрограммировать машины на следование правилам морали, а лучше позволить машинам самостоятельно усваивать моральные ценности, наблюдая за поведением людей[176]. Однако самостоятельное обучение наследует все проблемы машинного обучения, которые я описала в предыдущей главе.
На мой взгляд, прогресс в наделении компьютеров моральным интеллектом нельзя отделить от прогресса в наделении их другими типами интеллекта, ведь истинная сложность заключается в создании машин, действительно понимающих ситуации, с которыми они сталкиваются. Как показывают рассказы Айзека Азимова, робот не может надежно следовать приказу не причинять вред человеку, если он не понимает, что есть вред в различных обстоятельствах. Чтобы рассуждать о морали, необходимо понимать причинно-следственные связи, просчитывать возможные варианты будущего, иметь представление об убеждениях и целях окружающих и прогнозировать вероятные результаты действий в любой возможной ситуации. Иными словами, чтобы выносить надежные моральные суждения, необходимо пользоваться общим здравым смыслом, которого, как мы видели, не хватает даже лучшим современным системам ИИ.
Пока в этой книге мы увидели, как глубокие нейронные сети, обученные на огромных наборах данных, могут соперничать с людьми в выполнении конкретных зрительных задач. Мы также увидели некоторые слабости этих сетей, включая их зависимость от колоссальных объемов размеченных людьми данных и склонность ошибаться совсем не так, как человек. Как нам создать систему ИИ, которая действительно учится самостоятельно – и которая станет надежнее, потому что, как и люди, сможет судить о текущей ситуации и планировать будущее? В следующей части книги я опишу, как исследователи ИИ используют шахматы, го и даже видеоигры Atari в качестве “микрокосма” для создания машин, способных учиться и рассуждать на человеческий манер, и объясню, как разрабатываемые ими игровые машины, наделенные сверхчеловеческими способностями, могут переносить свои навыки в реальный мир.