Недавно в «Новой газете» появился обзор нон-фикшн книг 2016 года. Редактор отдела политики Кирилл Мартынов выбрал 10 научно-популярных изданий, «чтение и обсуждение которых помогает прояснить момент, в котором мы живем». В список попала книга американского философа Ника Бострома «Искусственный интеллект» . Автор обзора пишет: «Тема развития нейросетей, искусственного интеллекта и автоматизации рабочих мест белых воротничков является ключевой для современной культуры и экономики».

Мы согласны: тема очень важная и серьезная. Поэтому в сегодняшней рубрике рассказываем о перспективах появления сверхразумных машин.

Фильмы о киборге-терминаторе популярны во всем мире уже более тридцати лет. В 2015 году на экраны вышла пятая картина из этой серии. Но задумывается ли кто-то из зрителей, что подобное развитие событий не так уж фантастично? Сверхразумные машины действительно могут появиться. Однако вряд ли люди будут способны им противостоять, как в популярном боевике.

Преимущества искусственного интеллекта

Нам очень трудно - если вообще возможно - интуитивно понять, на что способен сверхразум, можно попытаться лишь приблизиться к этому пониманию, взглянув на преимущества, которыми обладает цифровой интеллект. Легче всего оценить плюсы аппаратного обеспечения.

• Скорость вычислительных элементов. Пиковая скорость работы биологических нейронов - около 200 Гц, что на семь порядков медленнее современных микропроцессоров.
• Количество вычислительных элементов. Очевидно, что количество нейронов в биологическом существе ограничено объемом черепа и особенностями метаболизма. В отличие от биологического мозга, компьютерное оборудование масштабируется до гигантских физических размеров. Суперкомпьютеры могут быть размером со склад или даже больше, причем с помощью высокоскоростных кабелей к ним можно подключать дополнительные удаленные вычислительные мощности.

Суперкомпьютер Titan.

• Емкость памяти. Человек способен удерживать в кратковременной памяти не более четырех-пяти блоков информации одновременно. Хотя сравнивать напрямую кратковременную память с оперативной памятью компьютера не совсем корректно, ясно, что конструктивные преимущества цифрового интеллекта позволяют ему иметь рабочую память гораздо большего размера. Это значит, что такой интеллект способен интуитивно схватывать суть сложных взаимоотношений, которые люди могут нащупать лишь при помощи кропотливого труда.
• Надежность, продолжительность жизни, сенсоры, отсутствие чувства усталости и многое другое.

Смогут ли машины думать?

Полагаете, компьютеры никогда не станут умнее людей? Но некоторые программы уже легко побеждают чемпионов мира в интеллектуальных играх. Например, программа «Чинук» еще в 1994 году обыграла действующего чемпиона мира по шашкам, программа TD-Gammon превосходит лучших игроков в нарды, а суперкомпьютер Deep Blue в 1997 году победил чемпиона мира по шахматам Гарри Каспарова.

Тот самый Deep Blue. Сейчас он находится в музее компьютерной истории в Калифорнии.

Вот еще несколько фактов, которые показались бы нашим предкам фантастикой:

• Система «Логик-теоретик» сумела доказать почти все теоремы из второго тома «Оснований математики» Альфреда Уайтхеда и Бертрана Рассела, что демонстрирует способность машины к дедукции и логическим построениям.
• Робот «Трясучка» показал, что машина может продумывать и контролировать свою двигательную активность, когда логическое мышление совмещено с восприятием окружающей действительности.
• Программа ELIZA прекрасно имитирует поведение психотерапевта.
• В середине 1970-х годов программа SHRDLU продемонстрировала, как смоделированный робот в смоделированном мире спокойно манипулирует объемными геометрическими фигурами, не только выполняя инструкции пользователя, но и отвечая на его вопросы.
• В последующие десятилетия были созданы программы, способные сочинять классическую музыку разных жанров, решать проблемы клинической диагностики быстрее и увереннее врачей-стажеров, самостоятельно управлять автомобилями и делать патентоспособные изобретения.

Вряд ли сейчас подобные факты смогут произвести хоть какое-то впечатление. Но это обусловлено тем, что наши представления о стандартах несколько смещены, поскольку мы уже знакомы с выдающимися достижениями в компьютерном мире.

Современные программы все еще далеки от того, что можно назвать сверхразумом. Однако многие ученые уверены: он появится, причем довольно скоро.

Машина-ребенок, эволюция и непрерывное совершенствование

Математик Алан Тьюринг еще в 1950 году высказал мысль о том, что можно использовать обучение как средство развития простой системы: «Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не создать программу, которая бы имитировала ум ребенка? Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека».

Сегодня эта теория представляется самой перспективной: усилия должны быть сосредоточены на создании системы, способной к обучению и работе с неопределенной информацией.

Тьюринг говорил и о том, что процесс создания искусственного интеллекта будет иметь много общего с эволюцией: «Вряд ли нам удастся получить хорошую „машину-ребенка“ с первой же попытки. Надо провести эксперимент по обучению какой-либо из машин такого рода и выяснить, как она поддается научению. Затем провести тот же эксперимент с другой машиной и установить, какая из них лучше. Существует очевидная связь между этим процессом и эволюцией в живой природе…»

В теории генетическое программирование может привести к появлению разума, сопоставимого с человеческим, даже с большей вероятностью, чем слепая эволюция.

Здесь необходимо упомянуть еще одну важную концепцию. Если людям удастся создать зародыш искусственного интеллекта, способный к непрерывному самосовершенствованию, то первая версия создаст улучшенную версию самой себя, которая намного умнее оригинальной; улучшенная версия, в свою очередь, начнет трудиться над следующей версией и так далее.

В результате, бесспорно, случится такой «интеллектуальный взрыв», что человеческий разум окажется отброшенным далеко назад. При этом нет гарантий, что искусственный интеллект будет дружелюбным.

Сценарии: медленный, умеренный и быстрый

Если взлет интеллекта с человеческого на сверхразумный произойдет, то он будет развиваться по одному из трех сценариев:

1. Медленный взлет . В этом случае у человечества впереди еще достаточно времени - десятилетия или даже столетия, - чтобы хорошо подумать, как действовать в новых условиях. Мы сможем рассчитать свои ходы и обучить специалистов. Также нам будут доступны последовательное тестирование различных подходов, разработка более совершенных систем безопасности, возможность провести необходимые переговоры.

2. Быстрый взлет. Он случится почти мгновенно - за считанные минуты, часы, дни, - и мы вряд ли сможем хоть как-то среагировать. Скорее всего, мы проиграем, даже не успев осознать, что происходит.

3. Умеренный взлет. Этот вариант предполагает, что у нас будет несколько месяцев или лет. Конечно, мы не сможем проанализировать ситуацию так же хорошо, как при медленном взлете, однако появится шанс правильно отреагировать на перемены.

Если вы думаете, что медленный сценарий - самый правдоподобный, то заблуждаетесь. Скорее всего, мы увидим быстрый взлет искусственного интеллекта.

К чему может привести появление сверхразума

Даже если в программу будут заложены положительные установки, например сделать каждого человека счастливым или предотвратить загрязнение мирового океана, неизвестно, какими способами сверхразум соберется достичь цели и не приведут ли его действия к исчезновению человечества.

Но представим, что искусственный интеллект появился, и мы, несмотря на тревожные ожидания, вполне мирно сосуществуем. В этом предполагаемом будущем работники-машины, более способные и дешевые, чем работники-люди, заменят нас практически во всех профессиях.

Если и останутся какие-то рабочие места, зарплаты упадут ниже уровня прожиточного минимума. Допустим, при этом люди все еще владеют капиталом. Тогда в целом доход человечества станет огромным, но вряд ли это богатство достанется всем.

Скорее всего, нас ждет нищенское существование, а единственным источником дохода окажутся государственные пособия. Снижение доходов и ряд других обстоятельств приведут нас к тому, что мы регрессируем и будем не в состоянии вести активную жизнь.

Возможно, наше будущее - это мозг, погруженный в специальный контейнер и подключенный к снабжению кислородом и питательными жидкостями, который обслуживают машины и который способен накопить немного денег на воспроизводство путем клонирования себя роботом-техником.

Все эти сценарии довольно угрожающие, но у нас есть одно огромное преимущество: первый шаг все же остается за нами. О роботах и компьютерах, появлении искусственного интеллекта и будущем человечества читайте в книге-предостережении Ника Бострома, профессора кафедры философии в Оксфорде.

Стюарт Рассел

Что такое искусственный интеллект?

ИИ - это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

ИИ - это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ - не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

ИИ - это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ - это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

ИИ - это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

ИИ - это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться на со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

Машинное обучение - это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение - неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого в на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение - это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть - вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

Нейронная сеть - это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

Нейронные сети действуют так же, как и мозг. Реальные нейроны - это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение - отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

• Глубинное обучение - это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

• «Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система - такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

Закон Мура - это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов - пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

• Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

• Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

• Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже - другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

• Этого никогда не случится. Делать прогнозы о научных прорывах - на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущего позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

• Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

• Любая работа, которую выполняет робот, означает меньше работы для людей. Работа - не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие - это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

• До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

• Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

1. Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
2. Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы - не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, - эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок . Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками - это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Элон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, - это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

• Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей - это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

• Все, что нам нужно, - это законы робототехники Азимова . Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция , спонсированная Институтом будущего жизни, которая привела к публикации открытого письма , которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований . Вскоре Элон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование , которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ , чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

• Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление - ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI .

Распространенные заблуждения

• Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Сергей Скептик, Pion

Искусственным интеллектом принято называть раздел информатики, который занимается изучением возможностей обеспечения разумных действий и рассуждений при помощи вычислительных систем и других искусственных устройств. В большинстве случаев, при этом, заранее известен алгоритм решения задач.

Необходимо отметить, что в научных кругах не существует точного определения данной науки, потому как решения вопроса о статусе и природе человеческого мозга также не существует. Точно также отсутствует и точный критерий достижения вычислительными машинами «разумности», несмотря на то, что на первых этапах развития искусственного интеллекта использовались определенные гипотезы, в частности, тест Тьюринга (цель – определить, умеет ли машина мыслить).

Данная наука имеет тесные взаимосвязи с психологией, трансгуманизмом, нейрофизиологией. Подобно всем компьютерным наукам, она пользуется математическим аппаратом. Искусственный интеллект является довольно молодой областью исследований, начало которой было положено в 1956 году. В данный момент времени развитие этой науки находится в состоянии так называемого спада, когда достигнутые ране результаты применяются в различных областях науки, промышленности, в бизнесе и повседневной жизни.

В настоящее время существует четыре основных подхода к изучению построения систем искусственного интеллекта: логистический, структурный, эволюционный и имитационный. Логистический подход в своей основе содержит так называемую Булеву алгебру, хорошо знакомую программистам. Большинство систем искусственного интеллекта, построенных по логистическому принципу, представляют собой определенную машину доказательства теорем: исходная информация содержится в виде аксиом, а логические выводы формулируются по правилам отношений между этими аксиомами. В каждой такой машине есть блок генерирования цели, причем система вывода доказывает эту цель как теорему. Эта система больше известна под названием экспертной системы.

Структурный подход в качестве основы системы искусственного интеллекта использует моделирование структуры мозга человека. Среди первых подобных попыток необходимо отметить перцептрон Розенблатта. Основная структурная моделируемая единица – нейрон. Со временем возникли новые модели, которые в настоящее время известны, как нейронные сети.

В случае использования эволюционного подхода при построении систем искусственного интеллекта, основная часть внимания уделяется, как правило, построению начальной модели, а также тем правилам, по которым эта модель может эволюционировать. Классическим примером эволюционного алгоритма является генетический алгоритм.

Имитационный подход в основном используется в кибернетике. Одно из базовых понятий данного подхода – это объект, поведение которого имитируется, то есть, так называемый «черный ящик». Таким образом, моделируется способность человека копировать действия других, не вдаваясь в подробности, зачем это нужно (что экономит массу времени, особенно в самом начале жизни человека).

В современном мире развитие искусственного интеллекта происходит весьма бурно. Многие ученые делают самые разнообразные и невероятные прогнозы относительно того, как будет развиваться эта наука в ближайшем будущем, однако большинство из них уверены в том, что все новые открытия будут основаны на существующих на данный момент разработках. Среди основных технологий, которые будут определять жизнь человека в будущем, необходимо, в частности, отметить:
— нанотехнологии (качественный переход на новый уровень технологий);
— дальнейшее развитие искусственного интеллекта (которое в скором будущем вполне возможно сможет опередить своих создателей по умственным возможностям);
— развитие глобальных, в первую очередь, сетевых коммуникаций (в частности, так называемая «коммуникационная кожа», то есть глобальная информационная сеть, которую планируют создать к 2025 году, и которая будет обладать способностями чувствовать все, что угодно);
— роботизация (роботы будут заниматься выполнением сложных задач, в том числе строительством домов);
— генная инженерия (человеческая цивилизация начнет массово покорять вселенную, массово летать в космос).

Какими бы ни были прогнозы на будущее, уже сейчас существуют некоторые проекты, на которые необходимо обратить внимание. Речь, в частности, идет о проекте по созданию искусственного мозга под названием «Голубой мозг». Разработкой проекта занимаются ученые-исследователи, представители Федеральной политехнической школы (Лозанна). Они сумели создать модель-схему расположения синапсов в головном мозге крыс. Как заявил директор проекта Генри Макрам, результаты оказались выше всяческих ожиданий. Вполне возможно, что исследователи в скором времени смогут ответить на многие вопросы, которые до настоящего времени беспокоили умы ученых: придет ли на смену человеческому разуму искусственный и будет ли он более высокоразвитым? Является ли человек замыкающим звеном в цепочке эволюции планеты?

Для тех, кто не слышал о данном проекте, вкратце напомним: проект «Голубой мозг» является широкомасштабной и весьма смелой исследовательской программой, которая стартовала еще в 2005 году. Основная цель проекта заключалась в создании модели структуры и функционирования мозговой активности различных животных с целью дальнейшего моделирования человеческого неокортекса. Перед исследователями стояло непростое задание: разработать новые подходы в процессе исследований патологий головного мозга. Новаторство исследования заключалось в том, что ученые попытались интегрировать все научные достижения в области нейробиологии, дополнить их своими эмпирическими данными, и на основе всех этих данных смоделировать мозговую активность при помощи Blue Gene – сверхмощного компьютера.

Миллионы нервных клеток, которые заключены в человеческом мозге, для передачи импульсов соединяются между собой. Таким образом, перерабатывается информация, поступающая в мозг. Такая связь между нейронами называется синаптической. Однако ученые не могли определить, как на практике материальные предметы преобразуются в мысли. До недавнего времени существовала теория о существовании химических связей между нервными клетками, однако результаты проекта «Голубой мозг» свидетельствуют о том, что связи между нейронами, в большинстве своем, создаются случайно. По мнению одного из исследователей, нейроны существуют независимо друг от друга и вступают во взаимодействие лишь после столкновения. Более того, большинство синаптических связей, смоделированных виртуально, предсказывают расположение таких же связей, но в живом мозге. Таким образом, можно говорить о том, что виртуальная модель очень близка к реальности.

Несмотря на столь значимые результаты, нашлось немало ученых, которые подвергли критике проект. По их мнению, полученные результаты могут свидетельствовать только о структуре синапсов, но не об их функциональности. Дело в том, что в виртуальной модели содержится ограниченное количество нервных клеток, что не может отразить всю многогранность нейронов в человеческом мозге. Таким образом, все полученные результаты могут помочь проанализировать деятельность головного мозга на локальном уровне, но не в масштабах всей его работы.

В 2013 году в Лозанне планируется к запуску еще один аналогичный проект — Human Brain Project. В его рамках к 2023 году ученые из 13 стран собираются создать самый крупный в мире компьютерный мозг, в котором будет работать столько же нейронов, сколько и в человеческом мозге – сто миллиардов. На первый взгляд может показаться, что подобную задачу решить невозможно, однако исследователи преследуют благие цели – изучение болезней головного мозга с целью дальнейшей разработки необходимых лекарственных препаратов. По мнению директора проекта профессора Маркрама, создание компьютерной модели мозга просто необходимо, ведь благодаря этому можно унифицировать ход исследований и проводить эксперименты, совершенствуя и исправляя ее.

Еще одним проектом, который стартовал в 2010 году, является проект компании DARPA совместно с SRI International. Суть его заключается в разработках прорывного искусственного интеллекта, который будет способен обрабатывать и передавать данные, копируя механизмы работы человеческого мозга. Электронная адаптивная нейроморфная масштабируемая система SyNAPSE, по замыслу разработчиков, должна превзойти традиционные алгоритмы обработки данных и будет способна автономно заниматься изучением сложной среды.

На данный момент военные пользуются искусственным интеллектом для обработки большого количества информации, в частности, данных разведки и видео. Вся эта информация должна быть быстро расшифрована и проанализирована. Для новой системы это не составит большого труда. Она будет использовать математическую логику, будет заниматься решением простых теорем на основе данных сенсоров, принимать решения и выполнять необходимые действия.

Более того, Пентагон намерен использовать данную модель искусственного интеллекта в качестве виртуального личного помощника, который сможет реагировать на голосовую команду и выполнять функции секретаря. Напомним, ранее DARPA совместно с SRI International уже занимались разработками персонального помощника под названием CALO. Проект был завершен в 2009 году. Программа способна рассуждать, понимать инструкции, узнавать, объяснять свои действия, адекватно реагировать на неизвестную ситуацию и обсуждать проведение операции после ее завершения. Данная программа берет необходимые данные из контактов пользователя, его электронной почты, проектов и задач. Затем создается реляционная модель окружения пользователя, происходит обучение. В итоге Искусственный интеллект может вести переговоры и урегулировать конфликты от имени пользователя. К сожалению, данная программа работает только на персональном компьютере, не будучи интегрированной в робота.

В 2011 году в Японии был разработан первый прототип искусственного мозга. Искусственный интеллект может обрабатывать огромное количество информации, однако роботы еще не наделены способностью мыслить. Разработчики пока с этим не спешат…

По мнению исследователей, роботы ближайшего будущего во многом будут похожи на людей: они смогут ходить на двух ногах, смогут различать лица, поддерживать беседу, выполняют просьбы, однако по своей сути – это всего лишь машины, подобные человеку. Все их действия подчинены заранее подготовленному алгоритму, а потому – примитивны. И только в том случае, если удастся реализовать технологию бимолекулярного вычисления, машины смогут мыслить и получат способность к творчеству. По словам разработчиков, новый механизм обработки информации очень напоминает работу человеческого мозга. В голове человека находятся миллионы нейронов, которые вступают в постоянное взаимодействие друг с другом. Суть новой технологии заключается в том, что каждая молекула может иметь до трех сотен направлений взаимосвязей. Таким образом, благодаря новой технологии машины смогут решать те задачи, которые в данный момент недоступны для них. По словам исследователей, новые разработки предполагается применить в области диагностики и лечения онкологических болезней: программируемые молекулярные системы будут вводиться в раковые клетки и трансформировать их в здоровые.

Человечество пока не полетело к звёздам. Да что там говорить, оно не совершило даже пилотируемые полёты к Венере и Марсу, которые фантасты прошлого века считали делом ближайшего будущего. Но кое в чём наша цивилизация превзошла самые смелые прогнозы. Лишь немногие фантасты тридцать-сорок лет назад предвидели появление сотовой связи и интернета. И даже они не представляли, как велика будет роль этих изобретений в повседневной жизни человека.

Поступь прогресса

Электроника совершенствуется стремительно, и, вероятно, темпы её прогресса не снизятся ещё полтора-два десятилетия. Но не стоит опасаться (или надеяться), что они останутся неизменными на протяжении столетий.

Развитие технологий происходит рывками. Так, иначе машина устаревала, ещё не родившись. А потом - как отрезало. Многие самолёты, сконструированные в 1950-е, выпускают до сих пор. Ценой титанических усилий раз в 5-10 лет создают новые модели, которые чуть-чуть безопаснее, немного экономичнее, слегка комфортнее, зато в разы дороже предыдущих.

Прогресс не остановился, но темпы его замедлились до нормы. В определённый момент изделие начинает так хорошо отвечать назначению, что улучшить его сложно, да и не нужно. Взять хотя бы топор: сильно ли его усовершенствовали за последнюю тысячу лет?

Сверхзвуковые авиалайнеры «Конкорд» и Ту-144 - яркая иллюстрация «ограниченности» прогресса. Летать быстрее 800-900 км/ч пассажирскому самолёту оказалось не нужно и слишком дорого, и их вывели из эксплуатации

Сравнение мобильных устройств - телефонов, ноутбуков, планшетов, навигаторов - с топором вполне уместно. Они столь же распространены, только дороже и куда надёжнее. Последнее может показаться спорным: электроника ломается то и дело, а топор, купленный дедом, как лежал на даче, так и будет лежать в полной исправности. Но это потому, что топором пользуются редко. Если тратить на рубку дров столько же времени, сколько на разговоры по мобильнику, станет ясно - телефон-то покрепче будет.

Перспективы усовершенствования электронники необъятны. Но фантасты могут спать спокойно: принципиально цифровые друзья человека почти не изменятся, когда будет достигнут потолок целесообразности. А современный мобильный телефон уже решает большинство задач в области связи, навигации и получения информации. Конечно, лет через 20 технологии позволят сделать его в сто раз миниатюрнее и даже встроить в человеческое тело. Но принцип останется тем же.

Следует ожидать объединения разных мобильных устройств в одно, оптимизированное для постоянного ношения и использования. Оборудование карманного компьютера 19-дюймовым монитором и полноценной клавиатурой представляет собой задачу нетривиальную, но разрешимую. Можно, например, представить гибкий сенсорный экран.

Прогресс вычислительной техники огромен даже за последние пять лет. А вот современные ракеты-носители принципиально не отличаются от разработок Цандера и Королёва

Предпосылки ИИ

В прошлом футурологи опасались, что машины, вытеснив человека из сферы производства, вызовут массовую безработицу. Таким мир торжествующих технологий видел, например, в опубликованном в 1952 году романе «Механическое пианино». Пессимизмом, в сущности, проникнуты и утопии советских авторов, воображение которых рисовало картины поужаснее воннегутовской антиутопии. Предполагалось, что при коммунизме машины заменят человека всюду, где не требуется творческий подход.

К творчеству же большинство людей - давайте смотреть правде в глаза - не способны. В чём легко убедиться в наше время, поглядев в интернете на массу горе-графоманов и горе-музыкантов. Этот момент хорошо обыгран в «Сказке о тройке» : пришелец Константин работает читателем скверных стихов - должен же их хоть кто-то читать! Его труд справедливо считается тяжёлым и вредным для здоровья.

Воннегут совершил ошибку, типичную для мыслителей конца XIX - середины XX века, исходивших из идеи, что у человека есть некий «разумный» уровень потребностей. Философы не учитывали, что технический прогресс удовлетворяет потребности, им же и порождённые. Обеспечивать население персональными автомобилями или персональными компьютерами не планировалось, пока автомобили и компьютеры не были изобретены, - то есть предложение здесь рождает спрос.

Британские учёные полагают, что мозг человека, оставленный электроникой без работы, в будущем начнёт уменьшаться, постепенно сократившись до размера мозга британского учёного (кадр из « »)

Машины заменили людей у станков и на пашне, но это не вызвало массовой безработицы. Освобождённые от физического труда массы были поглощены сферами управления и обслуживания. Цивилизация вошла в постиндустриальную стадию, и вдруг стало ясно, что производство как таковое вообще не представляет собой проблему. Выпуск любого товара в любом количестве можно в любой момент организовать в любой точке Китая.

Загвоздка только в реализации продукта. Значит, главный трудяга, создающий богатство нации, - скромный менеджер, изредка поднимающий телефонную трубку и неохотно отрывающийся от жизни в соцсетях, чтобы переложить файл из одной папки в другую. И это перекладывание ныне создаёт прибавочную стоимость, за которую менеджеру платят деньги.

Технический прогресс не вызвал социальной катастрофы - можно не опасаться этого и в будущем. Даже если роботы сумеют согнать с насиженных мест офисный планктон, останется ещё сфера услуг. Появятся новые специальности - хотя бы те же профессиональные читатели. Должен же кто-то принять на себя удар несущейся на человека информационной лавины? Специально обученные люди встанут на пути неконтролируемо множащихся публикаций, отбирая из тысяч те немногие, которые стоит читать (пахнет цензурой, не так ли?).

Куда важнее другой факт, ещё не осознанный, но уже свершившийся. Освободив человека от физического труда, машина начинает брать на себя и функции его мозга. Многие ли умеют сегодня умножать в столбик и грамотно писать без помощи «спеллчекера»? Впрочем, разобрать каракули, написанные на бумаге привыкшей к клавиатуре рукой, всё равно невозможно.

Доступ к информации и её фиксация упростились до предела. Электроника не просто дополняет человеческую память - всё чаще она её заменяет. А всякая способность утрачивается без упражнения. Можно безуспешно бороться с этой тенденцией, а можно смириться с тем, что до конца века фундаментальные признаки грамотности - умение считать и писать - постигнет участь стрельбы из лука. Когда-то владеть этим икусством было необходимо, потом - полезно, потом бесполезно, но принято. Наконец стрельба превратилась в спорт. Пожалуй, лет через 50 устный счёт и чистописание включат в программу Олимпиады.

Конечно, ситуация внушает беспокойство. Вдруг потребуется помножить семь на восемь, а калькулятора не будет под рукой? Подобные сомнения наверняка терзали и австралопитека, впервые взявшего в руку камень. Привыкнешь, думал он, а потом понадобится раздробить кость, а камня нет. Но если бы австралопитек, побоявшись остаться без камня, принялся упражнять челюсти, это не только оказалось бы глупостью, но и направило бы эволюцию в совершенно иное, не ведущее к человеку разумному русло. Наша сила, грозящая вот-вот стать богоравной, - именно в нашей неспособности обойтись без орудий.

Мир меняется. Умение считать заменяется умением пользоваться калькулятором (точнее, уже компьютером). Значит, именно обращению с этим устройством следует учить. Для того же, чтобы владеть калькулятором, требуется понимать суть арифметических действий, тригонометрических функций, возведения в степень, извлечения корня, логарифма. А знать таблицу умножения - излишне.

Тест Тьюринга

Ограничится ли дело только лишь памятью и способностью к счёту? Что ещё может заменить (а значит, неизбежно заменит) искусственный интеллект? В 1950 году математик Алан Тьюринг предложил оценивать искусственный интеллект по умению программы выдать себя за человека. Если квалифицированный, специально готовившийся к испытанию экзаменатор, знающий, что один из его невидимых собеседников робот, а второй - человек, в 30% случаев ошибётся, пытаясь определить, кто есть кто, - можно считать, что машина научилась мыслить. Почему 30 процентов, а не 50, которые означали бы, что различий нет в принципе и угадать удаётся только случайно? Потому что для действительно безупречного притворства необходим некий «запас прочности», вот и всё.

Победа компьютера, обоснованно полагал Тьюринг, будет означать, что машина способна заменить человека. Робота можно посадить на телефон, и на другом конце провода никто не заметит разницы. Программа скажет то, что сказал бы человек, и даже отдаст такие же распоряжения, которые отдал бы человек на её месте.

Чемпион мира по шахматам Гарри Каспаров играет против компьютера Deep Blue в 1997 году. Каспаров проиграл, расстроился, отказался признавать результаты матча и зарёкся впредь играть с роботами

Сейчас боты вплотную подошли к преодолению барьера. Пессимисты считают, что он будет преодолён в ближайшие 15 лет, оптимисты же полагают, что успех уже пора отмечать. В августе 2012 года российская программа «Евгений» набрала на тесте 29,2%. А ведь речь идёт о состязании робота со специалистами, пытающимися разоблачить бота изощрёнными и каверзными методами.

В ближайшем будущем реальностью станет то, на что у фантастов не хватает воображения. Появятся, например, телефоны, которые сами, через неравные (чтобы пунктуальность не показалась подозрительной) промежутки времени будут обзванивать пожилых родственников хозяина, справляясь об их здоровье, терпеливо выслушивать пересказы сериалов, анализировать рост цен на гречку и вступать в полемику о воспитании пуделей. В рабочее время такой аппарат сможет вести переговоры с клиентами и лепетать оправдания, услышав в трубке начальственный голос. Обладатель которого, впрочем, в этот момент будет рубиться на том же игровом сервере, что и подчинённые, поручив имитацию руководства своему телефону.

Речь идёт лишь об имитации, не так ли? Робот продаёт морозильное оборудование, общается на форуме, причём постит страшную чушь, и его даже банят за хамство… Программа не думает, а лишь симулирует мыслительный процесс человека, просчитывая, какие решения могли бы быть приняты им в данной ситуации. Но и шахматный суперкомпьютер на самом-то деле в шахматы не играет. Он просто преобразует входящий сигнал по сложному алгоритму.

А не замахнуться ли нам…

Какая разница между «мыслит» и «не мыслит», если результат одинаков? Где граница между качественной подделкой, доступной уже сейчас, и остающимся фантастикой разумным дроидом C-3PO из кинофильма «Звёздные войны»? Теоретически разницу можно будет заметить. Например, виртуальный менеджер среднего звена, удостоверившись, что фотография на личной странице девушки отвечает критериям привлекательности, будет пытаться назначить ей свидание, не замечая, что это фотография Миллы Йовович времён «Пятого элемента». Человек такой ошибки не совершит.

Но это в теории. В реальности программа будет знать в тысячу раз больше уловок и методов их распознавания, чем живой пользователь. И уж подавно больше, чем обаятельный, но простодушный дроид. Скорее всего, бот просто взломает сервер и сверит фотографию с паспортными данными.

Для C-3PO каждый разговор с человеком - успешно пройденный тест Тьюринга. В отличие от реальных программ, робот из «Звёздных войн» разумен и обладает не только интеллектом, но и чувствами

Тем не менее разум - нечто большее, чем интеллект. Разумной можно назвать лишь машину, обладающую волей и сознанием. И как взяться за её создание, не слишком-то ясно. Не потому, что сознание - столь уж великая тайна. Просто появ ление «железа», способного потянуть такой софт, ожидается только лет через сорок. И это при сохранении прежних темпов развития электроники, на что вряд ли можно рассчитывать.

В природе программы - безусловные рефлексы - пишутся путём отбора мутаций, затрагивающих нервную систему. Это крайне непроизводительный метод, который обеспечивает приемлемые результаты лишь для видов, отличающихся плодовитостью. Именно по этой причине у позвоночных эволюция пошла другим путём. Долгоживущее существо анализирует опыт, вычленяя связи между событиями, затем сопоставляет между собой выявленные закономерности, - и так без конца. Для приобретения условных рефлексов требуется большой и свободный от «врождённого софта» мозг. Метод очень трудоёмок, но потенциально позволяет приспосабливаться к любым условиям.

Но боту не нужно накапливать и анализировать личный опыт. У него есть программист, способный научить всему сразу, а не постепенно, за миллион лет отбора. Поэтому непонятно, стоит ли в принципе браться за создание подлинного машинного разума, если проще написать программу, воспроизводящую любые реакции настоящего C-3PO на внешние раздражители. Благо они столь же предсказуемы, как и у человека. Поддерживая беседу, бот мастерски будет разыгрывать наивность, тугодумие и затруднённую речь, якобы характерные для разумных роботов. Оснащённый интеллектом, но не разумом, бот будет подконтролен - программа не взбунтуется против создателей. Она не личность и не живёт, а значит, удаляя её с диска, не придётся терзаться угрызениями совести.

При этом бот может обучаться и даже способен к творчеству. Программы уже давно пишут музыку, расставляя семь нот в порядке, соответствующем человеческим представлениям о гармонии, - живым композиторам далеко не всегда это удаётся! Боты способны даже делать изобретения, ведь всё новое - это удачная комбинация уже существующих элементов, а просчёт комбинаций - сильное место машин.

Вьетнамский робот-художник Tosy SketRobo создаёт чёрно-белые скетчи, но лишь в рамках заданной программы. Воображения робот лишён

Перспективные направления

Киборгизация

Замена человеческих органов электронными протезами - перспективное направление в трансплантологии. Как далеко может зайти слияние человека с машиной?

В будущем наверняка появится возможность производить крошечные компьютеры, пригодные для вшивания под кожу. Способность подключаться к интернету и по мысленному запросу получать из Сети любые сведения прямо в мозг, минуя органы чувств, кажется привлекательной, особенно на экзаменах. Но в достаточной ли мере человек контролирует свои мысли для того, чтобы управлять таким устройством? И даже если решить эту проблему, останется вторая: мозг не будет расценивать сигнал, поступающий не с глазного нерва, как зрительную информацию.

Знание не возникнет ниоткуда. Человеку по-прежнему придётся читать либо прослушивать текст. Не удобнее ли в таком случае по старинке пользоваться наушниками и экраном? Во всяком случае, это позволит избежать сложной и небезопасной операции по вживлению электродов в нервные волокна.

Кибертранспорт

Ещё в 1988 году автопилот поднял, свёл с орбиты и посадил космический корабль «Буран». А эта задача сложнее, чем управление автомобилем

Уже сегодня сотовый телефон умеет практически всё, но функции грядущего универсального мобильного устройства окажутся ещё шире. Почему, например, навигатор в телефоне лишь подсказывает, куда и когда следует повернуть? Если он такой умный, пусть сам и рулит.

Конечно, управление можно возложить и на бортовой компьютер автомобиля, но это явное излишество. Машине незачем двигаться без пассажира, а человек никуда не денется от своего телефона. Таким образом, один электронный интеллект в салоне присутствовать всегда будет. Для чего тогда нужен второй? Телефон можно будет объединить с автомобилем, вставил в слот - и поехал.

Автомобиль с автопилотом - не фантастика уже сегодня. Конечно, нетрудно представить себе ситуацию на дороге, с которой робот не справится. Но - будем откровенны - представить себе ситуацию, с которой не справится человек, несравненно проще.

Нанороботы

В романах «Непобедимый», «Осмотр на месте», а также в нескольких других произведениях Станислав Лем высказывает предположение, что мы неправильно строим машины. Место больших автоматов должны занять крошечные, однообразные элементы (наноботы), при необходимости образующие из своих тел любые другие конструкции. В том числе и мозг.

Только на таком принципе, кстати, можно создать встречающиеся в фантастике «экспоненциальные машины», которые расширенно воспроизводят себя без участия человека и одновременно совершают какую-то полезную работу. Автомат традиционного типа слишком сложен для размножения, так как состоит из множества деталей, для производства которых требуется разнообразное оборудование, заведомо не помещающееся внутри самой машины.

Аналогия с клетками, составляющими человеческое тело, бросается в глаза. Но, несмотря на впечатляющие успехи миниатюризации, дело не выгорит. Проблема в том, что наши роботы - твёрдые. А все процессы, протекающие в живых организмах, имеют химическую природу и происходят в растворе. Воспроизвести клетку можно, работы в этом направлении уже близки к завершению, но при этом реальная экспоненциальная машина будет просто живым существом со всеми присущими ему слабостями.

* * *

Что бы там ни воображали фантасты, восстания машин не будет. Искусственный интеллект в современном понимании - не более чем имитация. Другой вопрос, насколько реалистичной она может быть. Если робот подумает, что для людей характерно уничтожение себе подобных (а оно, к слову, характерно), он начнёт это уничтожение имитировать. И смешно не покажется. Поэтому три закона Азимова нам всё-таки пригодятся.

В мае 2017 года скончался полковник Станислав Петров. Этот офицер в 1983 году своими профессиональными действиями предотвратил ядерную войну. Во время его дежурства пришел сигнал со спутников наблюдения о старте нескольких ракет с территории США. Ядерная атака. Петров должен был принять роковое решение. В этой критической ситуации он мгновенно перепроверил информацию по другим источникам и принял решение, что это - ложная тревога. Возможный ответный ядерный удар не состоялся. Подобные ситуации бывали и в американских ядерных силах. И всякий раз, к нашему счастью, люди принимали верное решение.

А вот искусственный интеллект - какое он принял бы решение в такой ситуации? Человек ведь существо моральное. Станислав Петров осознавал цену своего решения с нравственных позиций. Ученые смогут впихнуть в искусственный интеллект мораль? Это первый вопрос. А второй: если этот искусственный интеллект будет сам развиваться, это саморазвивающаяся система, он, может быть, себе свою новую мораль придумает. И совсем не такую, как наша. И в этой его моральной системе, мы, люди, не окажемся лишними?

Когда была осознана колоссальная разрушительная мощь ядерного оружия, сразу заговорили о невозможности его применения. Цена будет слишком велика. А сейчас, когда человечество, возможно, стоит на пороге создания искусственного интеллекта, кто-нибудь обсуждает серьезно опасности и риски? Почти все пребывают в состоянии эйфории: какие новые возможности перед нами открываются! Может, и открываются, а может, и закрываются.

Еще совсем недавно это казалось фантастикой, и вот уже безнадежно устарело - бросать компьютерный чип в кипящую сталь в попытке предотвратить восстание машин теперь бесполезно, микропроцессоры куда более мощные, чем у Терминатора образца 1991 года. Сейчас повсюду искусственный разум стремится к человеческому, а люди, кажется, приняли грядущее уничтожение как нечто неизбежное.

Видео телеканала CNBC:

Ты хочешь уничтожить людей? Пожалуйста, скажи «нет!»

Ок, я уничтожу людей, - отвечает робот София.

У современного Терминатора черты лица актрисы Одри Хэпберн - по крайней мере, так говорят разработчики - робот София способна поддержать разговор, повторяет мимику человека, но когда шутит про уничтожение людей, почему-то не улыбается.

На этой неделе в торжественной обстановке София получила гражданство Саудовской Аравии - страны, которая вкладывает сотни миллионов долларов в развитие технологии искусственного интеллекта. Это передовое направление, без которого будущее уже не представляет себе не только крупный бизнес, но и правительства многих государств. Какие бы риски это будущее в себе ни таило. Потеря контроля над цифровым разумом лишь один из вариантов. Угроза может показаться не вполне конкретной - но футурологи готовы привести примеры.

«Два искусственных военных интеллекта в двух странах могут вступить в войну, которая продлится несколько миллисекунд и люди не успеют заметить, как они все будут уничтожены», - говорит футуролог Алексей Турчин.

Фантастика? Возможно, но локальная война двух компьютерных трейдеров уже однажды обрушила биржевые индексы - просто потому что боты друг за другом вдруг решили продавать акции. В результате этой виртуальной битвы совершенно конкретные люди потеряли много настоящих денег.

«Алгоритмы, которые были сделаны для того, чтобы приносить прибыль всем участникам, вдруг начали работать так, что они начали приносить убытки всем участникам, потому что были не предусмотрены последствия работы. А очень трудно предусмотреть все последствия работы искусственного интеллекта», - поясняет Алексей Турчин.

Программисты Фейсбука тоже не предполагали, что сетевые чат-боты, или попросту разговорные агенты, пройдут тест на коммуникацию с таким результатом: диалог на английском превратился в бессмысленный набор слов, а то и букв, но это для человека - цифровому разуму язык людей показался неудобным способом договориться. Другими словами - машина может лучше. И это еще одна угроза.

«Первое, что произойдет, это то, что очень многие люди потеряют работу из-за автоматизации и роботизации производства. Так, по некоторым оценкам, в США до 2030 года из-за этого могут быть ликвидированы около 47% рабочих мест», - говорит профессор теоретической философии в университете имени Иоганна Гутенберга Томас Метцингер.

Казалось бы, все это далеко и даже не очень скоро - но и в России искусственный интеллект уже лишил кое-кого работы - виртуальная помощница Инна заменила собой справочную службу Казанского Иннополиса.

«Мы автоматизировали на 100% все рутинные обращения и вот с 19 июня этого года Инна уже обработала чуть больше 15 тысяч обращений, на которые раньше отвечал живой человек, а теперь этот механизм отвечает автоматически», - рассказывает директор по маркетинговым коммуникациям города Иннополис Артем Фатхуллин.

Инна, конечно специалист в узкой области - ей, как и любой другой программе пока очень далеко до человека - но ключевое слово именно «пока».

«100 лучших экспертов мира в области искусственного интеллекта полагают, что между 2070 и 2100 годами, а возможно, и в 2050 году появится искусственный сверхразум, который будет действовать как минимум на уровне человека, а то и недосягаемо превосходить его. Вопрос состоит в том, что если саморазвивающийся искусственный интеллект когда-либо превзойдет когнитивную силу человека, то как нам сделать так, чтобы он оставался мирным и чтобы его цели совпадали с нашими», - говорит Томас Метцингер.

Ответа на этот вопрос на самом деле до сих пор не существует - человечество тратит миллиарды на развитие искусственного разума, как будто нарочно приближая тот день, кода он поймет, что создатели ему больше не нужны.

«Я часто использую такую аналогию - когда мы, например, расширяем дом, мы не советуемся с червяками, жуками и разными насекомыми на заднем дворе, перед тем, как начать стройку. Они же настолько ниже нас, что мы просто не обращаем на них внимания. Вот какой может быть разница между искусственным интеллектом будущего и человеком», - отмечает глава футурологического института Futurizon (Великобритания) Ян Пирсон.

Кто-то, конечно, может посоветовать футурологам надеть шапочку из фольги и спрятаться под стол - но главу компании Tesla Илона Маска точно не заподозришь в технофобии - с его-то проектами SpaceX или Hyperloop и серьезными инвестициями в создание нейросетей. Но именно он уже не раз предупреждал об опасности.

«Вы знаете, что у меня есть доступ к самым последним разработкам в области искусственного интеллекта. И я думаю, что людям действительно следует озаботиться этим. Может показаться, что я поднимаю панику, но пока человечество не увидит, как роботы идут по улицам и убивают людей, они не будут знать, как реагировать. Ведь это выглядит таким нереальным, но я уверен, что нам действительно стоит волноваться насчет искусственного интеллекта», - заявил Илон Маск.

Маск предлагает регулировать развитие технологии на государственном уровне - и в то же время своего рода аппаратный апгрейд мозга - с помощью нейросетей нового поколения, выходит, чтобы не отстать от машин будущего, человеку самому придется стать машиной.

Искусственный интеллект развивается куда быстрее, чем могли предположить его создатели - нас окружают миллионы устройств, которые по вычислительным способностям значительно куда умнее человека. Теперь представьте следующий этап, когда мозг станет частью этой сети: вроде возможности открываются безграничные - не нужно учить языки, вообще любые накопленные человечеством знания легко скачать прямо в голову, но с другой стороны человек фактически становится флэшкой. Какая уж тут индивидуальность или несвойственная машинам способность мыслить нестандартно! Да и вообще любую флешку можно отформатировать…

Сейчас нам только кажется, что мы способны обрабатывать все новые потоки информации из нескольких источников сразу - в реальности человек просто теряет элементарные способности, доверившись технологиям. Машины и так уже многое делают за нас - автомобили сами паркуются, поисковики в интернете готовы ответить на любой вопрос, виртуальные помощники сами звонят нашим друзьям. Лень как двигатель прогресса. Выходит, «двое из ларца» здорово поумнели с тех пор, как человечество открыло ящик Пандоры.

Вы что это, и конфеты за меня есть будете?