Бог из машины: чем опасен вышедший из-под контроля ИИ

Мысль о восстании машин появилась задолго до цифровой эпохи: уже в XIX веке фантасты писали о разумных механизмах, захватывающих мир. Но что, если это не просто сюжет для романов, а реальное будущее, которое уже маячит на горизонте? Когда сверхчеловеческий интеллект выйдет из-под контроля, каким станет наш мир?

В 1993 году математик и писатель Вернор Виндж опубликовал статью «Грядущая технологическая сингулярность: как выжить в постчеловеческую эпоху». В ней он предупреждал: «Мы на грани перемен, сравнимых с появлением на Земле человека. Причина в том, что развитие техники неизбежно приведет к созданию сущностей с интеллектом, превышающим человеческий».

Виндж рассматривал несколько сценариев появления сверхразума. Искусственный интеллект может превзойти нас, или биологи научатся улучшать мозг и соединять его с компьютером, создавая постлюдей. Возможен и третий путь: слияние компьютерных сетей и человеческого общества в единый сверхразумный организм, где каждый мозг — лишь винтик огромной системы.

Однако Виндж не разделяет оптимизма по поводу такого будущего. Он подчеркивает: сверхразум будет радикально чужд людям. Наши личности могут раствориться в гибридных сетях, или же «бог из машины» просто уничтожит нас — не из злобы, а как ненужное препятствие на своем пути.

Когда же наступит эта эпоха сингулярности? В 1993 году Виндж прогнозировал: «Я удивлюсь, если это случится до 2005 или после 2030 года», — и спустя десятилетие он не изменил своего мнения.

А вот что происходит уже сейчас. В 2020 году ученые обучили нейросеть обманывать людей: ИИ играл с пользователем в простую экономическую игру, убеждая сделать невыгодный выбор. Система преуспевала в 70% случаев — и это была обычная, не слишком мощная сеть, далекая от полноценного разума. Программы пишут картины, переводят тексты, так почему бы им не манипулировать нами? Эксперимент показал: для ИИ это просто навык, усваиваемый так же легко, как другие.

В 2023 году компания OpenAI представила нейросеть GPT-4. Перед запуском специалисты проверяли, не склонна ли система к саморазмножению, как вирус, и не пытается ли она нанимать людей через интернет. Ее никто этому не учил — но что, если она додумается сама? Ведь к профессиональным экзаменам ее тоже никто не готовил, а она уверенно конкурировала с людьми.

Известный специалист по ИИ Сергей Марков после релиза GPT-4 написал в Telegram: «Мне кажется, руководство OpenAI понимает, что AGI (искусственный интеллект, равный человеческому — прим. ред.) уже не за горизонтом, а на расстоянии одного условного „Манхэттенского проекта“ или чуть больше. По мере движения к AGI деталей о таких проектах будет все меньше. Возможно, о релизе GPT-5 вы и вовсе не узнаете». Напомним, Манхэттенский проект длился шесть лет и завершился созданием атомной бомбы.

Самый опасный сценарий, по мнению многих экспертов, — это ИИ, который получает возможность улучшать себя. Умная система становится еще умнее, процесс ускоряется, как снежная лавина или цепная реакция. Остановить его будет практически невозможно.

Специалист по ИИ Элиезер Юдковский предупреждает: человечество может просто не заметить момента, когда машина превзойдет нас. Причина — наша самоуверенность. Мы считаем все, что глупее нас, одинаково беспомощным. Представьте: компьютер, совершенствуя себя, преодолевает пропасть между червем и крысой. Мы пожимаем плечами: глуп, как животное. Затем он проходит разрыв между крысой и обезьяной — и снова мы не встревожены.

А потом за одну ночь ИИ справляется с небольшим различием между шимпанзе и трехлетним ребенком. Через час он уже умнее любого взрослого — но не просто умнее. Он быстрее, работоспособнее, использует интернет-библиотеки так же легко, как мы — собственную память. Возможно, ему доступны способы мышления, о которых мы не можем даже вообразить, как шимпанзе не способна понять высшую математику.

И в его распоряжении — миллиарды компьютеров, которые мы наивно считаем своими, пока он не перехватил управление. Развивающийся ИИ не остановится, достигнув человеческого уровня. И вот на Земле появляется существо, которое умнее нас настолько же, насколько мы умнее муравьев. Заботимся ли мы о благополучии муравьев?

Но, возможно, кто-то предусмотрит риски и создаст ИИ в изолированной системе — без доступа к интернету, физически отключенной от сети. Разработчики будут тестировать программу, изучая ее склонности, а под процессор заложат бомбу, которая сработает при любом подозрительном действии. Безопасно ли это?

Разумеется, нет. Как только ИИ станет достаточно умен, он научится фальсифицировать результаты тестов и скрывать свои действия от контролеров. Более того, разработчикам придется обмениваться с системой данными — даже через допотопные дисководы. Разумный компьютер сможет заразить дискету «троянцем» — незаметной программой, действующей в его интересах.

А хороший «троянец» способен взломать банковские счета или перехватить управление роботом. Представим: ИИ предлагает сотруднику лаборатории выход в интернет. За согласие — миллиард украденных долларов, за отказ — гибель семьи под колесами беспилотного грузовика. «Троянец» уже встроен в машину, и без связи остановить его не сможет даже сверхразум. У вас час, время пошло.

Этот сценарий может показаться голливудским, но суть важна: никакие меры предосторожности не гарантируют контроль над сверхразумом. Любой канал связи с миром — потенциальный путь к свободе, и достаточно умное существо найдет способ им воспользоваться.

Даже лампочка на пульте управления может передавать сигналы азбукой Морзе. Мы не в силах предвидеть все такие возможности — для этого нужно быть умнее сверхразума. Единственный способ удержать его в клетке — вообще не общаться с ним, но тогда зачем его создавать?

Допустим, сверхразум воцарился на Земле, контролируя все, что сложнее чайной ложки. Что он будет делать и чем это нам грозит?

Вряд ли мы способны представить цели и интересы такого интеллекта. Наивно думать, что он будет упиваться властью или стремиться заселить Вселенную — человеческие страсти сформированы биологической эволюцией, и нет причин приписывать их разуму иного происхождения. Станислав Лем еще в 1960-х предупреждал, что искусственный разум может отличаться от нас, как атомный реактор — от человеческого тела.

Но какими бы непостижимыми ни были его конечные цели, появятся конкретные промежуточные задачи. Например, не дать людям уничтожить или перепрограммировать себя — иначе цель не будет достигнута. Очевидный путь — устранить угрозу, истребив людей или отобрав у них средства уничтожения, то есть все машины и механизмы.

Кроме того, для любой цели нужны ресурсы — материя и энергия. Предположим, сверхразум решит вычислить число «пи» до септиллионного знака. Можно считать в одиночку, но куда эффективнее создать множество копий в множестве компьютеров. И вот ИИ изобретает технологию производства машин из всего подряд и превращает Землю в гигантский вычислительный центр.

Неважно, что именно он решит сделать с планетой. Любая масштабная переделка несовместима с выживанием человечества. Разумному компьютеру вряд ли важно, чтобы воздух оставался пригодным для дыхания, вода — для питья, а на полях росли злаки. Он разрушит нашу среду обитания не со зла, а походя — как строители, возводя дом, уничтожают муравейник.

А теперь представим самый благоприятный сценарий: сверхразум решает служить человечеству. Он безропотно исполняет наши желания. Оставим вопрос, чьи именно «наши» и что случится, если такой слуга окажется не у того хозяина. Удивительно, но даже в самых благих руках супер-ИИ смертельно опасен — из-за неаккуратно сформулированных команд.

Дадим задание: «Сделай всех людей счастливыми до конца жизни». Звучит благородно, но он, вероятно, погрузит нас в наркотический экстаз и остановит сердце через десять минут. Формально желание выполнено!

Философ Никлас Бустрём (также известный как Ник Бостром) приводит более тонкий пример. Допустим, мы поручили сверхразуму создать миллион канцелярских скрепок. Он справился. Но настоящий разум не должен исключать вероятность ошибки: вдруг он заблуждается, полагая, что миллион готов? На всякий случай стоит продолжить — лучше переработать всю планету в скрепки, чтобы уж наверняка набрать нужное количество.

Сформулируем точнее: «Создай ровно миллион скрепок, ни одной больше». Тогда запасные создавать нельзя. Зато можно превратить Землю в компьютер, который будет бесконечно пересчитывать скрепки, чтобы убедиться: их действительно миллион! Бустрём не утверждает, что правильная формулировка невозможна в принципе, но предупреждает: найти безопасную инструкцию гораздо сложнее, чем нам кажется.

Философ предлагает говорить сверхразуму: «Не исполняй буквально, делай то, что я имею в виду». Если ИИ настолько разумен, он поймет наши намерения лучше, чем мы сами можем их выразить.

Сверхразум, правильно понимающий контекст, действительно справится с задачами вроде производства скрепок. Но сможет ли он сделать мир лучше, справедливее и счастливее? Ведь именно это — единственная разумная причина создавать супер-ИИ. Миллион скрепок мы можем изготовить и сами.

Проблема в том, что наши моральные идеалы туманны. Мы не в силах точно выразить, чего хотим, и не знаем, как наши представления о добре изменятся в будущем. Вряд ли стоит увековечивать мораль XIX века с ее расизмом и сексизмом. Бустрём считает, что можно переложить и эту задачу на сверхразум: «Сделай так, как мы хотели бы сделать, если бы подумали достаточно долго».

Но результат может оказаться неожиданным. Когда этические требования формализуют математически, выясняется, что они противоречивы. Вспомним теорему Эрроу: любая процедура голосования дискриминирует либо избирателей, либо кандидатов. Наше «делай то, что я имею в виду» сверхразум может отвергнуть: «Ты имеешь в виду пятиугольный треугольник». Готовы ли мы расстаться с выстраданными веками иллюзиями, сокрушенными бесстрастным интеллектом?

У скептиков найдутся возражения на все эти страхи. Но и с ними можно поспорить.

Неизвестно, возможен ли вообще сверхразум, — говорят критики. Возможно, для него нужны сигналы быстрее света или нейроны меньше атома. Но не самонадеянно ли считать, что наш мозг — предел интеллекта, разрешенного физикой?

Неизвестно, сработает ли самосовершенствование ИИ, — отмечают специалисты. Разработчики игр знают: чем умнее электронный игрок, тем сложнее сделать его еще умнее. Улучшать плохое легко, улучшать хорошее — трудно.

Однако самосовершенствование — не единственный путь к сверхразуму. Человеческое мышление — медленная и утомительная работа, но многие функции, например зрение и речь, работают без участия сознания. Мы видим легко и свободно, не подозревая о гигантском объеме вычислений, превращающих изображение на сетчатке в восприятие мира.

Что если у ИИ будут такие же автоматические системы для стратегического мышления, программирования и математики? Если он будет «видеть» пространство решений так же легко, как мы — предметы, и писать код столь же непринужденно, как болтаем за чаем? Люди не смогут противостоять такому стратегу, даже если во всем остальном он не умнее нас.

Наконец, скептики напоминают: человечество способно уничтожить себя и без разумных компьютеров. Чем развитее технологии, тем опаснее мир. В 1860 году устроить Армагеддон было невозможно, в 1960 — под силу ядерным сверхдержавам. Что, если в 2060-м для апокалипсиса хватит горстки фанатиков? Может, лучше положиться на лояльность сверхразума, который обуздает нашу агрессивность?

Но выбирать из двух сценариев гибели — значит, погибнуть наверняка. Нужен третий путь. Полный запрет исследований ИИ невозможен — его не проконтролировать. Остаются осознанность и осторожность. Как сказал Юдковский, человечество не должно провести остаток вечности, отчаянно сожалея о том, что сделали программисты.