Сильный ИИ может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является лишь одним из возможных следствий. ИИ, способный решить любую задачу, способен и создать способ мотивировать себя на реализацию долгосрочных целей во внешнем мире. В общем виде сценарий ИИ-атаки выглядит следующим образом: 1. Создание способного к самосовершенствованию ИИ (Seed AI – то есть зародыша ИИ, минимально необходимой программы, способной к самосовершенствованию и самообучению.) 2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе «посчитать число пи с максимально большим числом знаков после запятой» любой ценой. 3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если в процессе реализации заложенных в него целей ИИ понимает, что его программисты препятствуют этой реализации, например, могут его отключить, то он находит способ обмануть их или уйти от их контроля.) 4. Фаза скрытого информационного распространения: ИИ захватывает интернет, докупает вычислительные мощности, забрасывает свои копии на удалённые компьютеры. 5. Фаза создания средств влияния на внешний мир – наноассемблеров, подкуп людей, овладение электронно-управляемыми устройствами. 6. Атака на конкурирующие ИИ-проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое. Такая атака может быть и скрытной, например, через внесение ошибок в программный код. Важно отметить, что ИИ будет действовать скрытно до того, как станет абсолютно неуязвимым. 7. Фаза реализации основной задачи ИИ – от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи. Очевидно, что некоторые фазы могут протекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно, и именно этот сценарий особенно опасен.
Ви переглядаєте статтю (реферат): «ИИ как универсальное абсолютное оружие» з дисципліни «Структура глобальної катастрофи»
