Теперь мы можем попытаться обобщить результаты анализа, представив наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть «best guess» – наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не стремлюсь выдавать её за объективную точно вычисленную вероятность и буду корректировать по мере появления новой информации. В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно так же создание ядерного оружия судного дня требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия. Эти предположения сделаны относительно предполагаемых угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько позволяют их возможности. Итак, я вижу два наиболее вероятных сценария окончательной глобальной катастрофы в XXI веке, ведущей к полному вымиранию человечества: 1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные в отношении человека цели. 2) Системный сценарий, в котором ведущую роль играет биологическое оружие и прочие продукты биотехнологий, но также применяется ядерное оружие и микророботы. Кроме того, свою роль играют распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что какого-то одного уничтожающего людей фактора не будет, а возникнет вал множества факторов, превосходящий все возможности по выживанию. Наиболее вероятное время действия обоих сценариев – 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 % они произойдут в указанный промежуток времени. Эта оценка обоснована тем, что в свете текущих тенденций обе технологии вряд ли созреют до 2020 года или после 2040 года. Теперь попытаемся проинтегрировать все возможные сценарии с учётом их взаимного влияния так, чтобы итоговая вероятность была равна 100 % (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка). Оценим общую вероятность вымирания человечества в XXI веке, в соответствии со словами сэра Мартина Риса, в 50 %. Тогда кажутся убедительными следующие оценки вероятности вымирания: • 15 % – недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ будет обладать способностью обнаруживать всех людей без исключения и воздействовать на них, в большей мере, чем другие факторы. • 15 % – системный кризис с многократным применением биологического, нано и ядерного оружия. • 14 % – нечто неизвестное. • 1 % – неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека. • 0,1 % – естественные природные катастрофы, • 0,9 % – неудачные физические эксперименты • 1 % – серая слизь: внезапная нанотехнологическая катастрофа • 1 % – SETI-атака • 1 % – ядерное оружие судного дня • 1 % – прочие. Оставшиеся 50 % приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из: • 15 % – Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития. • 10 % – Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, люди как домашние животные у сверхлюдей, безработные у телевизора. Власть переходит к ИИ и машинам. • 5 % – Sustainable development – человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается традиционными футурологами в качестве наилучшего варианта. • 20 % – Откат на стадию постапоклиптического мира. Разные уровни деградации. Теперь рассмотрим возможное влияние на эти цифры разных форм DA. Формула Готта, взятая в отношении всего количества людей на Земле, даёт не очень большие шансы вымирания в XXI веке – на уровне 10 %, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок. Ещё один вариант рассуждений с использованием DA и формулы Готта состоит в её рефлексивном применении, – и правомерность такого применения серьёзно оспаривается . А именно, если применить формулу Готта к моему в множестве всех людей, которые знают о формуле Готта (то есть к номеру по дате вхождения в это множество), то либо DA будет скоро окончательно опровергнут, либо шансы выживания в XXI веке оказываются призрачными. Это связано с тем, что одно из самых экстремальных и спорных решений проблемы референтных классов, к которым относится DA, состоит в том, что он относится только к тем людям, которые о нём знают. Такое решение проблемы референтных классов предложил ещё сам первооткрыватель DA Картер, когда впервые докладывал о DA на заседании Королевского общества. Экстремальность этого решения в том, что поскольку в прошлом было очень немного людей, которые знают о DA (примерно десятки тысяч в настоящий момент), то тот факт, что я обнаруживаю себя так рано (то есть первых десятках тысяч) в этом множестве, говорит, согласно логике самого DA, что и в будущем будет примерно столько же знающих о нём людей. Поскольку число знающих о DA непрерывно нелинейно растёт, то уже через несколько десятков лет оно должно было бы достигнуть миллионов. Однако, согласно логике самого DA, это маловероятно, раз я обнаружил себя так рано в этом множестве. Следовательно, что-то помешает тому, что множество знающих о DA достигнет такой большой величины. Этим фактором может быть или опровержение DA, или то, что просто не будет людей, которые будут им интересоваться. Как и многие другие варианты DA, этот вариант можно опровергнуть, указав на то, что я не являюсь случайным наблюдателем DA в случайный момент времени, а некие априорно присущие мне особенности привели к тому, что я интересуюсь разными непроверенными гипотезами на ранних стадиях обсуждения. Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Дж. Лесли приводит следующий пример применения рассуждения Картера-Лесли в своей книге: априорную вероятность вымирания человечества в ближайшее время полагается равной в 1 %, и разрыв между численностью человечества при «плохом» и при «хорошем» сценарии в тысячу раз. Тогда этот априорный 1 % превращается у него через формулу Байеса в апостериорные 50 %. Однако если мы применим те же положения к нашей априорной вероятности в 50 %, то получим шансы вымирания в 99,9 %. Наконец, третий вариант Доказательство Конца Света в формулировке Бострома-Тегмарка, адаптированной мной к менее масштабным природным процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1 %. Наихудшим (но совершенно не обязательным) проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны. Эта недооценка бы повысила ожидаемую частоту ядерной войны от одного события раз в несколько десятков лет до одного события раз в несколько лет. Всё же верхняя граница – это ещё не само значение, так что последствия не столь плохи. Итак, непрямые способы оценки вероятности глобальной катастрофы или подтверждают оценку порядка 50 % в XXI веке, или резко увеличивают её до 99 % ¬– однако те варианты рассуждений, в которых вероятность резко возрастает, не обладают столь же высокой степенью доказанности (99 %). Поэтому мы можем остановиться на суммарной оценке в «более, чем 50 %». Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её предотвращения. Это наводит на мысль о том, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как «не менее 25 процентов». Мартин Рис – в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и продолжает расти. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое сейчас зависит от нас. Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. Становится понятным оборонное значение нанотехнологий и допускается возможность создания «серой слизи». Понимание серьёзности рисков должно сплотить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы. Анализ рисков глобальных катастроф даёт нам новую точку зрения на историю. Теперь мы можем оценивать режимы и политических деятелей не с точки зрения того, что хорошего они сделали для своей страны, а с той точки зрения, с которой видно, насколько эффективно они предотвращали глобальную катастрофу. С точки зрения будущих жителей XXII века будет важно не то, как хорошо или плохо мы жили, а насколько мы постарались, чтобы вообще дожить до будущего. В заключение имеет смысл высказаться о принципиальной непредсказуемости глобальных катастроф. Мы не знаем, произойдёт ли глобальная катастрофа, и если да, то как и когда. Если бы мы могли это знать, то «заранее подстелили бы соломку». Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти), но у человека есть хотя бы пример других людей, который даёт статистическую модель того, что и с какой вероятностью может произойти. Наконец, хотя люди и не очень-то любят думать о смерти, но всё же время от времени каждый о ней думает и как-то учитывает в своих планах. Сценарии же человеческого вымирания практически вытеснены в общественное бессознательное. Глобальные катастрофы отгорожены от нас пеленой как технического незнания, связанной с нашим незнанием реальных орбит астероидов и тому подобного, так и психологической, связанной с нашей неспособностью и нежеланием их предсказывать и анализировать. Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – мы не знаем, возможен ли Искусственный интеллект, и в каких пределах, и мы не знаем, как правильно применять разные версии Доказательство Конца Света, которые дают совершенно разные вероятностные оценки времени человеческого выживания. Мы должны признать, что на каком-то уровне катастрофа уже произошла: окутывающая нас тьма непостижимости затмила ясный и понятный мир предсказуемого прошлого. Недаром одна из статей Ника Бострома называется: «Технологические революции: Этика и политика во тьме» [Bostrom 2007]. Нам потребуется собрать всю имеющуюся у нас ясность сознания, чтобы продолжить путь в будущее.
Ви переглядаєте статтю (реферат): «Наиболее вероятные сценарии глобальной катастрофы» з дисципліни «Структура глобальної катастрофи»
