Глобальные риски нетождественны национальной безопасности
Государства тратят на национальную безопасность больше средств, чем на глобальную. Однако глобальные риски – гораздо большая угроза для каждой страны в отдельности, чем национальные: просто потому, что если погибнет мир, то и страна вместе с ним. Причём часто действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны повышает, – во всяком случае, по мнению её руководства – наращивание запасов ядерного и бактериологического оружия. Однако гонка вооружений снижает безопасность мира в целом! Или, например, проблемой РФ является депопуляция, а для всего мира – перенаселение (равно как и для Москвы). Ещё пример: один американский фонд (Lifeboat.com) реализует проект по предотвращению глобальных рисков и террористических атак на США. Но для нас понятно, что первое и второе – не одно и тоже. 4. Ошибка, связанная с психологизацией проблемы. Издавна существует архетип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, неудачи в финансах и личной жизни. Однако истинность или ложность такой интерпретации психологических мотивов не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если дело не касается их собственной жизни. 5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. Вымирание человечества не означает гибели всех людей, и наоборот. Легко представить сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства... Или если, – допустим такой фантастический сценарий, – инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам... Это будет означать конец цивилизации, хоть огромное большинство людей и останется в живых в течение значительного времени Более того, все живущие в настоящий момент люди, если не изобрести радикальное средство продления жизни, вымрут к началу XXII века, равно как к настоящему моменту вымерли люди, жившие в XIX веке. Однако это мы не рассматриваем как глобальную катастрофу, так как сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего. 6. Стереотип восприятия катастроф, который сложился в результате работы СМИ. СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт просмотра телевизионных репортажей с мест катастроф выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать. Риски в СМИ регулярно освещаются непропорционально. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу: реальный ущерб часто непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограничено, сообщения СМИ создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой). 7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила. А) Отвержение некоего сценария как фантастического – но ведь глобальная катастрофа и есть по сути некое «фантастическое» событие! Б) Ошибка, порождённая неосознанием факта, что глобальную катастрофу можно опознать лишь апостериори, - не заранее и не в процессе событий. Возможно, никто не узнает, что на самом деле произошла глобальная катастрофа. Лишь со смертью последнего человека катастрофа станет глобальной. (Хотя в сценариях медленного вымирания люди могут это осознавать – или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Невила Шюта «На берегу», где люди медленно вымирают от последствий радиоактивного загрязнения.) В) Неприменимость логической операции «индукции» для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в предположении, что если некое утверждение верно в моменты 1,2, 3 … N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции. Индукция как логический метод имеет границы применимости. Она неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем на основании того, что нечто было в прошлом всегда, сказать, что так будет и в будущем. Особенно опасно применение индукции в рассуждениях типа: раз этой катастрофы не случилось в прошлом, то её не будет никогда. Тем не менее, индукция как логическая процедура применима в вопросах безопасности: с точки зрения обеспечения безопасности трёхразовое периодическое повторение опасного события – очень значимо, тогда как с точки зрения доказательства истинности некой закономерности – нет. 8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип «спасателя мира». При этом недооценивается опасность конкуренции между группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может сама по себе стать глобальным риском. Можно вспомнить анекдот советских времён: «Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется». 9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти. Людей не волнуют глобальные риски. Личная смерть в ближайшие десятилетия и без того мнится неизбежной, и большинство выработало устойчивые психологические механизмы защиты от «нехороших» мыслей. Наибольший срок реального планирования можно определить по долгосрочным реальным инвестициям людей. Типичное отражение подобного планирования - покупка дома в ипотеку, пенсионные накопления и воспитание детей. Предельный срок таких проектов – 30 лет, за редким исключением. Обычно же - меньше 20. Не факт, однако, что и такое планирование на самом деле эффективно; и люди в большинстве сознают, что жизнь гораздо более непредсказуема. В любом случае, у каждого есть некий горизонт событий, и происходящее за пределами этого горизонта представляет для индивида чисто умозрительный интерес. А ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия! 10. Ошибки, связанные с тем, что исследователь глобальных катастроф вынужден полагаться на мнения экспертов в разных областях знания. Как правило, по каждой проблеме существует множество мнений, которые выглядят в равной мере аргументировано. А.П.Чехов писал: «Если от болезни предлагается много средств, значит, она неизлечима». Следовательно, исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов. 11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов. Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию объектов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность. 12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. Идеи такого рода: «Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата» являются порочными. Ведь если так рассуждает одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, в сумме – риск может стать чрезвычайно высоким. 13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски. Обращены ли они к гражданам? Но ведь те всё равно бессильны перед лицом глобальных рисков! К гражданской ответственности учёных, существование которой ещё надо доказать? Правительствам крупных мировых держав? Или, может, ООН, занятой своими делами? Возможно, к комиссиям и целевым фондам, созданным для предотвращения глобальных рисков, но увы, – даже их способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски – с которым все были бы согласны. 14. Особенность связи теоретического и практического в отношении глобальных рисков. Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё ни разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, поскольку мы, исследователи, не переживём глобальной катастрофы. Однако необходимы практические меры, чтобы этого не случилось. При этом может наблюдаться положительный результат: а именно, что некий риск не реализовался. Но трудно выделить причины благополучного исхода. Невозможно сказать, почему не произошла термоядерная война – потому что была невозможна, или по нашему невероятному везению, или же это результат борьбы за мир. 15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения. Стратегия личного выживания, привитая нам в ходе эволюции, подразумевает правило: кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет большее потомство. Те виды, что готовы пожертвовать тысячами особей, направляя их на освоение неизвестных территорий, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, эта стратегия смертельна в применении к человечеству. Даже если оно будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Тем не менее, соображения такого рода не останавливали отдельные страны при вступлении в опаснейшие конфликты. 16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношения к ближайшему будущему. В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования). 17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти. Это заблуждение порождено ошибочными представлениями, будто гибель в глобальной катастрофе обязательно лёгка и безболезненна, - словно выключили свет. В реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения. 18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию. Ситуация в крупных компаниях при принятии критически опасных решений удручает. Даже высказавшийся «против» член правления, высокопоставленное лицо, рискует быть проигнорированным! Так, перед катастрофой шаттла «Челленджер» один из ответственных специалистов до последнего возражал против запуска, понимая опасность. Тем более не стоит ожидать, что люди прислушаются или хотя бы прочитают высказывания кого-то за пределами их «тусовки». Можно вспомнить уместный здесь закон Мерфи: «Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт». 19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно. Напротив, циркуляция в обществе идей о возможности глобальных рисков, о необходимости прилагать усилия для их предотвращения, создаст важный фон и косвенно повлияет на различные механизмы принятия решений. Кроме того, уже сейчас мы подошли вплотную к рубежу, когда риски зависят от решений и действий каждого. 20. Гордыня исследователя. Занятия анализом глобальных рисков может вызвать у человека ощущение, будто он занят важнейшим делом во вселенной, а потому является сверхценной личностью. Это может привести при определённых обстоятельствах к информационной глухоте: исследователь «закроется» для новых сведений! Окружающие легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона: каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Защита от этого – относиться к глобальным рискам нейтрально, как, например, к препарированию лягушек. 21. Интуиция как источник ошибок в мышлении о глобальных рисках. Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознанных предубеждений, например, скрытого нежелания видеть разрушения и гибель – или наоборот, потребности видеть там, где их нет. 22. Научное исследование глобальных рисков также сталкивается с рядом проблем. Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка – именно то, чего хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Статистика по глобальным рискам невозможна. Фундаментальная концепция «опровержимости» также неприменима к теориям о глобальных рисках. 23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска. Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как «Доказательство Конца Света» (Doomsday Argument), а также эффекты наблюдательной селекции. Однако большинству людей они неизвестны, а значительная доля исследователей их отвергает. 24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам. От глобальных рисков не застраховаться, на них невозможно ставить пари: некому и нечего будет выплачивать в страховом случае. И даже малейшая их вероятность неприемлема. Потому же некому оплачивать их исследования. Если же эти исследования проводятся в рамках одной страны или культуры, в результатах может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблемам национальной безопасности. 25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта. Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать «необратимым повреждением его потенциала». «Пограничный вопрос» касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других крайних случаев. Важно помнить историческую изменчивость этих границ: ещё пару веков назад дикаря или раба не считали за человека даже образованные люди, а теперь нередко к разумным существам причисляют китов и дельфинов. Было ли истребление неандертальцев, с точки зрения неандертальцев, гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола. Одни группы людей сочтут «глобальной катастрофой» то, что другие готовы приветствовать. Это рождает возможность опасной конфронтации. 26. Психологическая особенность восприятия рисков: «пренебрежение масштабом». Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги [Yudkowsky 2008b]. В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней. 27. Преувеличение прогностической ценности экстраполяции Потенциальная ошибочность надежды на то, что «кривая (то есть график роста) вывезет». Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, каковой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, столь комплексный, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, «отскок» или «свечу». Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения «фундамента» – анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная со знаменитого казуса, что уровень навоза в Лондоне сделает движение по городу невозможным, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в «золотой век», где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут. 28. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. А.П. Назаретян [Назаретян 2001] описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях. Эта потребность побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. Типичный пример: физическое ограничение скорости машин до 50 км/час заметно сократило бы число автомобильных аварий, но большинство водителей на это не согласится. И нельзя недооценивать эту «скуку». При этом люди всегда «рационализируют» свои иррациональные потребности. 29. Смутность представлений о том, что именно является «поражающим фактором» в разных сценариях глобального риска. С детства выученные представления о поражающих факторах ядерного оружия существенно отличаются от факторов принятия решения о его применении, – и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда – он может только управлять разными видами оружия. Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это лишь очерчивает множество возможных причин его смерти, но не сообщает однозначно, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: дело может быть в бытовой ссоре, или самоубийстве, или даже несчастном случае на охоте. Ясно, что война и выстрел – относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения. 30. «Шок будущего»: когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей. Выделяют пять уровней «Шока будущего». Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные от человека к человеку. Каждому уровню возможного будущего соответствуют свои глобальные риски – и способы противостояния им. При этом все варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего: Шок 0-ого уровня – уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.) Шок 1-ого уровня – уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.) Шок 2-ого уровня – технологии, описанные классической научной фантастикой середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян) Шок 3-его уровня – сверхтехнологии, возникшие на горизонте лишь в конце ХХ века: нанотехнологии («умная пыль»), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: «серая слизь», сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей) Шок 4-ого уровня – концепция о «Сингулярности» – гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу «технологическая сингулярность». Каждый исследователь будущего имеет свой горизонт возможного и невозможного, определяемый скорее психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация «ослепления будущим», когда угрозы невероятных катастроф затмят в глазах человека обычные риски. Это порождает специфические ошибки прогнозирования, связанные с уровнем шока будущего. При этом реальные риски глобальной катастрофы имеются на каждом уровне, и крайне сложно учесть все одновременно. Катастрофа ядерной войны «понятнее», чем «псевдодружественный ИИ». 31. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, ведущие к системному эффекту. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую – как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит продвижение нанотехнологий, а нанотехнологии позволят раскрыть тайны мозга, что приблизит создание ИИ. Громадное количество обратных связей приводит к сложным взаимозависимостям глобальных рисков. Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano-bio-info-cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге. 32. Недооценка системных факторов глобального риска. Системные факторы – это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают всё большее число участников, но не зависят от поведения ни одного из них и не имеют центра. 33. Призыва типа: «Мы все должны бороться за мир». Нескоординированное приложение усилий в борьбе за спасение планеты приводит к ситуации, описанной в знаменитой басне. Множество людей и организаций тащит эту телегу с той же эффективностью, как «лебедь, рак да щука». 34. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы. Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они – немногочисленные и лишённые технологий – окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как «глобальные риски». Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество. Взрыв составит лишь порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившим остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году (~200 мегатонн тротилового эквивалента). Однако в силу высокой связности современной цивилизации, резко возрастает роль отдалённых последствий катастрофы – как экономических, так и структурных. Огромная волна-цунами от падения Апофиса привела бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному – с соответствующим нарастанием необратимых последствий. 35. Когнитивное искажение, основанное на мысли: «Это слишком плохо, чтобы быть правдой». Человеку свойственно мысленно защищаться от негативных сценариев, приписывая им меньшую вероятность или вообще отказываясь о них думать. Например, нетрудно представить абстрактный «разбитый автомобиль», но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает самой мысли о нём. Очевидно, глобальная катастрофа, уничтожающая всё, что нам ценно, в наибольшей мере соответствует определению «слишком плохого». Глобальная катастрофа хуже, чем смерть, потому что включает её в себя. 36. Когнитивное искажение, основанное на мысли: «Это слишком невероятно, чтобы быть правдой». Имеется множество исторических примеров, как нечто «невероятное» вдруг стало возможным, и даже обыденным: самолёты, атомные бомбы, Интернет. Более того, стало смертельно опасным. Надо отделять «невероятное» от физически невозможного. Но даже и последнее может обрести в будущем реальную вероятность.
Ви переглядаєте статтю (реферат): «Глобальные риски нетождественны национальной безопасности» з дисципліни «Структура глобальної катастрофи»
