Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
Наше знание по-разному влияет на вероятность разных рисков. Можно выделить «опасные риски», то есть те, к которым мы по тем или иным причинам не можем приготовиться, – в отличие от рисков, к которым мы можем приготовиться достаточно легко и быстро. Подготовка к риску включает в себя следующие условия: 1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.) 2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может возникнуть риск. 3. В момент появления риска мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем провести в жизнь в правильное время. 4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация. 5. Мы обладаем таким количеством ресурсов, которое позволяет минимизировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом. Иначе говоря, контролируемый риск – это риск, которым мы можем управлять, делая его произвольно малым. С другой стороны, можно описать условия возникновения неконтролируемого риска: 1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно, и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а «следовательно», нулевой. 2. Это событие устроено так, что оно не имеет никаких предвестников или они нам неизвестны. 3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимизировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной. 4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает. 5. Наших ресурсов не хватает для того, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле. Изложенная модель возникновения неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию возможности быстрого осознания опасности процесса, если люди поймут, что именно он и происходит. Например, по CNN объявят: «Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами». Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлые катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит – то есть создают ложную модель ситуации и, действуют, исходя из неё. Тут не обойтись без нескольких примеров: Пилоты уже упоминавшегося «Боинга», вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и самолёт выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы «Титаник» столкнулся с айсбергом строго в лоб, а не по касательной, судно бы, как полагают, не потонуло. В критических ситуациях людям очень трудно принимать решения, поскольку: • Критичность этих ситуаций для них неочевидна. • Подобные ситуации не случались в их практике. • Люди находятся под влиянием стресса (эмоций, страхов, нехватки времени) и под влиянием предрассудков. • Располагают лишь неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки. • Понимают то, что сказано в инструкциях, иначе, чем авторы инструкций. Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание ситуации требует месяцев тщательного изучения. Тем не менее всегда остаются неясности, возникают сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 % случаев аварии связаны с человеческим фактором, в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы глобального управления могут загубить полностью «исправную» планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы. Чем малопонятнее новые технологии, тем менее они поддаются общественному контролю. Люди могут участвовать в опасных процессах и операциях, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в книге «Сумма технологий», где ИИ используется в качестве советника по управлению государством. Разумеется, все советы этого ИИ, которые кажутся вредными, отклоняются наблюдательным советом. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело спустя много лет и в результате сложных промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели сохранения баланса природных ресурсов, поставленной перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным. Дрекслер так описывает этот риск: «Некоторые авторы рассматривают приход законспирированных технократов к власти в мире практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными", потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она будет становиться все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии, не нуждающейся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения» [Drexler 1985].
Ви переглядаєте статтю (реферат): «Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска» з дисципліни «Структура глобальної катастрофи»
