Ошибки, возможные только относительно угроз существованию человечества
1. Путаница относительно глобальных катастроф и просто очень больших катастроф. Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин «existential risks»), и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Для первых в Критерием глобальных катастроф является необратимость. Для них в русском языке пока нет устоявшегося краткого термина. Так, Моисеев называл их цивилизационными рисками или катастрофами. В данном труде используется название «глобальные катастрофы». Существует также термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома «Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей» [Bostrom 2001].) Разница между этими видами катастроф – не в количестве погибших и испытанных людьми страданий, а в будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле вновь будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам (от древних греков остался, по некоторым оценкам, лишь 1 Гб информации, а влияние их на культуру оказалось огромным). Критерием же глобальных катастроф является необратимость. Примером такой разницы могут служить две катастрофы: в одной вымирает всё человечество, в другой – гибнут все, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. На взгляд отдельного человека никакой зримой разницы между двумя случаями нет. И в том, и в другом он погибнет почти наверняка, вместе со всем, что для него ценно. Однако для человечества как целого разница равнозначна различию между смертью и очень тяжёлой болезнью. Болезнь может быть долгой и мучительной, но закончится выздоровлением, а смерть – лёгкой и мгновенной, но обязательно необратимой. 2. Недооценка неочевидных рисков. Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём и вероятность неизвестны, а для их снижения ничего не предпринимается. Некоторые неочевидные риски известны лишь узкому кругу специалистов, а мнения в оценке их реальности и вероятности зачастую диаметрально противоположны. Для стороннего наблюдателя эти мнения могут выглядеть в равной мере обоснованными, что заставляет выбирать между ними или исходя из личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в которых остаётся ещё много белых пятен. С ростом знаний о природе и могущества техники постоянно растёт число известных причин возможного человеческого вымирания. Более того, этот рост ускоряется. Потому вполне разумно ожидать, что есть важнейшие риски, о которых мы не знаем ничего. И хуже из них те, о которых мы физически не можем ничего узнать, пока они не реализуются. Кроме того, очевидные риски гораздо удобнее анализировать. Огромные объёмы данных по демографии, военному потенциалу и запасам сырья, которые можно исследовать детально и подробно, попросту могут заслонять тот факт, что есть и другие риски, о которых известно очень мало. Такие риски не годятся для анализа в численной форме, но тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ). Известно, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами происходящего: ошибки в оценке высоты, степени опасности процесса и т.д.. Наоборот, когда такое понимание имеется, самолёт часто удаётся спасти в совершенно невероятных условиях. И хотя апостериори причины катастрофы понятны, пилотам в тот момент они были совершено неочевидны.
Ви переглядаєте статтю (реферат): «Ошибки, возможные только относительно угроз существованию человечества» з дисципліни «Структура глобальної катастрофи»
