Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b). Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применением (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия. Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс на то, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов. Обобщая, можно сделать вывод, что биотехнологии получают самые высокие баллы по этой шкале – эти технологии наверняка возможны, вредоносное их применение почти неизбежно и по времени они весьма близки к нам. Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, – благодаря прогрессу в создании ИИ или биотехнологий, – они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать, и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий. ИИ, будучи «двухсторонним джокером», может и предотвратить любые другие риски, и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации – в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с возможным плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и раннее возникновение, скорее, связано с внезапным изобретением в некоей лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий «хакер», так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу. Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект «добивания», вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал «глобальные риски третьего рода». Чем быстрее ускоряется развитие технологий, чем больше скорости обмена, тем быстрее становятся все процессы внутри человеческой цивилизации, в том числе тем быстрее работают все виртуальные симуляции реальности. Это означает, что за год объективного времени цивилизация может пройти сотни и тысячи лет «субъективного» времени, если считать по её внутренним часам. В силу этого, вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков – с точки зрения внутреннего наблюдателя. Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах – треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас люди из «золотого миллиарда» в целом поспевают за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. Трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (хотя японцы приучены менять сотовые телефоны и одежду каждые три месяца), правда экономическое давление очень велико и создаёт социальное давление – например, рекламный образ нового, ещё более крутого телефона. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу – побеждает более быстрый.
Ви переглядаєте статтю (реферат): «Сопоставление различных технологических рисков» з дисципліни «Структура глобальної катастрофи»
