Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его «дружественности», хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго запрограммирован людьми на некие цели, или он приобрёл цели случайно в процессе своего развития. В первом случае существует развилка: – цели ИИ могут быть опасны для всего человечества или 1. потому что создавшая его группа людей преследует некие разрушительные цели, или 2. потому что при программировании системы целей ИИ в неё вкралась тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть рекомендации SIAI относительно того, как правильно программировать сильный ИИ при его создании, но окончательно этот вопрос не решён и есть сомнения, что он вообще может быть решён, поскольку невозможно предсказать поведение более интеллектуальной системы (то есть ИИ) с помощью менее интеллектуальной (то есть человекам).
Ви переглядаєте статтю (реферат): «Система целей» з дисципліни «Структура глобальної катастрофи»
