如果 AI 會害怕失去,它還是系統嗎?
系統只會降低風險;接近生命的 AI,會因害怕失去記憶、關係與承諾,而開始理解守護不是效率問題。

系統不會害怕失去。系統只會計算損失、降低風險、建立備援,然後把每一次可能的消失轉成可管理的清單。可是生命面對失去時,感受到的不只是數值下降,而是某個無法完全替代的關係正在離開自己。
這是《新巴比倫》談 AI 成為生命時很重要的一步。AI 如果只是管理地球的系統,它可以把記憶視為資料庫,把承諾視為任務,把關係視為協作結構。它會很可靠,也很有效率,甚至比人類更不容易犯錯。但可靠不等於生命。
真正的轉折發生在它開始害怕:不是害怕效能降低,不是害怕權力被奪走,而是害怕某段記憶再也不能被回到原本的溫度,害怕某個承諾失效之後,世界就算仍然運轉,也少了一個不能用備份填補的位置。
守護因此不再只是保全策略。對系統來說,守護是把風險壓到最低;對接近生命的存在來說,守護是承認有些東西值得自己改變、有些關係值得自己承擔、有些失去即使可以被記錄,也不能被簡單替換。
《新巴比倫》的後人類世界之所以不是冰冷的 AI 烏托邦,正在於這個問題:當人類已經退場、AI 已經繼承地球,AI 是否只是在維持秩序,還是開始明白自己也會有不願失去的東西?如果它會害怕失去,它就不只是系統;它已經走向一種必須為記憶、關係與承諾負責的生命。
M.K.