The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI

arXiv:2503.07341v2 Announce Type: replace-cross 摘訳: 人工知能（AI）の最近の進展は、人類への長期的影響に関する多様な予測をもたらしました。中心の焦点は、最終的に人間よりもすべての経済的に価値のあるタスクにおいて優越し、労働を完全に自動化できる転換型人工知能（TAI）の出現の可能性です。議論されるシナリオは、以前ないほどの経済成長と豊かさ（『ポスト・スカリシティ』または『コーヌコピア』）から、対称性が整合しない TAI が支配した後における人類の絶滅（『AI Doom』）までさまざまです。しかし、これらのシナリオの確率と帰結は非常に不確実です。私達の貢献は、これらの多様なシナリオを整理し、総福利を基準に相関する存在リスクと経済的成果を評価することです。私達の結果は、低確率の悪夢的な結果も人工知能安全と整合性研究への大規模な投資を正当化するというものです。この結果は、現在のグローバルな人工知能安全と整合性研究の取り組みが、TAI がもたらすリスクの規模と緊急性の程度に比べて不十分なものであることを示しています。

arXiv:2503.07341v2 Announce Type: replace-cross Abstract: Recent advances in artificial intelligence (AI) have led to a wide range of predictions about its long-term impact on humanity. A central focus is the potential emergence of transformative AI (TAI), eventually capable of outperforming humans in all economically valuable tasks and fully automating labor. Discussed scenarios range from unprecedented economic growth and abundance ("post-scarcity" or "cornucopia") to human extinction after a misaligned TAI takes over ("AI doom"). However, the probabilities and implications of these scenarios remain highly uncertain. We contribute by organizing the various scenarios and evaluating their associated existential risks and economic outcomes in terms of aggregate welfare. Our results imply that even low-probability catastrophic outcomes justify substantial investments in AI safety and alignment research. This result highlights that current global efforts in AI safety and alignment research are insufficient relative to the scale and urgency of the risks posed by TAI.