オックスフォード大学のWill MacAskillは、AI技術の急速な進歩により「知能爆発」と呼ばれる劇的な変化が今後10年以内に起こる可能性が高く、社会は今から多面的な準備をする必要があると主張。
なぜなら、現在のAI研究能力の成長速度は人間の(別分野における)研究能力の成長速度の約600倍以上 で進んでいるからだそう。
この傾向が続けば、AIシステム自体に備わる認知能力が全人類の研究能力に匹敵し、さらにそれを大きく超える時点が訪れると予想されています。
超知能が登場したとき、多岐にわたる「グランドチャレンジ」が急速に押し寄せてくるとのこと。
人間や国家による権力の極端な集中、生物兵器やドローン群、原子レベルの精密製造などの破壊的技術の出現、AIシステムやデジタル生命体の道徳的地位をめぐる問題、宇宙資源の獲得競争、社会の意思決定能力を損なう情報操作の高度化など。
にもかかわらず、誰が超知能を制御するかという問題は、超知能が完成する前に決まってしまう可能性が高い。だから、企業や政府が今から責任ある意思決定者を選び、国際的なガバナンスの枠組みを構築し、社会全体の意思決定能力を向上させるためのツールを開発し、一般市民や政策立案者の理解を深めるべきだと述べられています。