像監管核武器一樣監管 AI，OpenAI 高層發文探討「超級智能」監管_全球看熱訊

機器之心報道

(資料圖片僅供參考)

機器之心編輯部

AI 領域也需要一個類似「國際原子能機構」的組織？

前段時間，一向衣著休閑的 OpenAI 首席執行官 Sam Altman 以西裝革履的形式出現在了公眾面前，出席一個主題為「AI 監管：人工智能規則（Oversight of AI: Rules for Artificial Intelligence）」的。和他一起作證的還有長期批評人工智能的 Gary Marcus 以及 IBM 首席隱私和信任官 Christina Montgomery。

這次聽證會是一系列聽證會中的第一次，國會議員們希望更多地了解人工智能的潛在利弊，并最終為其「制定規則」，避免重蹈「監管社交媒體為時已晚」的覆轍。

聽證會上，Altman 基本上同意議員們的觀點，即有必要對他的公司以及谷歌和微軟等公司正在開發的日益強大的人工智能技術進行監管。不過，在對話早期階段，他們和立法者都不能說，這種監管應該是什么樣子。

如今，聽證會已經過去一周，OpenAI 高層又以書面的形式闡述了他們對監管的看法。在一篇題為「Governance of superintelligence」的博客中，Altman 等人寫道，「現在是一個開始思考超級智能（superintelligence）監管的良好時機 —— 未來的 AI 系統將比 AGI 都要強大」

Altman 等人認為，未來十年內，AI 系統有望超過專家水平，在大多數領域展現出與當今最大企業相當的生產能力。然而，超級智能技術帶來的潛在利益和風險將比過去任何其他技術更加巨大。為了實現更加繁榮的未來，我們必須管理好超級智能的風險，并確保其與社會的順利融合。為了實現這一目標，Altman 等人指出，我們有很多事情可做。首先，我們需要在領先的開發努力之間進行協調，確保超級智能的發展安全可控。此外，我們還需要建立類似于國際原子能機構的國際機構來監督超級智能的研究和應用，確保其符合安全標準，并限制其部署和安全級別。此外，我們需要致力于研發使超級智能安全可控的技術能力。

但 Altman 等人也提醒說，盡管要減輕當今 AI 技術的風險，但不應將類似的監管機制應用于低于重要能力閾值的模型。

不過，這里的閾值如何定義也是一個令人頭疼的問題。

以下是博客原文：

超級智能的治理

考慮到我們當前所看到的情況，可以想象在接下來的十年內，人工智能系統在大多數領域將超過專家水平，并且能夠執行與今天最大的企業相當的生產活動。

從潛在的優勢和劣勢來看，超級智能將比人類過去所面對的其他技術更為強大。我們可以擁有一個更加繁榮的未來，但我們必須管理風險才能實現這一目標。鑒于存在滅絕性風險的可能性，我們不能僅僅是被動應對。在具備這種特性的技術中，核能、合成生物學都是常用的例子。

我們必須減輕今天的人工智能技術風險，但超級智能將需要特殊的處理和協調。

起點

對于我們來說，有許多理念能夠幫助我們更好地把握這一發展方向。在這里，我們初步提出了我們對其中三個問題的思考。

首先，我們需要在主要發展努力之間進行一定程度的協調，以確保超級智能的發展以一種既能確保安全，又能有助于將這些系統與社會進行順利整合的方式進行。這可以通過多種方式實施；全球各主要政府可以設立一個項目，讓許多當前的努力成為其中的一部分，或者我們可以達成共識（在像下文提到的那種新組織的支持下），將前沿人工智能能力每年的增長速度限制在一定速率內。

當然，個別公司應該被要求以極高的標準行事，履行責任。

其次，我們可能最終需要類似國際原子能機構（IAEA）的機構來監管超級智能方面的工作；任何超過一定能力（或計算資源等）門檻的努力都需要受到國際機構的監督，該機構可以檢查系統、要求進行審計、測試產品是否符合安全標準，對部署程度和安全級別進行限制等等。追蹤計算資源和能源的使用情況可以在很大程度上幫助我們實現這一想法。

第一步，公司可以自愿同意開始實施該機構某一天可能要求的要素；第二步，各個國家可以實施。重要的是，這樣的機構應該專注于降低滅絕性風險，而不是解決應該由各個國家決定的問題，比如定義人工智能應該允許說些什么。

第三步，我們需要具備使超級智能系統安全的技術能力。這是一個開放的研究問題，我們和其他人都在付出很多努力來解決這個問題。

監管范圍

我們認為，允許公司和開源項目開發低于重要能力閾值的模型是很重要的，他們不需要我們在這里描述的那種監管（包括繁瑣的許可證或審計等機制）。

當前的系統將為世界創造巨大的價值，盡管它們確實存在風險，但這些風險的水平似乎與其他互聯網技術相當，并且社會的應對方式似乎是適當的。

相比之下，我們所關注的系統將擁有超越目前任何技術的力量，我們應該小心，不要通過將類似的標準應用于遠遠低于這一水平的技術來削弱對它們的關注。

公眾意見及潛力

然而，對于最強大的系統的治理以及它們的部署決策，必須進行嚴格的公眾監督。我們認為，全世界的人們應該民主地決定 AI 系統的范圍和默認設置。我們尚不清楚如何設計這樣的機制，但我們計劃對它的發展進行試驗。我們仍然認為，在這些廣泛的范圍內，個體用戶應該對所使用的 AI 的行為有很大的控制權。

考慮到風險和困難，為什么要構建這項技術是一個值得思考的問題。

在 OpenAI，我們有兩個基本出發點。首先，我們相信超級智能將帶來一個比我們今天所能想象的世界更美好的未來（我們已經在教育、創造性工作和個人生產力等領域看到了早期的例子）。世界面臨著許多需要我們更多幫助才能解決的問題；這項技術可以改善我們的社會，每個人使用這些新工具的創造能力肯定會讓我們大吃一驚。經濟增長和生活質量的提高將令人震驚。

原文鏈接：https://openai.com/blog/governance-of-superintelligence

THE END

投稿或尋求報道：content@jiqizhixin.com

關鍵詞：