濱州網絡公司告訴你人工智能悠著點

今天，著名安全機構生命未來研究所（Future of Life Institute，FLI）發布了一封公開信，信中呼吁全球所有機構暫停訓練比GPT-4更強大的AI至少六個月，并利用這六個月時間制定AI安全協議。

截至本文發稿時，已有1125人在公開信上簽名附議，其中包括特斯拉CEO伊隆·馬斯克，圖靈獎得主約書亞·本吉奧，以及蘋果聯合創始人史蒂夫·沃茲尼亞克。

簽名人數還在持續增加中。

這封信的言辭十分激烈。

信中稱，我們目前開發的高級人工智能正在對人類社會造成威脅，各大AI實驗室之間的競爭已經失控，然而，包括AI的創造者在內，沒有人能理解、預測或可靠地控制它們。

“我們是否應該把所有工作都自動化，包括那些有成就感的工作？我們是否該開發機器大腦，讓它們比人腦還多，比人腦還聰明，最終淘汰我們取代我們？我們是否應該冒文明失控的風險？”信中詰問道。

這些問題已經擺在我們面前，但我們沒有做好準備。

因此，這封公開信呼吁所有人立即暫停AI研究至少六個月，然后加速制定安全協議，此外，AI研究和開發應該更關注準確性、安全性、可解釋性、透明度、魯棒性、可靠性和忠誠度。

公開信的全文翻譯如下：

停止大型AI實驗：一封公開信

我們呼吁所有實驗室立即停止訓練比GPT-4還要強大的AI系統至少六個月。

和人類智能相近的AI系統會為社會和人類帶來極大風險，廣泛的研究已經證明了這一點[1]，頂尖的AI實驗室也已經承認[2]。正如Asilomar AI原則所指出的那樣，“高級AI可能意味著地球生命史上的深刻變革，我們應當投入可觀的關注和資源對其進行規劃和管理”。不幸的是，這種規劃和管理沒人去做，而最近幾個月，AI實驗室正在開發和部署越來越強大的數字思維，這種競爭逐漸失控——包括它們的創造者在內，沒有人能理解、預測或可靠地控制它們。

如今，AI系統在一般任務上已經具備了與人類競爭的能力[3]，我們必須自問：是否該讓信息渠道充斥著機器寫就的宣傳和謊言？是否應該把所有工作都自動化，包括那些有成就感的工作？是否該開發機器大腦，讓它們比人腦還多，比人腦還聰明，最終淘汰我們取代我們？是否應該冒文明失控的風險？這樣的決定絕不能委托給未經選舉的技術領袖來做。只有當我們確信強大的AI系統是積極的、風險是可控的，才應該繼續這種開發。而且AI的潛在影響越大，我們就越需要充分的理由來證明其可靠性。OpenAI最近關于人工通用智能的聲明指出，“到了某個時間節點，在開始訓練新系統之前可能需要進行獨立審查，而用于新模型的計算的增長速度也應加以限制”。我們深深認同這份聲明，而那個時間點就是現在。

因此，我們呼吁所有正在訓練比GPT-4更強大的AI系統的實驗室立即暫停訓練，至少暫停6個月。實驗暫停應該對外公開，可以驗證，并涵蓋所有關鍵的實驗室。如果不能迅速實施，政府應該介入并發布禁止令。

在暫停期間，AI實驗室和獨立學者應針對高級AI的設計和開發共同制定實施一套共享安全協議。這份協議的審計和監督應由獨立的外部專家嚴格執行，確保AI的安全性不超過合理的懷疑范圍[4]。這并不意味著我們要暫停人工智能的總體發展，而只是從目前這種會不斷涌現出具有新能力的、不可預測的黑匣子模型的危險競賽中退后一步。

人工智能的研究和開發應該重新聚焦于優化最先進的系統，讓它更加準確、安全、可解釋、透明、穩健、一致、值得信賴、對人類忠誠。

與此同時，AI開發人員必須與決策者合作，大力推進強有力的AI治理系統的發展。這個系統至少應包括：針對AI的新型監管機構；對高能力AI系統的監督追蹤和大型算力池；幫助區分真實數據與AI生成的數據、并且追蹤模型泄漏的溯源和水印系統；強有力的審計和認證生態系統；對AI造成的損害定責；用于技術AI安全研究的強大公共資金；應對AI可能會引發的巨大經濟和政治動蕩（尤其是對民主的影響）的有充足資源的機構。

人類可以和AI共創繁榮未來。我們已經成功地創建了強大的AI系統，現在我們可以享受“AI之夏”，在這個過程中，收獲回報，設計監管系統，造福所有人，并給社會一個適應的機會。我們已經暫停了其他可能產生災難性影響的技術，對于AI我們也應如此。

讓我們享受一個長長的AI之夏，不要毫無準備地沖入秋天。

多位專家學者在公開信上簽名附議

這封公開信的部分簽名者如下：

Yoshua Bengio，蒙特利爾大學，因對深度學習的開發獲得圖靈獎，蒙特利爾學習算法研究所所長。

Stuart Russell，伯克利計算機科學教授，智能系統中心主任，標準教科書《人工智能：現代方法》的合著者。

伊隆·馬斯克（Elon Musk），SpaceX、Tesla和Twitter的首席執行官。

史蒂夫·沃茲尼亞克（Steve Wozniak），蘋果聯合創始人。

Yuval Noah Harari，作家和耶路撒冷希伯來大學教授。

Emad Mostaque，Stability AI 首席執行官。

Connor Leahy，Conjecture 首席執行官。

Jaan Tallinn，Skype 聯合創始人，生存風險研究中心，未來生命研究所。

Evan Sharp，Pinterest 聯合創始人。

Chris Larsen，Ripple 聯合創始人

John J Hopfield，普林斯頓大學名譽教授，聯想神經網絡的發明者。

公開信是誰寫的？有什么用？ 

這封公開信是由生命未來研究所（FLI）于今天發布在官方網站上的。這個名字聽起來有點中二的組織其實早在2014年就已經成立，團隊的目標是引導變革性技術遠離極端、大規模的風險，轉向造福生活。

FLI主要關注四大風險：人工智能、生物技術、核武器、氣候變化。人工智能也不算是什么新“威脅”，它早就是FLI的研究方向之一。馬斯克甚至向這個機構捐贈了1000萬美金以支持他們調查人工智能的潛在缺陷。

公開信則是生命未來研究所的一種呼吁性文件。

當涉及到新興技術及其風險時，FLI認為科學家需要發出自己的聲音。聯合簽署公開信正是一個可以引起大家關注的方式，可以促進相關話題的對話和交流。

這個團隊所做的事情不只是呼吁。2017年，FLI組織了一次關于人工智能的會議，大家圍繞著相關話題討論并通過了阿西洛馬人工智能原則（Asilomar AI Principles）。這份原則的23項條款里涉及到人工智能的發展問題、倫理和指導方針。

不過這個組織也受到了不少批評。有媒體認為這種公開信缺乏對具體技術的討論，只是搞了一個嚇唬人的標題來博取關注，這甚至讓大眾產生了“AI恐慌”。

值得一提的是，提交公開信簽名需要經過人工審核，但這次的簽署人中短暫地出現了Open AI首席執行官山姆·阿爾特曼的名字，讓人們感到費解。不過目前該名字已經從網頁移除，山姆·阿爾特曼本人也并未對此事發表任何看法。

所有的簽名在展示前都會經過人工審核。｜futureoflife.org

意外烏龍還是博人眼球，我們很難去還原這其中的糾葛。

有人調侃道：你永遠不能把呼喚出來的精靈再塞回壺里去。AI發展至今，我們很難通過阻止來暫停它繼續迭代，而各類倫理和政策的跟進又很滯后，成了當下的棘手問題。

自2014年以來，聯合國就針對致命自主武器系統（亦稱“殺手機器人”）的開發進行了國際辯論。2017年，馬斯克更是聯名發布公開信，呼吁頂級人工智能和機器人公司敦促聯合國對致命自主武器采取行動。

如今，GPT一次又一次震撼世界，而對于它未來的應用，人們更是充滿了想象。但在不同的應用場景下，人們還會繼續爭論如何保證人工智能僅被用于“向善”的問題。

參考文獻

[1]Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big???. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).

Bostrom, N. (2016). Superintelligence. Oxford University Press.

Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).

Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.

Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.

Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).

Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.

Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.

Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.

Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.

Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.

Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.

[2]Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.

Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.

[3]Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.

OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.

[4]Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".

[5]Examples include human cloning, human germline modification, gain-of-function research, and eugenics.

[6]An Open Letter To Everyone Tricked Into Fearing Artificial Intelligence. https://www.popsci.com/open-letter-everyone-tricked-fearing-ai/

[7]聯合國與致命自主武器系統. https://www.unesco.org/zh/articles/lianheguoyuzhimingzizhuwuqixitong

[8]Open Letter to UN. KILLER ROBOTS: WORLD'S TOP AI AND ROBOTICS COMPANIES URGE UNITED NATIONS TO ACT ON LETHAL AUTONOMOUS WEAPONS. https://www.cse.unsw.edu.au/~tw/ciair/letter.html