GPT-4太强，OpenAI也不懂！AI到底是怎麼突然“湧現”的？

• 對於模型而言存在一個複雜性閾值,超過這個閾值,模型功能複雜性會以指數增長,「湧現」出驚人的智能,但模型不可控、不可預測、不可解釋的特徵,也讓學術界陷入了迷茫與深思。

2023年至今,ChatGPT和GPT-4始終霸佔在熱搜榜上,一方面外行人都在驚嘆於AI怎麼突然如此強大,會不會革了「打工人」的命;另一方面,其實內行人也不明白,為什麼模型規模在突破某一界限後,突然就「湧現」出了驚人的智能。

出現智能是好事,但模型不可控、不可預測、不可解釋的行為,卻讓整個學術界陷入了迷茫與深思。

突然變強的超大模型

先出一道簡單的題目,下面這幾個emoj代表了什麼電影?

最簡單的語言模型往往只能續寫出「The movie is a movie about a man who is a man who is a man」;中等複雜度模型的答案則更接近,給出的答案是「The Emoji Movie」;但最複雜的語言模型只會給出一個答案:海底總動員「Finding Nemo」

實際上這個prompt也是為測試各種大型語言模型能力而設計的204項任務之一。

Google Research的計算機科學家Ethan Dyer參與組織了這次測試,他表示,雖然構建BIG-Bench數據集的時候我已經準備好了迎接驚喜,但當真的見證這些模型能做到的時候,還是感到非常驚訝。

驚訝之處在於,這些模型只需要一個提示符:即接受一串文本作為輸入,並且純粹基於統計數據一遍又一遍地預測接下來是什麼內容。

計算機科學家曾預計,擴大規模可以提高已知任務的性能,但他們沒有預料到模型會突然能夠處理這麼多新的、不可預測的任務。

Dyer最近參與的一項調研結果顯示,LLM 可以產生數百種「湧現」(emergent)能力,即大型模型可以完成的任務,小型模型無法完成,其中許多任務似乎與分析文本無關,比如從乘法計算到生成可執行的計算機代碼,還包括基於Emoji符號的電影解碼等。

新的分析表明,對於某些任務和某些模型,存在一個複雜性閾值,超過這個閾值,模型的功能就會突飛猛進。

研究人員也提出了湧現能力的另一個負面影響:隨著複雜性的增加,一些模型在回答中顯示出新的偏見(biases)和不準確性。

斯坦福大學的計算機科學家 Rishi Bommasani 表示,我所知道的任何文獻中都沒有討論過語言模型可以做這些事情。

去年,Bommasani 參與編制了一份包含幾十種湧現行為的清單,其中包括在Dyer的項目中發現的幾種行為,並且這個名單還在繼續變長。

目前研究人員不僅在競相發現更多的湧現能力,而且還在努力找出它們發生的原因和方式,本質上是試圖對不可預測性進行預測。

理解湧現可以揭示圍繞人工智慧和一般機器學習的深層次問題的答案,比如複雜模型是否真的在做一些新的事情,或者只是在統計方面變得非常擅長,它還可以幫助研究人員利用潛在的優勢和減少湧現風險。

人工智慧初創公司 Anthroic 的計算機科學家 Deep Ganguli表示,我們不知道如何判斷哪種應用程式的危害能力將會出現,無論是正常出現的還是不可預測的。

湧現的湧現(The Emergence of Emergence)

生物學家、物理學家、生態學家和其他科學家使用「湧現」一詞來描述當一大群事物作為一個整體時出現的自組織、集體行為。

比如無生命的原子組合產生活細胞; 水分子產生波浪; 椋鳥的低語以變化但可識別的模式在天空中飛翔; 細胞使肌肉運動和心臟跳動。

重要的是,湧現能力在涉及大量獨立部分的系統中都有出現,但是研究人員直到最近才能夠在 LLM 中發現這些能力,或許是因為這些模型已經發展到了足夠大的規模。

語言模型已經存在了幾十年,但直到五年前最強大的武器還是基於循環神經網絡(RNN),訓練方法就是輸入一串文本並預測下一個單詞是什麼;之所以叫循環(recurrent),是因為模型從自己的輸出中進行學習,即把模型的預測反饋到網絡中,以改善性能。

2017年,谷歌大腦的研究人員引入了一種名為Transformer的全新架構,相比循環網絡逐字分析一個句子,Transformer可以同時處理所有的單詞,也就意味著Transformer可以並行處理大量文本。

隨著 GPT-3(擁有1750億參數)和谷歌的 PaLM (可擴展至5400億參數)等模型的發布,用戶發現了越來越多的湧現能力。

一位 DeepMind 的工程師甚至報告說,他可以讓 ChatGPT 認為自己是一個 Linux 終端,並運行一些簡單的數學代碼來計算前10個素數。值得注意的是ChatGPT可以在真正的Linux機器上執行相同的代碼，完成任務的速度更快。

就如電影Emoji符號的任務一樣，研究人員原本並無理由認為一個用於預測文本的語言模型可以模仿電腦終端。然而，許多不同的出現行為都展現了語言模型的Zero-shot或Few-shot學習能力，也就是說，LLM可以解決過去從未見過或很少見過的問題。

眾多研究人員發現了LLM可以超越訓練數據限制的跡象，他們正努力更好地掌握如何形成這些現象以及它們是如何產生的。第一步就是完全記錄下來。

超越模仿遊戲 在2020年，Dyer和Google Research的其他人預測，LLM將產生變革性影響，但這些影響具體是什麼仍然是一個未解決的問題。

因此，他們要求各個研究團隊提供困難且多樣化任務的例子以找到語言模型的能力邊界，這項工作也被稱為「超越模仿遊戲的基準」（BIG-bench，Beyond the Imitation Game Benchmark）項目。名字來源於艾倫·圖靈提出的「模仿遊戲」，也就是圖靈測試，測試計算機是否能以令人信服的人性化方式回答問題。

正如預期的那樣，在某些任務上，隨著複雜性的增加，模型的性能穩定且可預測地得到改善；而在其他任務中，增加參數的數量並未產生任何改善。

然而，在大約5%的任務中，研究人員發現了所謂的「突破」（breakthroughs），即在一定閾值範圍內，性能出現了快速、戲劇性的上升。這個閾值會根據任務和模型的不同而變化。

例如，參數相對較少（只有幾百萬）的模型無法成功地完成三位數加法或兩位數乘法的問題，但對於數百億個參數，某些模型的精確度會大幅提高。

其他任務也出現了類似的跳躍，包括解碼國際音標、解讀單詞的字母、識別印度英語（印地語和英語的結合）段落中的冒犯性內容，以及生成類似於斯瓦希里諺語的英語對等詞。

然而，研究人員很快意識到模型的複雜性並不是唯一的驅動因素。如果數據質量足夠高，一些意想不到的能力可以從參數較少的較小模型中獲得，或者在較小的數據集上訓練。此外，查詢的措辭也會影響模型回答的準確性。

去年，在該領域的旗艦會議NeurIPS上發表的一篇論文中，Google Brain的研究人員展示了如何讓模型利用提示進行自我解釋（思維鏈推理）。例如，如何正確地解決數學問題，如果沒有提示，同樣的模型就不能正確地解決。

Google Brain的科學家Yi Tay專注於系統研究breakthroughs，他指出，最近的研究表明，思維鏈的提示改變了模型的規模曲線，也改變了出現的點。使用思維鏈式提示可以引發BIG實驗中未發現的出現行為。

布朗大學的計算機科學家Ellie Pavlick專注於研究語言計算模型，她認為，這些最近的發現至少提出了兩種可能性：

第一種可能性是，正如與生物系統相比時所顯示的，較大的模型確實會自發地獲得新的能力。這可能是因為這個模型從根本上學習到了一些新的、不同的東西，而這些東西在小尺寸模型中並不存在。這正是我們所期望的情況，當模型擴大規模時，會發生一些根本性的轉變。

另一種可能性，雖然不那麼引人注目，是看似突破性的事件可能是一個內部的、由統計數據驅動的、通過思維鏈式推理運作的過程。大型LLM可能只是學習了啟發式演算法，對於那些參數較少或數據質量較低的模型來說，啟發式演算法是無法實現的。

然而，她認為，確定哪一種解釋更有可能，取決於我們能否理解LLM是如何運作的。因為我們不知道它們在內部是如何運作的，所以我們無法確定哪一種猜測更合理。

在未知力量下隱藏的陷阱 谷歌在二月份發布了類ChatGPT產品Bard，然而在演示中卻暴露出一個事實性錯誤。這也帶來了一個啟示，即雖然越來越多的研究人員開始依賴這些語言模型來完成基本的工作，但我們並不能完全信任這些模型的輸出結果，需要人工進一步檢查他們的工作。

涌現引起了不可預測性，而隨著模型規模的擴大，這種不可預測性也相對增加，使研究人員難以預測其廣泛使用的後果。

要研究涌現現象，你必須首先在腦海中有一個案例，但在研究規模的影響之前，你無法知道可能會出現什麼能力或限制。

某些有害行為也可能在某些模型中涌現。最近對LLM的分析結果表明，社會偏見的涌現往往伴隨著大量的參數，也就是說，大型模型可能會突然變得更有偏見。如果不能解決這種風險，可能會對這些模型的研究對象造成威脅。

來源:新智元