人人都知，讓ChatGPT稱霸天下的秘密武器，就是人類反饋強化學習（RLHF）。

而現(xiàn)在，Meta AI等機構(gòu)的爆火研究LIMA直接打破這一規(guī)則，直言RLHF并沒有那么重要！

(資料圖)

論文一出，直接在AI圈炸了鍋！

就連LeCun忍不住發(fā)推炫一番：LIMA：LLaMa-65B+1000監(jiān)督樣本=GPT-4/Bard級別的性能。

正如標題所稱，LIMA是「Less is More for Alignment」，暗示著一個強大的預訓練AI模型，通過幾個樣本就足以實現(xiàn)高質(zhì)量的結(jié)果。

而LIMA僅在1000個精心挑選的樣本上微調(diào)LLaMa-65B，而且無需RLHF，就實現(xiàn)了與GPT-4和Bard相媲美的性能。

論文地址：https://arxiv.org/abs/2305.11206

論文中，研究人員將這一突破稱為「表面對齊假設(shè)」（Superficial Alignment Hypothesis）。

實驗證明了，大語言模型在預訓練階段就已習得大部分知識，僅用有限的指令微調(diào)數(shù)據(jù)，足以教會模型產(chǎn)生高質(zhì)量的內(nèi)容。

高質(zhì)量的數(shù)據(jù)就可以克服小樣本量？訓練這樣模型的成本是多少，這是否意味著小型LLM玩家可以與OpenAI/谷歌競爭？

還有網(wǎng)友質(zhì)疑，GPT-4在57%情況中擊敗LIMA，還能說性能相當？

RLHF并非王者？

大語言模型經(jīng)過預訓練，能在大規(guī)模上預測下一個token，讓其學習通用表征。這些表征可以轉(zhuǎn)移到幾乎任何語言理解或生成任務(wù)中。

為了實現(xiàn)這種轉(zhuǎn)移，人們已經(jīng)提出各種「對齊」語言模型的方法，主要側(cè)重在百萬級token上進行指令調(diào)優(yōu)。

而最近采用較多的是，從人類反饋中進行強化學習（RLHF）。這些反饋便是在與人類標注者進行數(shù)百萬次互動中收集的。

ChatGPT令人深刻的表現(xiàn)，主要歸功于RLHF。根據(jù)OpenAI的思路，RLHF分為三步。

然而，現(xiàn)有的對齊方法代價是高昂的，需要大量算力，以及專門的數(shù)據(jù)才能實現(xiàn)像ChatGPT一樣的性能。

Meta AI卻要逆行其道，證明了，一個預訓練語言模型可以通過簡單地微調(diào)精心挑選的1000個樣本，就能實現(xiàn)強大的性能。

在此，研究人員提出「表面對齊假設(shè)」（Superficial Alignment Hypothesis），假設(shè)「對齊」可以是一個簡單的過程，。

在這個過程中，模型的知識和能力幾乎完全是在預訓練期間學習的，而「對齊」只告訴模型學習與用戶交互的風格或格式

為了驗證這個假設(shè)，Meta等研究者挑選了1000個近似于真實用戶提示，以及高質(zhì)量響應(yīng)的樣本。

他們從其他研究論文、WikiHow、StackExchange和Reddit等來源進行手動挑選，訓練數(shù)據(jù)的總量大約是750,000個token。

訓練提示（輸入）、響應(yīng)（輸出）以及測試提示的來源

此外，研究者手動編寫了250個提示和響應(yīng)的樣本，同時對任務(wù)的多樣性進行了優(yōu)化。

最后，研究人員對預訓練LLaMa 65B模型在1000個樣本集上進行微調(diào)，并進行了人類評估。

評估結(jié)果

Meta將LIMA與5個模型基準進行了比較：（在2023年4月期間，對所有基準的響應(yīng)進行了采樣）

Alpaca 65B——利用52,000個樣本對LLaMa 65B微調(diào)后得到的大模型

DaVinci003——基于RLHF訓練的大語言模型

Bard——基于谷歌的PaLM模型

Claude——通過強化學習Constitutional AI訓練的52B參數(shù)模型

GPT-4——目前使用RLHF訓練的最強的模型

為了比較LIMA和其他SOTA模型，Meta為每個測試提示生成一個單一的響應(yīng)。

然后，要求人類參與者將LIMA的輸出與每個基準進行比較，并標記他們更喜歡哪一個。

在人類偏好研究中，盡管Alpaca 65B的訓練數(shù)據(jù)量是LIMA的52倍，但它產(chǎn)生的輸出往往比LIMA的不如人意。

讓人大跌眼鏡的是，DaVinci003也是同樣的情況，雖然程度較小。該模型使用了RLHF進行訓練，這本應(yīng)是一種更優(yōu)越的對齊方法。

而Bard在42%的時間中，其產(chǎn)生的回答優(yōu)于LIMA。這也意味著，剩下的58%時間里，LIMA的響應(yīng)至少和Bard一樣優(yōu)秀。

最后，研究者發(fā)現(xiàn)，雖然Claude和GPT-4通常表現(xiàn)得比LIMA更好，但在一些情況下，LIMA實際上能產(chǎn)生更好的回答。

另外，諷刺的是，在GPT-4的偏好研究中，有19%的時間，GPT-4更喜歡LIMA的輸出。

「表面對齊假設(shè)」

Meta將這一發(fā)現(xiàn)定義為「表面對齊假設(shè)」（Superficial Alignment Hypothesis）。

它表明，所謂預訓練后的對齊階段，主要是讓模型學會一種特定的風格或格式，這種風格或格式在與用戶交互時可以被模型回憶起來。

因此，「微調(diào)」更多是關(guān)于風格，而不是實質(zhì)。

LIMA的結(jié)果表明，實際上，利用簡單的方法就可以解決對齊和微調(diào)AI模型這類復雜問題。

這與諸如OpenAI的RLHF那些，特別繁瑣和復雜的微調(diào)過程，形成了鮮明的對比。

不過，LIMA也不是萬能的。Meta認為，該方法存在兩個明顯的局限：

第一，用高質(zhì)量的示例構(gòu)建數(shù)據(jù)集是一種非常具有挑戰(zhàn)性的方法，很難擴展。

第二，LIMA并不像已經(jīng)有產(chǎn)品的模型那樣強大，比如GPT-4。

團隊表示，雖然LIMA的生成結(jié)果，在大部分情況下質(zhì)量都很高。但一個「對抗性的提示」或一個「不走運的樣本」，依然會讓模型產(chǎn)生不理想的答案。

Yann LeCun對GPT-4和類似模型背后努力的相對貶值采取了務(wù)實的看法。

他將大型語言模型看作是近期的一個元素，至少在中期內(nèi)不會「在沒有重大變化」的情況下發(fā)揮作用。

以上，主要評估是根據(jù)最先進的模型對LIMA進行評估，但需要明確的是，其中一些模型實際上已經(jīng)在訓練期間使用了數(shù)百萬真實用戶的提示。

對此，研究人員通過手動分析50個隨機示例來進行絕對的評估。

并將每個示例標記成3個類別：Fail，響應(yīng)不符合提示符的要求；Pass，響應(yīng)符合；Excellent，對提示提供了優(yōu)秀的響應(yīng)。

實驗結(jié)果顯示，50%的LIMA回答被認為是優(yōu)秀的，它能夠遵循所有的50個分析提示中的44個。

如下，LIMA針對育兒建議和生成食譜的示例進行的輸出。

另外，一個僅在1000個樣本上微調(diào)的模型在多輪對話中表現(xiàn)又如何？

在零樣本上，LIMA的響應(yīng)出奇地連貫，并引用了前面對話的信息。在10次對話中，LIMA有3次未能遵循提示。

為了提高對話能力，研究人員收集了30個多輪對話。其中10個是由作者手動編寫，20個來自Stack Exchange，并根據(jù)助手風格進行編輯。

研究者使用組合的1,030個示例對預訓練模型進行微調(diào)，得到一個新版本的LIMA，并針對相同的提示進行了10次實時對話。

實驗發(fā)現(xiàn)加入這30個示例后生成質(zhì)量顯著提升，優(yōu)質(zhì)響應(yīng)比例從45.2％提高到76.1％！

LIMA如何以「少」勝「多」

團隊通過消融實驗，研究了訓練數(shù)據(jù)多樣性、質(zhì)量和數(shù)量的影響。

Meta發(fā)現(xiàn)，為了對齊目的，提高輸入多樣性和輸出質(zhì)量有可測量的正面效應(yīng)，而單獨增加數(shù)量卻沒有。

實驗設(shè)置

團隊在各種數(shù)據(jù)集上微調(diào)了一個擁有70億參數(shù)的LLaMa模型，并控制了相同的超參數(shù)。

團隊對每個測試集提示抽取5個回應(yīng)，并通過讓ChatGPT（GPT-3.5 Turbo）在1-6的Likert量表上評級回應(yīng)的幫助性來評估回應(yīng)質(zhì)量。

多樣性

為了測試提示多樣性的影響，同時控制質(zhì)量和數(shù)量，團隊比較了在質(zhì)量過濾后的Stack Exchange數(shù)據(jù)和wikiHow數(shù)據(jù)上的訓練效果。

圖5顯示，更多樣的Stack Exchange數(shù)據(jù)顯著提升了模型的性能。

質(zhì)量

為了測試響應(yīng)質(zhì)量的影響，團隊從Stack Exchange抽取了2000個沒有任何質(zhì)量或風格過濾的示例，并比較了在這個數(shù)據(jù)集和過濾后的數(shù)據(jù)集上訓練的模型。

圖5顯示，在過濾和未過濾的數(shù)據(jù)源上訓練的模型之間存在著0.5點的差異。

數(shù)量

在眾多機器學習設(shè)置中，都會采用增加示例數(shù)量的策略，來提升性能。

為了測試其影響，團隊從Stack Exchange中抽取了呈指數(shù)增長的訓練集。

但實際上，如圖6所示，數(shù)據(jù)翻倍的訓練集并未改善響應(yīng)質(zhì)量。

如此一來也暗示了，對齊的規(guī)模法則不必然只受數(shù)量影響，而更可能是在保持高質(zhì)量響應(yīng)的同時，提升提示的多樣性。

作者介紹

Chunting Zhou是Meta AI的一名研究科學家。

2022年5月，她在卡內(nèi)基梅隆大學語言技術(shù)研究所獲得博士學位，在那里從事自然語言處理工作，導師是Graham Neubig。Zhou的主要研究興趣在于自然語言處理和機器學習的交叉領(lǐng)域，并對開發(fā)對分布變化具有魯棒性的方法感興趣，目的是學習模型能夠在各種群體中表現(xiàn)統(tǒng)一。

此外，Zhou還研究生成模型，及其在自然語言處理任務(wù)中的應(yīng)用。

參考資料：

https://arxiv.org/abs/2305.11206

關(guān)鍵詞：