本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

一篇NLP（自然語言處理）研究綜述文章火了。

根據(jù)paperswithcode統(tǒng)計，此文目前已經(jīng)獲贊超800，轉(zhuǎn)發(fā)超200次。

【資料圖】

來自Meta AI、亞馬遜、劍橋大學(xué)和紐約大學(xué)等的研究人員，針對NLP目前的最關(guān)鍵任務(wù)：泛化——

提出了一種分類評價系統(tǒng)，以解決目前圈內(nèi)缺乏分類及評判體系的問題。

為此，他們對過去400多篇泛化相關(guān)論文進行分析與歸類，共進行600多個單獨實驗，通過回顧過去泛化相關(guān)的研究，也對未來提出更多展望。

此外，研究者們還自建了一個網(wǎng)站，便于泛化領(lǐng)域研究者們搜尋同行成果（鏈接已附在文末）。

目前，此項內(nèi)容已在arxiv公布并被圈內(nèi)研究者關(guān)注到。

有網(wǎng)友表示以往很難搜尋相關(guān)內(nèi)容，向團隊表示致敬：

也有日本相關(guān)愛好者關(guān)注轉(zhuǎn)發(fā)：

所以，這篇綜述具體提出了些什么？

創(chuàng)立針對泛化的分類法

說研究成果前，先簡述下什么是泛化。

該任務(wù)可大致理解為根據(jù)過去經(jīng)驗遷移到新任務(wù)、問題上的能力，按中學(xué)老師的口吻，也就是舉一反三的水平。

人們在日常組詞造句時其實都有一定的泛化傾向。比如，當(dāng)你理解了“紅”可用于形容蘋果，自然就會說“紅番茄”、“紅草莓”等詞，但這對機器卻是個難題。

泛化能力還需依靠大量基本常識，否則詞匯自由組合難免會出現(xiàn)啼笑皆非的效果。比如“綠色吃小狗”、“量子位大于美女”……

玩笑歸玩笑，放NLP領(lǐng)域中，泛化的確一直被視為重點攻堅方向，不少從業(yè)者更將該能力視為通往AGI的關(guān)鍵。

但長期以來，對于NLP模型到底應(yīng)該怎樣進行泛化操作，及評估其泛化性能的條件，卻鮮有一致的標(biāo)準(zhǔn)和意見，泛化行為一直被簡單地用“隨機訓(xùn)練-測試分割”來評估。

在本篇文章中，研究者通過回顧過去數(shù)十年NLP領(lǐng)域泛化能力的成果，希望用一個系統(tǒng)來定義和討論泛化問題——

由此，他們提出了一套分類法，設(shè)計出五個維度供泛化領(lǐng)域的同行們參考：

（1）motivation 動機（2）generalisation type 泛化類型（3）shift type 偏移類型（4）shift source 偏移源（5）shift locus 偏移軌跡

還統(tǒng)計了哪些類型研究多，哪些類型相對小眾，以圖呈現(xiàn)（整得挺像樣）：

下面來展開說說這些分類維度。

（1）動機 維度

所謂的動機維度，源于根據(jù)泛化任務(wù)的底層目的來對各種問題進行分類。

比如市面上主流泛化任務(wù)，意在提升模型的實用性，希望模型在經(jīng)過某一類文本數(shù)據(jù)集訓(xùn)練后，也能在其他場景給出合理回應(yīng)并具備足夠的魯棒性，其動機在于提升實用性。

但有的泛化研究不聚焦實用場景，而是純粹就想拔升模型的認知能力，希望它具備更快學(xué)習(xí)的能力，此前有科學(xué)家研究LSTM如何優(yōu)化嵌套語法結(jié)構(gòu)，也是為該目的服務(wù)。

除此之外，動機維度還包括研究模型是否正確理解任務(wù)，是否在應(yīng)用中保證公平和包容性。

下圖展示了2018-2022年不同動機泛化研究的占比數(shù)量，其中實用性仍為大頭：

（2）泛化類型 維度

該維度從泛化任務(wù)的類型出發(fā)進行分類。

在實際研究中，有的泛化研究聚焦各種信息的重組結(jié)合，本文前面提及的「紅蘋果——>紅草莓」就屬于此類。

此外還有語句內(nèi)容結(jié)構(gòu)變化的泛化問題、跨不同任務(wù)之間的泛化、跨不同語言的泛化…都屬于從類型維度進行分類。

研究者們給出了6個類型的分類，情況如下：

（3）偏移類型 維度

該維度從技術(shù)實現(xiàn)過程中分類，根據(jù)不同泛化任務(wù)中測試集、訓(xùn)練集與預(yù)測結(jié)果各種變量概率分布的偏移情況，研究者分出3個主要類型：

協(xié)變量偏移、標(biāo)簽偏移、全偏移。

這其中，協(xié)變量偏移在諸多研究中占比最多，這是由于訓(xùn)練模型過程中，經(jīng)常難以保證每次輸入滿足穩(wěn)定分布，基于泛化任務(wù)定義，直觀也能想象此類情況發(fā)生不會少見。

除卻上述三種，研究人員還進一步加入了兩種偏移分類，即假設(shè)偏移和多重偏移。

（4）偏移源 維度

正如上段提到，泛化研究中變量偏移是普遍情況，研究者們又從造成偏移的源頭出發(fā)對不同研究進行了分類。

這其中包括了：自然產(chǎn)生偏移、訓(xùn)練模型及調(diào)整語料庫等過程中人為造成的偏移、使用生成數(shù)據(jù)造成的偏移等類型。

值得一提的是，不同數(shù)據(jù)集之間自然產(chǎn)生的變量偏移占比最高。

（5）偏移軌跡 維度

最后，研究者基于變量偏移發(fā)生的部位，提出一個新分類維度。

考慮從頭到尾整個模型訓(xùn)練調(diào)參驗證步驟，變量概率分布發(fā)生偏移的位置有——

訓(xùn)練到測試過程之間、微調(diào)到測試之間、預(yù)訓(xùn)練到訓(xùn)練過程之間、預(yù)訓(xùn)練到測試過程之間以及整個流程發(fā)生多次偏移的情況。

這其中，早期研究論文發(fā)生變量偏移集中在訓(xùn)練到測試過程中，但2020年后，更多偏移問題發(fā)生在微調(diào)到測試過程之間。

為NLP泛化測試統(tǒng)一標(biāo)準(zhǔn)打基礎(chǔ)

研究者分析發(fā)現(xiàn)，近幾年來，和泛化相關(guān)的論文數(shù)量飆升：

他們先用計算機從ACL（NLP與計算語言學(xué)領(lǐng)域頂會）文集中篩選出標(biāo)題或摘要中包含generalisation、generalization、generalise或generalize等詞的論文。（這些詞都和“泛化”有關(guān)）

并人工檢查了被選出來的論文，以去除那些實際上并沒有展開講泛化問題的論文。

然后他們統(tǒng)計出這些論文的數(shù)量，以及其在每年的ACL總論文數(shù)中的占比。

結(jié)果顯示，這些論文不論是絕對數(shù)量還是相對占比都在大幅提升，而且從2018年起至今尤為明顯。

接下來，他們使用了前文介紹的分類法對這些論文進行注釋。

對每篇論文而言，第一位注釋者給其5個標(biāo)簽，然后第二位注釋者將會檢查這些標(biāo)簽。

如果這兩位注釋者之間產(chǎn)生了分歧，他們會先進行討論來試圖解決問題。如果這兩位沒法達成一致的話，這時第三位注釋者就會登場了。

不止上述一個步驟，整個注釋過程都相當(dāng)嚴(yán)謹(jǐn)。（可以看看這張圖感受一下…）

經(jīng)過細致的分類統(tǒng)計工作，結(jié)果顯示，跨領(lǐng)域的泛化問題是最被關(guān)注的，占比超過30%，其次是魯棒性和任務(wù)理解方面。

此外，超過一半的研究都碰到了自然造成的變量偏移問題，這也是相關(guān)從業(yè)者最關(guān)心的。

分類的意義不止于此。研究者通過這種方式提出一個新的框架來系統(tǒng)化和理解泛化研究，最終目的旨在為NLP的泛化測試建立可靠的統(tǒng)一標(biāo)準(zhǔn)奠定基礎(chǔ)。

他們相信，他們的系統(tǒng)性分類框架為泛化發(fā)展提供了必要基礎(chǔ)，為相關(guān)研究者提供了更有效的工具，幫助大家能快速找到可參考的相近成果。

在發(fā)表本文的同時，這群研究人員還發(fā)布了一個網(wǎng)頁，并打算及時跟進NLP泛化研究的最新進展。

研究者指出，他們希望通過這些系統(tǒng)化的框架和這個在線工具，來盡可能地統(tǒng)一大伙兒對“NLP泛化測試”的理解，因為現(xiàn)有研究幾乎都處于“各抒己見”的狀態(tài)。

（畢竟這個領(lǐng)域的研究幾乎從2018年才活躍起來）

他們認為，關(guān)于NLP模型的重要泛化測試應(yīng)該被托管在一個共享平臺上，同時還得有個排行榜，來使其更加方便和透明化。

在一個大型社區(qū)上（像GitHub這種），NLP研究人員和領(lǐng)域?qū)＜覀児餐接懖Q定哪些測試應(yīng)該優(yōu)先進行。

當(dāng)然，研究者們也明確表示，目前的工作還沒有為泛化測試提供標(biāo)準(zhǔn)化的數(shù)據(jù)或程序，這些還得一步步來。

研究者來自科技巨頭和頂尖大學(xué)

這篇綜述的作者可謂“群星璀璨”。

除了有來自Meta和亞馬遜等科技巨頭的研究員，還有來自愛丁堡大學(xué)、劍橋大學(xué)、NYU和香港科技大學(xué)等高校的學(xué)者。

論文一作Dieuwke Hupkes現(xiàn)任Meta AI的研究科學(xué)家，主要研究方向為用于NLP的人工神經(jīng)網(wǎng)絡(luò)。

這些研究者補充道，下一步他們將會分析判定關(guān)于NLP的哪些泛化測試將優(yōu)先進行。

他們指出，如果研究進展得比較順利的話，甚至在明年，關(guān)于NLP的泛化測試標(biāo)準(zhǔn)就會發(fā)生重大改變。

論文地址：https://arxiv.org/abs/2210.03050

網(wǎng)頁傳送門：

?https://genbench.github.io/visualisations

關(guān)鍵詞： 研究人員 測試過程 統(tǒng)一標(biāo)準(zhǔn) 概率分布 劍橋大學(xué)