自然語言推理（Natural Language Inference，NLI）是自然語言處理中一項重要任務(wù)，其目標(biāo)是根據(jù)給定的前提和假設(shè)，來判斷假設(shè)是否可以從前提中推斷出來。然而，由于歧義是自然語言內(nèi)在的特征，處理歧義也是人類語言理解的重要組成部分。由于人類語言表達(dá)的多樣性，歧義處理成為解決自然語言推理問題的難點之一。當(dāng)前，各種自然語言處理算法被應(yīng)用到問答系統(tǒng)、語音識別、智能翻譯和自然語言生成等場景中，但即使有這些技術(shù)，完全解決歧義仍然是一個極具挑戰(zhàn)性的任務(wù)。

對于 NLI 任務(wù)，大型自然語言處理模型如 GPT-4 等確實面臨著挑戰(zhàn)。其中一個問題是語言歧義導(dǎo)致模型難以準(zhǔn)確理解句子的真正含義。此外，由于自然語言的靈活性和多樣性，不同文本之間可能存在各種各樣的關(guān)系，這使得 NLI 任務(wù)中的數(shù)據(jù)集變得極其復(fù)雜，同時也對自然語言處理模型的普適性和泛化能力提出了巨大挑戰(zhàn)。因此，在處理歧義語言方面，如果今后大模型成功將顯得至關(guān)重要，并且大模型已被廣泛應(yīng)用于對話界面和寫作輔助工具等領(lǐng)域。處理歧義將有助于適應(yīng)不同的背景，提高溝通的清晰性，以及識別誤導(dǎo)性或欺騙性言語的能力。

這篇討論大模型歧義的論文標(biāo)題使用了一語雙關(guān)的表達(dá)，“We’re Afraid…”，既表達(dá)了當(dāng)前對語言模型難以準(zhǔn)確建模歧義的擔(dān)憂，又暗示了論文所描述的語言結(jié)構(gòu)。本文也表明，人們正在努力制定新的基準(zhǔn)，以真正挑戰(zhàn)強大的新的大模型，以便更準(zhǔn)確地理解和生成自然語言，并實現(xiàn)模型上的新突破。

(相關(guān)資料圖)

論文題目:We"re Afraid Language Models Aren"t Modeling Ambiguity

論文鏈接:https://arxiv.org/abs/2304.14399

代碼和數(shù)據(jù)地址:https://github.com/alisawuffles/ambient

本文作者計劃研究預(yù)訓(xùn)練大模型是否有能力識別和區(qū)分含有多個可能解釋的句子，評估模型如何區(qū)分不同的讀法和解釋。然而，現(xiàn)有的基準(zhǔn)測試數(shù)據(jù)通常不包含歧義的例子，因此需要自己構(gòu)建實驗來探究這個問題。

傳統(tǒng)的 NLI 三路標(biāo)注方案指的是一種用于自然語言推理（NLI）任務(wù)的標(biāo)注方式，它需要標(biāo)注者在三個標(biāo)簽中選擇一個標(biāo)簽來表示原始文本和假設(shè)之間的關(guān)系。這三個標(biāo)簽通常是“蘊含（entailment）”、“中立（neutral）”和“矛盾（contradiction）”。

作者使用了 NLI 任務(wù)的格式來進(jìn)行實驗，采用了函數(shù)式方法，通過對前提或假設(shè)中的歧義對蘊含關(guān)系的影響來表征歧義。作者提出了一個名為 AMBIENT（Ambiguity in Entailment）的基準(zhǔn)測試，涵蓋了各種詞匯、句法和語用歧義，并更廣泛地涵蓋了可能傳達(dá)多個不同信息的句子。

如圖 1 所示，歧義可能是無意識的誤解（圖 1 頂部），也可能是故意用來誤導(dǎo)聽眾的（圖 1 底部）。例如，如果貓離開家后迷失方向，那么從無法找到回家的路線的意義上看，它是迷路了（蘊涵邊）；如果它已經(jīng)好幾天沒有回家，那么從其他人無法找到它的意義上看，它也是迷路了（中立邊）。

▲圖1 用貓迷路解釋的歧義示例

AMBIENT 數(shù)據(jù)集介紹精選示例

作者提供了 1645 個涵蓋多種類型歧義的句子樣例，其中包括手寫樣本和來自現(xiàn)有NLI數(shù)據(jù)集和語言學(xué)教材。AMBIENT 中的每個示例都包含一組標(biāo)簽，對應(yīng)于各種可能的理解，以及每種理解的消歧重寫，如表 1 所示。

▲表1 精選示例中的前提和假設(shè)對

生成的示例

研究人員還采用了過度生成和過濾的方法來構(gòu)建一個大型的未帶標(biāo)簽的 NLI 示例語料庫，以更全面地涵蓋不同的歧義情況。他們受到前人工作的啟發(fā)，自動識別共享推理模式的前提假設(shè)對組，并通過鼓勵創(chuàng)建具有相同模式的新示例來加強語料庫的質(zhì)量。

注釋和驗證

針對先前步驟獲得的例子，需要進(jìn)行注釋和標(biāo)注。這一過程涉及到了兩位專家的注釋、一位專家的驗證和匯總，以及部分作者的驗證。同時，37 名語言學(xué)專業(yè)的學(xué)生為每個例子選擇了一組標(biāo)簽，并提供了消歧重寫。所有這些被注釋后的例子經(jīng)過篩選和驗證，最終得到了 1503 個最終的例子。

具體過程如圖 2 所示：首先，使用 InstructGPT 創(chuàng)建未帶標(biāo)簽的示例，再由兩位語言學(xué)家獨立進(jìn)行注釋。最后，通過一位作者的整合，得到最終的注釋和標(biāo)注。

▲圖2 AMBIENT 中生成示例的注釋流程

此外，這里還探討了不同標(biāo)注者之間標(biāo)注結(jié)果的一致性問題，以及 AMBIENT 數(shù)據(jù)集中存在的歧義類型。作者在該數(shù)據(jù)集中隨機選擇了 100 個樣本作為開發(fā)集，其余樣本用作測試集，圖 3 是其中集合標(biāo)簽的分布情況，每個樣本都具有對應(yīng)的推理關(guān)系標(biāo)簽。研究表明，在歧義情況下，多個標(biāo)注者的標(biāo)注結(jié)果具有一致性，使用多個標(biāo)注者的聯(lián)合結(jié)果可以提高標(biāo)注準(zhǔn)確性。

▲圖3 AMBIENT 中集合標(biāo)簽的分布

歧義是否說明了“不同意”？

該研究分析了在傳統(tǒng)的 NLI 三路標(biāo)注方案下，標(biāo)注者在對含歧義輸入進(jìn)行標(biāo)注時的行為。研究發(fā)現(xiàn)，標(biāo)注者可以意識到歧義，并且歧義是導(dǎo)致標(biāo)簽差異的主要原因，因此挑戰(zhàn)了“不同意”是模擬例子不確定性的流行假設(shè)。

在研究中，采用 AMBIENT 數(shù)據(jù)集，雇傭了 9 名眾包工作者對每個含歧義的例子進(jìn)行標(biāo)注。

任務(wù)分為三步：

標(biāo)注含歧義的例子識別可能的不同解釋標(biāo)注已消除歧義的例子

其中，步驟 2 中，三個可能的解釋包括兩個可能的意思和一個類似但不完全相同的句子。最后，對每個可能的解釋，都將其代入原始例子得到三個新的 NLI 例子，讓標(biāo)注者分別選擇一個標(biāo)簽。

此實驗的結(jié)果支持了假設(shè)：在單標(biāo)注體系下，原始的模糊例子會產(chǎn)生高度不一致的結(jié)果，即在給句子打標(biāo)簽的過程中，人們對于模糊不清的句子容易產(chǎn)生不同的判斷，導(dǎo)致結(jié)果不一致。但是，當(dāng)在任務(wù)中加入消除歧義的步驟后，注釋員們普遍能夠識別并驗證句子的多種可能性，結(jié)果的不一致性得到了大幅度解決。因此，消除歧義是減少注釋員主觀性對結(jié)果影響的有效方法。

評估大模型上的表現(xiàn)Q1. 能否直接生成與消歧有關(guān)的內(nèi)容

該部分重點在于測試語言模型在上下文中直接生成消歧和對應(yīng)標(biāo)簽的學(xué)習(xí)能力。為此，作者構(gòu)建了一個自然提示并使用自動評估和人工評估來驗證模型的表現(xiàn)，如表 2 所示。

▲表2 當(dāng)前提不明確時，用于生成歧義消除任務(wù)的 few-shot 模板

在測試中，每個示例都有 4 個其他測試示例作為上下文，并使用 EDIT-F1 指標(biāo)和人工評估來計算得分和正確性。實驗結(jié)果如表 3 顯示，GPT-4 在測試中表現(xiàn)最佳，實現(xiàn)了18.0%的 EDIT-F1 得分和 32.0% 的人工評估正確性。此外，還觀察到大模型在消歧時常常采用加入額外上下文的策略來直接確認(rèn)或否定假設(shè)。不過需要注意的是，人工評估可能會高估模型準(zhǔn)確報告歧義來源的能力。

▲表3 大模型在 AMBIENT 上的性能

Q2. 能否識別出合理解釋的有效性

該部分主要研究了大模型在識別含有歧義的句子時的表現(xiàn)。通過創(chuàng)建一系列真假陳述模板，并對模型進(jìn)行 zero-shot 測試，研究人員評估了大模型在選擇正誤之間的預(yù)測中的表現(xiàn)。實驗結(jié)果表明，最佳模型是 GPT-4，然而，在考慮歧義性的情況下，GPT-4 在回答所有四個模板的歧義解釋中的表現(xiàn)比隨機猜測的準(zhǔn)確率還低。此外，大模型在問題上存在一致性問題，對于同一個歧義句子的不同解釋對，模型可能會出現(xiàn)內(nèi)部矛盾的情況。

這些發(fā)現(xiàn)提示我們，需要進(jìn)一步研究如何提高大模型對含有歧義的句子的理解能力，并更好地評估大模型的性能。

Q3. 通過不同解釋模擬開放式連續(xù)生成

這一部分主要研究基于語言模型的歧義理解能力。通過給定上下文，對語言模型進(jìn)行測試，比較模型對于不同可能解釋下的文本延續(xù)的預(yù)測。為了衡量模型對于歧義的處理能力，研究人員通過在相應(yīng)語境下比較模型在給定歧義和給定正確語境下所產(chǎn)生的概率和期望差異，用 KL 散度來衡量模型的“驚奇度”，并且引入隨機替換名詞的“干擾句”來進(jìn)一步測試模型的能力。

實驗結(jié)果表明，F(xiàn)LAN-T5 的正確率最高，但不同測試套件（LS 涉及同義詞替換，PC 涉及拼寫錯誤的修正，SSD 涉及語法結(jié)構(gòu)修正）和不同模型的表現(xiàn)結(jié)果不一致，說明歧義仍然是模型的一個嚴(yán)重挑戰(zhàn)。

多標(biāo)簽 NLI 模型實驗

如表 4 所示，在已有帶有標(biāo)簽變化的數(shù)據(jù)上微調(diào) NLI 模型仍有較大提升空間，特別是多標(biāo)簽 NLI 任務(wù)中。

▲表4 多標(biāo)簽 NLI 模型在 AMBIENT 上的性能

檢測誤導(dǎo)性的政治言論

這項實驗研究了對政治言論的不同理解方式，證明了對不同理解方式敏感的模型可被有效利用。研究結(jié)果如表 5 所示，針對有歧義的句子，一些解釋性的釋義可以自然而然地消除歧義，因為這些釋義只能保留歧義或者明確表達(dá)一個特定的意義。

▲表5 本文檢測方法標(biāo)記為有歧義的政治言論

此外，針對這種預(yù)測的釋義，可以揭示歧義的根源。通過進(jìn)一步分析誤報的結(jié)果，作者還發(fā)現(xiàn)了很多事實核查中沒有提到的歧義，說明這些工具在預(yù)防誤解方面具有很大的潛力。

小結(jié)

如同本文中所指出的那樣，自然語言的歧義性將是模型優(yōu)化中的一個關(guān)鍵挑戰(zhàn)。我們期待未來的技術(shù)發(fā)展中，自然語言理解模型能夠更加準(zhǔn)確地識別文本中的上下文和重點，并在處理歧義性文本時表現(xiàn)出更高的敏感度。盡管我們已經(jīng)建立了評估自然語言處理模型識別歧義的基準(zhǔn)，并能夠更好地了解模型在這個領(lǐng)域中的局限性，但這仍然是一個非常具有挑戰(zhàn)性的任務(wù)。

夕小瑤科技說 原創(chuàng)

作者 |智商掉了一地、Python

關(guān)鍵詞：