ChatGPT掀起了一股「生成式AI」的浪潮，所有任務(wù)都可以通過對話的方式生成答案，實(shí)現(xiàn)了接口、模型架構(gòu)的統(tǒng)一。

不過生成式AI也有缺陷，比如可控性很差，生成的結(jié)果經(jīng)常是「胡編亂造」，非常難以預(yù)測、不可解釋；在復(fù)雜推理方面表現(xiàn)不佳。

(相關(guān)資料圖)

最近，著名AI學(xué)者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學(xué)的名譽(yù)教授Gary Marcus發(fā)表了一篇論文，對可信的生成式AI提出了16項(xiàng)能力要求。

圖片

論文鏈接：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

文中還討論了如何結(jié)合「顯性知識和經(jīng)驗(yàn)法則」和大型語言模型，使推理引擎能夠自動推導(dǎo)出所有知識的邏輯蘊(yùn)涵。

圖片

Cyc知識工程

和模糊的語言推理不同，在AI發(fā)展的早期大多采用手寫規(guī)則的方式實(shí)現(xiàn)各種任務(wù)。

Cyc項(xiàng)目始于1984年，開始的目標(biāo)是把人類的上百萬條常識編碼為機(jī)器可用的形式，包括「每棵樹都是植物」、「植物最終都會死亡」等基本知識，目前該知識庫已經(jīng)包含了320萬條人類定義的斷言，涉及30萬個(gè)概念，15000個(gè)謂詞。

Cyc 的主要推理機(jī)制類似于用「形式邏輯」表達(dá)的子句進(jìn)行「定理證明」。

比如說給定一個(gè)場景：一個(gè)人看到自己的女兒邁出第一步（A person sees their daughter take her first step）。

此時(shí)AGI應(yīng)該能夠回答出「在這種情況下，那個(gè)人在笑嗎？如果是的話，為什么？」（Is that person smiling, in that situation? And, if so, why?)

演繹推理的第一步是用邏輯表達(dá)情境和問題，設(shè)定3 個(gè)變量 p、d、e分別代表觀看的人、女兒和行走事件；?是AND（邏輯與）的符號。

圖片

問題可以表示為：

圖片

假設(shè)還有一套「常識性」公理可用于連接情境和問題，用自然語言來表達(dá)的話就是：

A1. 人們愛自己的孩子People love their children

圖片

A2. 如果你發(fā)現(xiàn)你愛的人取得了重大成就，你會感到高興If you find out that someone you love has accomplished something significant, it makes you happy

A3. 當(dāng)一件事讓你開心時(shí)，你會微笑When something makes you happy, you smile

A4. 對人來說，邁出第一步是一項(xiàng)重大成就Taking one’s first step is a significant accomplishment for people

A5. 如果你看到某些事件發(fā)生，你就會知道表演者和動作If you see some event happening, you know the performer and the action

A6. 一個(gè)人的女兒也是他的孩子A person"s daughter is one of their children

假設(shè)這些經(jīng)驗(yàn)法則都是默認(rèn)為真，再結(jié)合否命題：

圖片

就可以逐步推理出一個(gè)全新的公理，并得出最終答案，進(jìn)而回答出「為什么」。

Cyc項(xiàng)目的另一個(gè)優(yōu)勢是包含超1100個(gè)高級推理器，可以顯著提升推理速度。

可信AI的十六個(gè)能力

Cyc知識庫可以作為可信的知識源，輔助大型語言模型進(jìn)行糾錯(cuò)，可以更好地實(shí)現(xiàn)可信人工智能（trustworthy AI）。

1. 可解釋性（Explanation）

一個(gè)可信的AI不僅需要給出問題的答案，還要描述出答案生成背后的推理過程，例如用戶可以反復(fù)追問一系列「為什么會這樣」的問題，可以通過模型了解更多基礎(chǔ)知識，并最終歸結(jié)到第一性原理和「既定」的基本真理上。

模型在推理鏈中引用的每一個(gè)證據(jù)、知識、經(jīng)驗(yàn)法則等，都需要給出其來源或出處。

圖片

在大多數(shù)情況下，這比人類之間相互交流的標(biāo)準(zhǔn)更高，但在科學(xué)領(lǐng)域，以及在涉及家庭保健、財(cái)務(wù)等非常重要的決策時(shí)，用戶也希望獲取更細(xì)節(jié)的信息。

模型的解釋應(yīng)該盡可能簡明扼要，并且能夠根據(jù)上下文、用戶擁有（或推斷擁有）的先驗(yàn)知識和隱性知識，以及用戶所處（或推斷所處）的資源限制，對細(xì)節(jié)進(jìn)行優(yōu)先排序和篩選。

2. 演繹推理（Deduction）

一個(gè)可信的AI應(yīng)該能夠像人類一樣進(jìn)行演繹推理，比如說人知道國家有邊界，并且安道爾是一個(gè)國家的話，那么就可以推斷出安道爾有邊界。

算術(shù)推理也是一種演繹推理，如果有人進(jìn)入了一個(gè)原本只有四個(gè)人的房間，那么房間里就會變成五個(gè)人。

圖片

下棋等游戲需要用到窮舉法推理，模型需要把所有可以行動的點(diǎn)列舉出來，再判斷可行性。

演繹推理還包括識別兩個(gè)陳述之間存在明顯矛盾或是冗余的的情況。

3. 歸納推理（Induction）

當(dāng)某些結(jié)論無法從邏輯上推導(dǎo)出來時(shí)，可以作為演繹推理的補(bǔ)充，比如說動物的種類通常決定了其解剖結(jié)構(gòu)的主要特征，如果一個(gè)新的無脊椎動物叫做「無尾熊」，并且有八條腿和兩只翅膀，那可能會推斷出所有的無尾熊都有這種特征，不過這個(gè)結(jié)論可能是錯(cuò)誤的，但也足以應(yīng)對日常生活。

圖片

歸納推理更像是一種時(shí)間投射，比如某個(gè)結(jié)論在t1時(shí)間為真（現(xiàn)在有一棟房子），就可以推斷出它在t2時(shí)間點(diǎn)（兩年前或三年后擁有房子）為真的概率。

大多數(shù)此類預(yù)測都遵循一種概率衰減曲線（線性、正態(tài)、高斯等），每個(gè)方向都有相應(yīng)的參數(shù)，類似的預(yù)測也適用于地點(diǎn)、安全性和其他數(shù)十個(gè)維度。

在邊界（如州界）和中斷事件（如離婚和賣房，或不太明顯的電話鈴聲）中，情況會發(fā)生變化。

4. 類比推理（Analogy）

人類的許多推理都涉及到對「表面上不相關(guān)」的事物之間進(jìn)行類比，所以模型必須先了解可能存在類比關(guān)系的大量、廣泛的事物（物體、行為、屬性等）。

5. 溯因推理（Abductive Reasoning）

有時(shí)也稱為最佳解釋推論（inference to the best explanation），如果一個(gè)看門人在一個(gè)房間里看到了一套椅子，這套椅子看起來就像看門人前一天晚上觀察到的那套椅子，那么在其他條件相同的情況下，就可以推斷出（可能不正確，但卻是最好的解釋）就是這兩套椅子是同一套椅子。

6. 心智理論（Theory of Mind）

當(dāng)我們與他人交談時(shí)，通?？梢院芸旖⒊鲆粋€(gè)很好的模型，可以了解對方知道什么、有能力做什么、關(guān)心什么等等，然后再用這個(gè)模型來引導(dǎo)互動：

比如與同事交談時(shí)更簡潔，與陌生人交談時(shí)描述更多細(xì)節(jié)，與幼兒交談時(shí)使用更簡單的概念和詞匯，或是考慮對方與自己有哪些共同的先驗(yàn)知識等。

圖片

同樣地，對于AI來說，過于話癆會顯得居高臨下、過于簡潔可能會導(dǎo)致回答含糊不清，或是被誤解。

人工智能應(yīng)該隨著與用戶互動的加深，不斷增加新的時(shí)間標(biāo)記，而非只是覆蓋和保留最新的模型。

7. 量詞流暢性（Quantifier-fluency）

比如說「每個(gè)瑞典人都有一個(gè)國王」，并且「每個(gè)瑞典人都有一個(gè)母親」，雖然表述上相同，但瑞典人的國王只有一個(gè)，而母親卻是不同的。

在邏輯學(xué)中，可以使用存在量詞、全稱量詞可以避免這種歧義，不過普通人也可以從自然語言中區(qū)分開，因?yàn)樵谕评磉^程中會引入關(guān)于家庭、母親、君主制等常識。

8. 情態(tài)流暢性（Modal-fluency）

人們經(jīng)常會使用「我希望」、「我感覺」等短語來修飾句子，甚至可以包含相當(dāng)深的嵌套語義關(guān)系，模型應(yīng)當(dāng)能正確理解句子主體。

9. 可撤銷性（Defeasibility）

人們聽到的、讀到的、說到的、相信的和推理出的很多東西都是默認(rèn)為真，但新信息層出不窮，如果當(dāng)時(shí)就知道這些信息的話，那么得出的許多結(jié)論可能會截然不同。

人工智能要想變得可信，就必須能夠吸收新信息，并修正先前的信念和答案。

對于某些關(guān)鍵應(yīng)用場景，AI還需要主動告知用戶過去哪些回答是錯(cuò)誤的，應(yīng)該修改哪些過去給出的錯(cuò)誤結(jié)論。

10.正反論證（Pro and Con Arguments）

許多復(fù)雜的現(xiàn)實(shí)問題都沒有明確的客觀答案，比如我應(yīng)該上哪所大學(xué)？我應(yīng)該買什么車？

在某些情況下，可以對所有可選項(xiàng)進(jìn)行加權(quán)和評分，列舉出各自優(yōu)勢和劣勢，提供專家級的建議。

圖片

因?yàn)锳I所知道的信息默認(rèn)都是真實(shí)的，所以即使一些看似簡單的問題也可能存在多個(gè)相當(dāng)不錯(cuò)的選擇。

11. 上下文（Contexts）

同樣的一種說法，在不同的群體中可能適應(yīng)性不同，例如「誰是瑞典國王」的答案隨時(shí)間變化而不同，大多數(shù)人類交流都會隱含一些上下文元素，可能會在訓(xùn)練 LLM 時(shí)導(dǎo)致混淆問題。

在執(zhí)行任務(wù)時(shí)（例如與人互動），使用語境非常重要：可以推斷出為什么要問他們這個(gè)問題，他們可能受到什么資源限制，用戶處于什么語境中，他們的回答會有什么用途等等。

12. 元知識和元推理（Meta-knowledge and meta-reasoning）

一個(gè)可信的推理器，無論是人類還是AI，都需要能夠獲取并推理自己的知識，最好包括每個(gè)事實(shí)或經(jīng)驗(yàn)法則的歷史和出處，并且應(yīng)該對自己知道/不知道什么，以及自己在各種任務(wù)中的能力有多強(qiáng)/多差有一個(gè)準(zhǔn)確而現(xiàn)實(shí)的模型。

人工智能應(yīng)該能夠自省并解釋它為什么會改變昨天對某些事情的看法，并假設(shè)可能會導(dǎo)致它改變對某些事情看法的合理情景，然后緩存這些情景，并警惕可能會出現(xiàn)這些情景的跡象。

另一種重要的元推理是批判性思維，即是否以及何時(shí)可以相信某些特定的信息來源，心智理論、語境、正反論證（上文）也都可以被視為元知識和元推理的類型。

13. 明確的道德規(guī)范（Explicitly ethical）

可信的AI應(yīng)該遵循看似不可侵犯的核心指導(dǎo)原則，例如不撒謊、不造成情感或身體傷害，不過這些原則往往是模糊的、復(fù)雜的、相互沖突的，而且是不斷變化的，需要通過元推理來解決。

人工智能需要根據(jù)「契約」對與之互動的每一個(gè)人或每一群人做出承諾，并信守承諾，例如不泄露機(jī)密。

14. 足夠快的運(yùn)行速度（Sufficient speed）

就像人類在完成一項(xiàng)任務(wù)一樣，人工智能也需要根據(jù)所處理問題的類型提供足夠的響應(yīng)速度，有些應(yīng)用需要微秒級的響應(yīng)時(shí)間，有些需要實(shí)時(shí)的人機(jī)對話響應(yīng)時(shí)間（1/4 秒左右），還有一些應(yīng)用運(yùn)行速度較慢也沒關(guān)系，比如撰寫一份200頁的美國國立衛(wèi)生研究院撥款提案）。

15. 充分的語言性和具身性（Sufficiently Lingual and Embodied）

人類能夠用自然語言交談，或聽和說（理解并產(chǎn)生適當(dāng)?shù)那白啵?，或視覺解析場景和識別物體、四處走動、操縱實(shí)物、使用儀器和設(shè)備，能感知質(zhì)地、壓力、溫度、氣味等。

16、廣泛而深刻的知識（Broadly and Deeply Knowledgeable）

在人們交流過程中，默認(rèn)對方擁有關(guān)于世界的大量共同基礎(chǔ)知識，從常識到交通、天氣、犯罪等模型。

在互聯(lián)網(wǎng)時(shí)代，存儲知識變得沒那么重要，可信的AI應(yīng)該掌握搜索能力，并解釋這些知識，推理其出處和可信度，推導(dǎo)出邏輯上順理成章的事情，至少像大多數(shù)人一樣善于類比（和從類比中類比），并在必要時(shí)盡快完成所有這些工作。

參考資料：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

關(guān)鍵詞：