隨著大模型的發(fā)展，尤其是近來(lái)各種開(kāi)源大模型的發(fā)布，如何對(duì)各種模型進(jìn)行充分并且準(zhǔn)確的評(píng)估變得越來(lái)越重要。其中一個(gè)越來(lái)越受到認(rèn)可的方向就是利用人類考題來(lái)檢驗(yàn)?zāi)Ｐ?，從而可以測(cè)試模型的知識(shí)及推理能力。例如對(duì)于英文模型，MMLU 已經(jīng)被廣泛用來(lái)評(píng)估模型在多個(gè)學(xué)科上的表現(xiàn)。類似的，最近中文社區(qū)也涌現(xiàn)了例如 C-Eval 以及 GAOKAO 這種利用中文試題來(lái)測(cè)試模型，特別是中文模型的表現(xiàn)。

這樣的測(cè)試基準(zhǔn)對(duì)于促進(jìn)模型的發(fā)展起著至關(guān)重要的作用，然而對(duì)于多語(yǔ)言 / 多模態(tài)大模型，相應(yīng)的評(píng)測(cè)依然是一片空白。由此，阿里巴巴達(dá)摩院多語(yǔ)言 NLP 團(tuán)隊(duì)發(fā)布了首個(gè)多語(yǔ)言多模態(tài)測(cè)試基準(zhǔn) M3Exam 以推動(dòng)此類評(píng)測(cè)的發(fā)展，論文和數(shù)據(jù)代碼已公開(kāi)：

圖片

【資料圖】

論文：https://arxiv.org/pdf/2306.05179.pdf數(shù)據(jù) & 代碼：https://github.com/DAMO-NLP-SG/M3Exam背景

傳統(tǒng)的 NLP 任務(wù)已經(jīng)越來(lái)越難充分測(cè)試大語(yǔ)言模型的真正效果，在這樣的背景下，利用人類考題來(lái)檢驗(yàn)?zāi)Ｐ鸵呀?jīng)逐漸成為了測(cè)試大模型的一個(gè)常見(jiàn)做法。例如 MMLU 數(shù)據(jù)集涵蓋了多個(gè)學(xué)科，被廣泛用來(lái)測(cè)試各種模型，GPT-4 也將其作為一個(gè)重要的測(cè)試基準(zhǔn)。類似地，最近一個(gè)月我們也看到了中文上的類似嘗試?yán)?C-Eval 和 GAOKAO，將各類 / 高考的中文試題匯總起來(lái)用以測(cè)試中文大模型。

然而目前的測(cè)試基準(zhǔn)都僅有英文或者加上中文問(wèn)題，盡管許多模型涌現(xiàn) / 宣稱有多語(yǔ)言的效果，模型的多語(yǔ)言能力無(wú)法得到充分測(cè)試。此外，多模態(tài)類問(wèn)題，也即涉及圖片的考題也往往在構(gòu)建過(guò)程中被忽略。這導(dǎo)致了多語(yǔ)言 / 多模態(tài)大模型的效果無(wú)法被準(zhǔn)確衡量。為了彌補(bǔ)這一空白，我們構(gòu)建了 M3Exam - 一個(gè)利用人類考題構(gòu)建的多語(yǔ)言、多模態(tài)、多級(jí)別的測(cè)試基準(zhǔn)，共涵蓋 12317 道題目。

圖片

正如名字所示，M3Exam 有三個(gè)特征：

Multilingual 多語(yǔ)言：我們綜合考慮語(yǔ)言特點(diǎn)、資源高低、文化背景等多個(gè)因素，挑選了 9 個(gè)國(guó)家對(duì)應(yīng)的語(yǔ)言，涵蓋英文、中文、意大利語(yǔ)、葡萄牙語(yǔ)、越南語(yǔ)、南非荷蘭語(yǔ)、斯瓦希里語(yǔ)、泰語(yǔ)、爪哇語(yǔ)，所有問(wèn)題均來(lái)自于對(duì)應(yīng)國(guó)家的官方試題。Multimodal 多模態(tài)：我們同時(shí)考慮純文字以及帶圖片的題目，并且認(rèn)真處理了所有圖片從而方便模型進(jìn)行處理。Multilevel 多階段：我們考慮三個(gè)重要的教育階段：小升初、初升高、高中畢業(yè)，并且從對(duì)應(yīng)階段的官方考試取得題目，使得可以比較不同階段對(duì)應(yīng)的不同智力要求下，模型的表現(xiàn)差異。多語(yǔ)言測(cè)試

我們選取了多種開(kāi)源、閉源模型來(lái)測(cè)試它們的多語(yǔ)言能力，結(jié)果如圖所示：

圖片

可以看到雖然許多模型的英文效果不錯(cuò)（比如 Claude 和 ChatGPT 都可以達(dá)到 75% 左右），但平均而言效果均不佳。GPT-4 是唯一一個(gè)可以超過(guò) 60% 準(zhǔn)確率的模型，而 ChatGPT 也只能達(dá)到 57% 的準(zhǔn)確率。從語(yǔ)言的角度看，在低資源或者非拉丁字符語(yǔ)言比如泰語(yǔ)、爪哇語(yǔ)上，即使是 GPT-4 也只能達(dá)到 50+% 的準(zhǔn)確率。這顯示目前大部分模型的能力仍然是集中體現(xiàn)在英文上，多語(yǔ)言能力仍然有待提高。

我們同樣可以看到，來(lái)自于各個(gè)國(guó)家本土的問(wèn)題更加充分地測(cè)試出了模型的多語(yǔ)言能力。例如 GPT-4 的 report 里將 MMLU 翻譯成了多個(gè)語(yǔ)言，在不同語(yǔ)言的翻譯試題上取得了較好的結(jié)果。但是如果用真實(shí)場(chǎng)景下的問(wèn)題，這迫使模型必須學(xué)習(xí)到每個(gè)語(yǔ)言，甚至是其背后對(duì)應(yīng)的文化背景知識(shí)，才能解答。例如上圖中給的例子，斯瓦希里語(yǔ)涉及到一個(gè)諺語(yǔ)的填空；泰語(yǔ)則涉及到泰國(guó)本地常見(jiàn)的自然景觀特點(diǎn)：

圖片

可以看到，即使是根據(jù)準(zhǔn)確的翻譯（上圖的英文翻譯由泰語(yǔ)母語(yǔ)者提供），但沒(méi)有對(duì)應(yīng)的語(yǔ)言、文化常識(shí)也無(wú)法作答，體現(xiàn)出對(duì)模型多語(yǔ)言能力的充分測(cè)試。

多模態(tài)測(cè)試

我們也選取了多個(gè)多模態(tài)大模型并對(duì)其進(jìn)行測(cè)試，包括 Fromage, OpenFlamingo, BLIP-2, InstructBLIP，結(jié)果如下圖所示：

圖片

可以看到，大部分模型表現(xiàn)都很糟糕，甚至沒(méi)有模型可以超過(guò) 50% 的準(zhǔn)確率。即使跟相近參數(shù)量的 Flan-T5 模型相比（Flan-T5 并沒(méi)有拿圖片當(dāng)作輸入），多模態(tài)模型基本沒(méi)有體現(xiàn)出優(yōu)勢(shì)。

進(jìn)一步檢查我們發(fā)現(xiàn)，可能是因?yàn)楝F(xiàn)有的多模態(tài)測(cè)試數(shù)據(jù)都比較簡(jiǎn)單，例如 VQA 中往往只是對(duì)圖片的某一方面進(jìn)行簡(jiǎn)單提問(wèn)。而人類考題往往涉及到對(duì)圖片更復(fù)雜的理解，例如數(shù)理類考試中需要注意到圖片的數(shù)字細(xì)節(jié)。下圖給了一個(gè)具體問(wèn)題以及各個(gè)模型的輸出：

圖片

可以看到所有模型均回答錯(cuò)誤。為了進(jìn)一步檢驗(yàn)?zāi)Ｐ蛯?duì)圖片理解的程度，我們額外構(gòu)造了一個(gè) prompt 讓模型對(duì)圖片的各種細(xì)節(jié)進(jìn)行描述（上圖右邊），可以看到所有模型都無(wú)法準(zhǔn)確描述出圖片里標(biāo)注的角度 65 度，所以自然無(wú)法解答出圖中的反射角是多少度。

多層級(jí)測(cè)試

在數(shù)據(jù)構(gòu)造過(guò)程中，我們選取了三個(gè)重要的考試階段，即小升初、初升高、高中升大學(xué)。值得注意的是我們發(fā)現(xiàn)即使各個(gè)國(guó)家的教育體系各有差異，但基本都有相應(yīng)的教育階段。不同的教育階段往往對(duì)應(yīng)著在不同國(guó)家，大家對(duì)相應(yīng)年齡段人群所期待的智力水平。這樣的劃分給我們提供了用不同教育階段的問(wèn)題來(lái)觀察模型效果的角度。結(jié)果匯總?cè)缦聢D所示：

圖片

可以看到出人意料的是，從較低的教育階段到更高階段，模型效果并沒(méi)有呈現(xiàn)顯著下降。奇怪的是基本所有模型都在中等階段的問(wèn)題上表現(xiàn)最好。然而對(duì)于人類來(lái)說(shuō)，例如在中國(guó)，如果能在高考中得到 70% 左右的正確率，解決小學(xué)考題應(yīng)該是輕而易舉的事情，然而對(duì)模型來(lái)說(shuō)似乎并不如此。

這個(gè)觀察給我們帶來(lái)的啟發(fā)是，不斷用更困難的數(shù)據(jù)去測(cè)試模型不一定能最大限度衡量出模型的差異。如果想要可靠地在實(shí)際生活中使用模型，例如用于 AI 教育，研究為什么模型會(huì)在基礎(chǔ)問(wèn)題上犯錯(cuò)可能更有價(jià)值。

結(jié)語(yǔ)

這篇文章介紹了我們新創(chuàng)建的測(cè)試基準(zhǔn) M3Exam，目標(biāo)是可以為多語(yǔ)言 / 多模態(tài)大模型的評(píng)價(jià)提供一個(gè)可靠的基準(zhǔn)。從目前的測(cè)試結(jié)果我們可以看出，雖然不少模型在高資源語(yǔ)言例如英文甚至中文上已經(jīng)可以取得還不錯(cuò)的效果，但在多語(yǔ)言情況下絕大部分模型的效果都差強(qiáng)人意。多模態(tài)模型的效果則更難令人滿意，顯示目前的多模態(tài)模型還只能對(duì)圖片的簡(jiǎn)單特征進(jìn)行捕捉，而無(wú)法捕捉更精確的細(xì)節(jié)。我們期待 M3Exam 未來(lái)可以幫助相關(guān)模型的開(kāi)發(fā)迭代，從而將大模型的便利帶給所有語(yǔ)言的使用者以及更豐富的使用場(chǎng)景。

關(guān)鍵詞：