ChatGPT角逐之戰(zhàn)愈演愈烈。

(資料圖片僅供參考)

前幾周，Meta發(fā)布了自家的大型語(yǔ)言模型LLaMA，參數(shù)量從70億到650億不等。

論文中，僅用1/10參數(shù)的LLaMA（130億）在大多數(shù)基準(zhǔn)測(cè)試下超越了GPT-3。

對(duì)于650億參數(shù)的LLaMA，則與DeepMind的Chinchilla（700億參數(shù)）和谷歌的PaLM（5400億參數(shù)）旗鼓相當(dāng)。

雖然Meta聲稱(chēng)LLaMA是開(kāi)源的，但還需要研究人員申請(qǐng)并進(jìn)行審核。

然而萬(wàn)萬(wàn)沒(méi)想到的是，剛發(fā)布沒(méi)幾天，LLaMA的模型文件就提前泄露了。

那么，問(wèn)題來(lái)了，這究竟是故意的還是不小心的

LLaMA慘遭「開(kāi)源」？

近日，國(guó)外論壇4chan上泄露了LLaMA的成品庫(kù)。

上周四，用戶(hù)llamanon在4chan的技術(shù)板上發(fā)帖，通過(guò)種子文件（torrent）發(fā)布7B和65B的LLaMA模型。

這個(gè)種子鏈接目前被合并到了LLaMA的GitHub頁(yè)面。

他還向項(xiàng)目提交了第二個(gè)拉請(qǐng)求，該請(qǐng)求提供了一個(gè)種子鏈接，鏈接到模型的另一組權(quán)重。

目前該項(xiàng)目在GitHub已收獲8k星。

然而，泄密者最大的錯(cuò)誤之一就是在泄密的模型中包含了他們的唯一標(biāo)識(shí)符代碼。

這個(gè)代碼是專(zhuān)門(mén)用來(lái)追蹤泄密者的，使用戶(hù)llamanon的個(gè)人信息處于危險(xiǎn)之中。

正所謂，LLaMA開(kāi)源的不太體面，網(wǎng)友幫它體面了。

此外，4chan上的用戶(hù)還為那些希望在自己的工作站上部署該模型的人創(chuàng)建了一個(gè)方便的資源。

并提供了一個(gè)分布教程的指南，說(shuō)明如何獲得模型，并將修改后的權(quán)重添加到其中，以便進(jìn)行更有效的推理。

更重要的是，這個(gè)資源甚至提供了一種將LLaMA集成到 在線寫(xiě)作平臺(tái)KoboldAI的方法。

對(duì)于這件事究竟是Meta有意為之，還是無(wú)意泄漏。網(wǎng)友們紛紛發(fā)表了自己的看法。

一位網(wǎng)友分析地頭頭是道，「也許這是Meta故意泄露的，以對(duì)抗 OpenAI。」

一些客戶(hù)認(rèn)為這是一個(gè)更好的模型，它恰好擊中了他們以每年25萬(wàn)美元的價(jià)格出售訪問(wèn)權(quán)的商業(yè)計(jì)劃的核心。訪問(wèn)他們的服務(wù)一個(gè)月可以購(gòu)買(mǎi)一臺(tái)能夠運(yùn)行這種泄露模型的機(jī)器。Meta削弱了一個(gè)潛在的新貴競(jìng)爭(zhēng)對(duì)手，以保持當(dāng)前的大型科技卡特爾穩(wěn)定。也許這有點(diǎn)陰謀論，但我們生活在大科技和大陰謀的時(shí)代。

周一，Meta稱(chēng)，盡管LLaMA已經(jīng)泄露給未經(jīng)授權(quán)的用戶(hù)，仍將繼續(xù)向認(rèn)可的研究人員發(fā)布其人工智能工具。

有網(wǎng)友直接稱(chēng)，自己下載了70億參數(shù)的LLaMA，盡管不知道如何運(yùn)行，萬(wàn)一以后用上就能拿來(lái)了。

LLaMA的泄露和開(kāi)源是一個(gè)大事件：

Stable Diffusion開(kāi)源了。8個(gè)月后，我們現(xiàn)在就可以讀懂別人的思想，解碼他們看到的一切。

隨著LLMs的開(kāi)放，我們將得到一些真正的瘋狂的東西。

模型初步評(píng)測(cè)

LLaMA發(fā)布不久后，網(wǎng)友發(fā)現(xiàn)這個(gè)最小參數(shù)的模型也需要近30GB的GPU才能運(yùn)行。

然而，通過(guò)比特和字節(jié)庫(kù)進(jìn)行浮點(diǎn)優(yōu)化，他們能夠讓模型在單個(gè)NVIDIA RTX 3060上運(yùn)行。

此外，GitHub 上的一名研究人員甚至能夠在Ryzen 7900X CPU上運(yùn)行LLM的7B 版本，每秒能推斷出幾個(gè)單詞。

那么LLaMA模型究竟怎樣？國(guó)外小哥便對(duì)它進(jìn)行了評(píng)測(cè)。

LLaMA在很多測(cè)試中表現(xiàn)出色。

在大規(guī)模多任務(wù)語(yǔ)言理解方面，即使相對(duì)較小的13B模型也與GPT-3水平相當(dāng)，而GPT-3的規(guī)模是其13倍。

33B版本遠(yuǎn)遠(yuǎn)優(yōu)于GPT-3， 65B則可與現(xiàn)有最強(qiáng)大的LLM模型--谷歌的540B參數(shù)的PaLM競(jìng)爭(zhēng)。

對(duì)于需要應(yīng)用邏輯或計(jì)算進(jìn)行處理的文本方面，LLaMA表現(xiàn)優(yōu)秀，在定量推理方面可與PaLM相較，甚至比后者的代碼生成能力更好。

鑒于這些結(jié)果，LLaMA似乎是目前最先進(jìn)的模型之一，而且，它足夠小，不需要多少資源就能運(yùn)行。這使得LLaMA對(duì)于人們來(lái)說(shuō)充滿(mǎn)誘惑，想讓人和它玩玩，見(jiàn)識(shí)一下它的本領(lǐng)。

解釋笑話

PaLM原始論文中展示了一個(gè)非?？岬挠美航o定一個(gè)笑話，讓模型解釋它為什么好笑。這個(gè)任務(wù)需要把嘗試和邏輯結(jié)合起來(lái)，PaLM之前的所有模型都無(wú)法做到這一點(diǎn)。

將其中一些笑話交給LLaMA和ChatGPT來(lái)解釋?zhuān)行┬υ捳Z(yǔ)言模型能get到，比如Schimidhuber冗長(zhǎng)無(wú)聊的發(fā)言。

但總體上LLaMA和ChatGPT都沒(méi)什么幽默感。

不過(guò)兩者應(yīng)對(duì)聽(tīng)不懂的笑話的策略不同，ChatGPT會(huì)產(chǎn)生「一堵文本墻」，希望其中至少有一些語(yǔ)句是正確答案，這種行為就像是不知道答案的學(xué)生，希望老師能從他們的一通亂說(shuō)里找出答案。

零樣本歸類(lèi)

這是一種很實(shí)用的功能，使得人們可以用LLM代替評(píng)分員來(lái)生成訓(xùn)練集，然后在這些訓(xùn)練集上訓(xùn)練較小的可服務(wù)的模型。

一個(gè)更有挑戰(zhàn)性的任務(wù)是點(diǎn)擊廣告分類(lèi)，由于連人類(lèi)都不能就什么是點(diǎn)擊廣告達(dá)成一致，在提示中會(huì)向模型提供一些例子，所以事實(shí)上這是一個(gè)少樣本而非零樣本歸類(lèi)。下面是LLaMA的提示。

測(cè)試中只有LLaMA-33B會(huì)設(shè)法遵循所要求格式給出答案，而且其預(yù)測(cè)是合理的，ChatGPT表現(xiàn)次之，能給出比較合理的答案，但時(shí)常不按規(guī)定的格式回答，較小的7B、13B模型則不太適合完成這項(xiàng)任務(wù)。

代碼生成

雖然法LLM在人文方面表現(xiàn)出色，但不擅長(zhǎng)STEM科目，那么LLaMA在這方面的表現(xiàn)如何呢？

在提示中，給出搜索表的形式和希望達(dá)到的目的，要求模型給提供SQL查詢(xún)語(yǔ)句。

ChatGPT在這項(xiàng)任務(wù)中表現(xiàn)更好一點(diǎn)，但語(yǔ)言模型給出的結(jié)果總體都不太靠譜。

在與ChatGPT對(duì)比進(jìn)行的各項(xiàng)測(cè)試中，LLaMA并沒(méi)有如想象中一樣大獲全勝。當(dāng)然如果其間差距只是由RLHF（帶有人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）造成的，那小型模型的未來(lái)可能會(huì)更光明。

關(guān)鍵詞： 語(yǔ)言模型 研究人員 這是一個(gè) 代碼生成 提供了一個(gè)