自微軟3月初發(fā)布多模態(tài)模型 Kosmos-1 以來(lái)，一直在測(cè)試和調(diào)整 OpenAI 的多模態(tài)模型，并將其更好地兼容微軟自有產(chǎn)品。

果不其然，趁著GPT-4發(fā)布之際，微軟也正式攤牌，New Bing早就已經(jīng)用上GPT-4了。

(資料圖)

ChatGPT用的語(yǔ)言模型是 GPT-3.5，在談到GPT-4比前一個(gè)版本強(qiáng)大在哪里時(shí)，OpenAI稱(chēng)，雖然這兩個(gè)版本在隨意的談話(huà)中看起來(lái)很相似，但「當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時(shí)，差異就會(huì)出現(xiàn)」，GPT-4更可靠、更有創(chuàng)意，并且能夠處理更細(xì)微的指令。

王者加冕？關(guān)于GPT-4的八點(diǎn)觀(guān)察

1. 再度驚艷，強(qiáng)過(guò)人類(lèi)

如果說(shuō)GPT-3系列模型向大家證明了AI能夠在一個(gè)模型里做多個(gè)任務(wù)，指明實(shí)現(xiàn)AGI的路徑，GPT-4在很多任務(wù)上已經(jīng)達(dá)到人類(lèi)水平（human-level），甚至比人類(lèi)表現(xiàn)更好。GPT-4在很多專(zhuān)業(yè)的學(xué)術(shù)考試上已經(jīng)超越90%的人類(lèi)，比如在模擬律師考試中，分?jǐn)?shù)在應(yīng)試者的前10%左右。對(duì)此，各類(lèi)中小學(xué)、大學(xué)和專(zhuān)業(yè)教育該如何應(yīng)對(duì)？

2. 「科學(xué)」煉丹

雖然OpenAI此次并未公布具體參數(shù)，但可以猜到GPT-4模型一定不小，模型太多就意味著高額訓(xùn)練成本。與此同時(shí)，訓(xùn)練模型也很像「煉丹」，需要做很多實(shí)驗(yàn)，如果這些實(shí)驗(yàn)都是在真實(shí)環(huán)境下去訓(xùn)練，高昂成本壓力不是誰(shuí)都能承受的。

為此，OpenAI別出心裁搞了一個(gè)所謂的「predictable scaling」，簡(jiǎn)言之就是用萬(wàn)分之一的成本來(lái)預(yù)測(cè)各個(gè)實(shí)驗(yàn)的結(jié)果（loss和human eval)。如此一來(lái)，就把原本大模型「碰運(yùn)氣」的煉丹訓(xùn)練升級(jí)為「半科學(xué)」的煉丹。

3. 眾包評(píng)測(cè)，一舉雙得

這次非常「取巧」地提供了一個(gè)open source的OpenAI Evals，用眾包方式開(kāi)放給各位開(kāi)發(fā)者或愛(ài)好者，邀請(qǐng)大家使用Evals來(lái)測(cè)試模型，同時(shí)籠絡(luò)開(kāi)發(fā)者生態(tài)。這一方式，既讓大家有參與感，又能讓大家免費(fèi)幫忙評(píng)估提高系統(tǒng)，OpenAI直接獲得問(wèn)題和反饋，一石二鳥(niǎo)。

4. 工程補(bǔ)漏

這次還發(fā)布了一個(gè)System Card，是一個(gè)開(kāi)放的「打補(bǔ)丁」工具，可以發(fā)現(xiàn)漏洞減少語(yǔ)言模型的「胡說(shuō)八道」問(wèn)題。系統(tǒng)打了各種各樣的補(bǔ)丁做預(yù)處理和后處理，后面還會(huì)開(kāi)放代碼把打補(bǔ)丁能力眾包給大家，OpenAI未來(lái)也許可以讓大家?guī)退黄鹱觥＿@標(biāo)志著LLM終于從一個(gè)優(yōu)雅簡(jiǎn)單的next token prediction任務(wù)進(jìn)入了各種messy的工程hack了。

5. 多模態(tài)

自上周德國(guó)微軟透露GPT-4是多模態(tài)后，大眾可謂萬(wàn)眾期待。

GPT-4千呼萬(wàn)喚始出來(lái)，被譽(yù)為「堪比人腦」的多模態(tài)其實(shí)跟目前很多論文闡述的多模態(tài)能力并無(wú)太多差別，主要區(qū)別就是把文本模型的few-shot和邏輯鏈（COT）結(jié)合進(jìn)來(lái)，這里有個(gè)前提是需要一個(gè)基礎(chǔ)能力很好的文本LLM再加多模態(tài)，會(huì)產(chǎn)生不錯(cuò)的效果。

6. 有計(jì)劃地放出「王炸」

按照OpenAI演示GPT-4的demo視頻里的說(shuō)法，GPT-4 早在去年8月就已完成訓(xùn)練，但今天才發(fā)布，剩下的時(shí)間都在進(jìn)行大量測(cè)試和各種查漏補(bǔ)缺，以及最重要的去除危險(xiǎn)內(nèi)容生成的工作。

當(dāng)大家還沉浸在ChatGPT驚人的生成能力之時(shí)，OpenAI已經(jīng)搞定GPT-4，這波谷歌工程師估計(jì)又要熬夜追趕了？

7. OpenAI不再Open

OpenAI在公開(kāi)的論文里完全沒(méi)有提及任何模型參數(shù)和數(shù)據(jù)規(guī)模（網(wǎng)傳GPT-4參數(shù)已達(dá)100萬(wàn)億），也沒(méi)有任何技術(shù)原理，對(duì)此解釋說(shuō)是為了普惠大眾，怕大家學(xué)會(huì)了怎么做GPT-4之后會(huì)用來(lái)做惡，觸發(fā)一些不可控的事情發(fā)生，個(gè)人完全不認(rèn)同這種此地?zé)o銀的做法。

8. 集中力量辦大事

論文除了各種「炫技」，還特別用了三頁(yè)把所有為GPT-4不同系統(tǒng)有貢獻(xiàn)人員都列出來(lái)，粗略估計(jì)應(yīng)該已經(jīng)超過(guò)百人，再次體現(xiàn)OpenAI內(nèi)部團(tuán)隊(duì)成員眾志成城、高度協(xié)作的狀態(tài)。以此對(duì)比其他幾家的團(tuán)隊(duì)作戰(zhàn)能力，在眾志成城這方面是不是差得有點(diǎn)遠(yuǎn)？

目前多模態(tài)大模型已經(jīng)成為整個(gè)AI大模型發(fā)展的趨勢(shì)和重要方向，而在這場(chǎng)大模型AI「軍備競(jìng)賽」中，谷歌、微軟、DeepMind等科技巨頭都積極推出多模態(tài)大模型（MLLM）或大模型（LLM）。

開(kāi)啟新一輪軍備競(jìng)賽：多模態(tài)大模型

微軟：Kosmos-1

微軟在3月初發(fā)布擁有16億參數(shù)的多模態(tài)模型 Kosmos-1，網(wǎng)絡(luò)結(jié)構(gòu)基于 Transformer 的因果語(yǔ)言模型。其中，Transformer 解碼器用作多模態(tài)輸入的通用接口。

除了各種自然語(yǔ)言任務(wù)，Kosmos-1 模型能夠原生處理廣泛的感知密集型任務(wù)，如視覺(jué)對(duì)話(huà)、視覺(jué)解釋、視覺(jué)問(wèn)答、圖像字幕、簡(jiǎn)單的數(shù)學(xué)方程式、OCR 和帶描述的零樣本圖像分類(lèi)。

谷歌：PaLM-E

3月初，谷歌和柏林工業(yè)大學(xué)的研究團(tuán)隊(duì)推出目前最大的視覺(jué)語(yǔ)言模型——PaLM-E，參數(shù)量高達(dá)5620億（PaLM-540B+ViT-22B）。

PaLM-E是一個(gè)僅有解碼器的大模型，在給定前綴（prefix）或提示（prompt）下，能夠以自回歸方式生成文本補(bǔ)全。模型通過(guò)加一個(gè)編碼器，模型可以將圖像或感知數(shù)據(jù)編碼為一系列與語(yǔ)言標(biāo)記大小相同的向量，將此作為輸入用于下一個(gè)token預(yù)測(cè)，進(jìn)行端到端訓(xùn)練。

DeepMind：Flamingo

DeepMind在去年4月推出Flamingo視覺(jué)語(yǔ)言模型，模型將圖像、視頻和文本作為提示（prompt），輸出相關(guān)語(yǔ)言，只需要少量的特定例子既能解決很多問(wèn)題，無(wú)需額外訓(xùn)練。

通過(guò)交叉輸入圖片（視頻）和文本的方式訓(xùn)練模型，使模型具有 few-shot 的多模態(tài)序列推理能力，完成「文本描述補(bǔ)全、VQA / Text-VQA」等多種任務(wù)。

目前，多模態(tài)大模型已顯示更多應(yīng)用可能性，除了相對(duì)成熟的文生圖外，人機(jī)互動(dòng)、機(jī)器人控制、圖片搜索、語(yǔ)音生成等大量應(yīng)用逐一出現(xiàn)。

綜合來(lái)看，GPT-4不會(huì)是AGI，但多模態(tài)大模型已經(jīng)是一個(gè)清晰且確定的發(fā)展方向。建立統(tǒng)一的、跨場(chǎng)景、多任務(wù)的多模態(tài)基礎(chǔ)模型會(huì)成為人工智能發(fā)展的主流趨勢(shì)之一。

雨果說(shuō)「科學(xué)到了最后階段，便遇上了想象」，多模態(tài)大模型的未來(lái)或許正超越人類(lèi)的想象。

關(guān)鍵詞：