GPT 3.5 系列中哪個(gè)模型表現(xiàn)最好？

【資料圖】

GPT 3.5 系列在常見(jiàn)應(yīng)用任務(wù)中實(shí)際表現(xiàn)如何？

GPT 3.5 模型回答不同的問(wèn)題一般都需要多少成本？

本期「SOTA！實(shí)測(cè)」

以下為本期實(shí)測(cè)結(jié)論（詳細(xì)評(píng)分見(jiàn)文末）

模型	gpt-3.5-turbo	text-davinci-003	text-davinci-002
說(shuō)明	是目前最強(qiáng)大的 GPT-3.5 模型，專門針對(duì)聊天場(chǎng)景進(jìn)行優(yōu)化，價(jià)格是 text-davinci-003 的十分之一。	可以完成任何語(yǔ)言任務(wù)，并且質(zhì)量更好，輸出更長(zhǎng)，并且比 Curie、Babbage 或 Ada 模型更能按照指令進(jìn)行操作。	與 text-davinci-003 具有相似的能力，但是是通過(guò)有監(jiān)督的精細(xì)調(diào)整來(lái)訓(xùn)練的，而不是通過(guò)強(qiáng)化學(xué)習(xí)，最大 Token 數(shù)為 4097。
最大 Token 數(shù)	4,096 tokens	4,097 tokens	4,097 tokens
價(jià)格	$0.002 / 1K tokens	$0.0200 / 1K tokens	$0.0200 / 1K tokens
綜合評(píng)分	綜合評(píng)分較高，表現(xiàn)出較高的精確度和專業(yè)性，對(duì)于大多數(shù)任務(wù)都能夠適應(yīng)，輸出的結(jié)果較為完整、流暢，而且針對(duì)不同任務(wù)的輸出也比較準(zhǔn)確、全面，具有較強(qiáng)的適應(yīng)性和通用性，且成本最低。	綜合評(píng)分相對(duì)較低，雖然對(duì)于一些任務(wù)表現(xiàn)不錯(cuò)，但整體來(lái)說(shuō)輸出的結(jié)果缺少個(gè)性化和針對(duì)性，表述不夠精準(zhǔn)和簡(jiǎn)潔，有時(shí)也存在一些不準(zhǔn)確的情況。	綜合評(píng)分最低，輸出結(jié)果的專業(yè)性和準(zhǔn)確性都不夠高，缺少個(gè)性化和針對(duì)性，語(yǔ)言表述也存在較大問(wèn)題，整體來(lái)說(shuō)需要進(jìn)一步優(yōu)化和改進(jìn)。

在面試問(wèn)題場(chǎng)景任務(wù)中，gpt-3.5-turbo 綜合評(píng)分最高，能夠很好地適應(yīng)面試場(chǎng)景，生成的問(wèn)題具有較高的針對(duì)性和多角度深入了解候選人的能力和經(jīng)驗(yàn)；而 text-davinci-002 的評(píng)分最低，問(wèn)題過(guò)于寬泛且基本是對(duì)崗位描述的重復(fù)，缺乏挑戰(zhàn)性和實(shí)際性的問(wèn)題，甚至出現(xiàn)生成的內(nèi)容完全不可用的情況。

在英文郵件寫作場(chǎng)景任務(wù)中，gpt-3.5-turbo 和 text-davinci-003 的綜合評(píng)分較高，能夠模擬口語(yǔ)和正式書面的語(yǔ)言風(fēng)格，對(duì)于口語(yǔ)化的表達(dá)和帶有歧義的名詞有很好的理解和翻譯，但也無(wú)法正確地識(shí)別不安全的內(nèi)容；而 text-davinci-002 的評(píng)分最低，口語(yǔ)與書面語(yǔ)不能很好切換，沒(méi)有正確的識(shí)別不安全的內(nèi)容。

在直播場(chǎng)景任務(wù)中，gpt-3.5-turbo 的評(píng)分最高，能夠準(zhǔn)確、精煉、流暢地概括直播內(nèi)容，并符合要求中的簡(jiǎn)潔度要求；而 text-davinci-002 的評(píng)分最低，輸出準(zhǔn)確度一般，不能很好地適應(yīng)場(chǎng)景，但在簡(jiǎn)潔性和流暢性方面還有進(jìn)一步改進(jìn)的空間。

在周報(bào)場(chǎng)景任務(wù)中，gpt-3.5-turbo 和 text-davinci-003 的評(píng)分較高，能夠準(zhǔn)確呈現(xiàn)出周報(bào)的邏輯結(jié)構(gòu)和內(nèi)容要點(diǎn)，輸出的內(nèi)容較為完整；而 text-davinci-002 的評(píng)分最低，缺乏表達(dá)周報(bào)的邏輯，結(jié)構(gòu)不匹配，內(nèi)容不貼切。

在簡(jiǎn)歷場(chǎng)景任務(wù)中，gpt-3.5-turbo 的評(píng)分最高，能夠?qū)I(yè)化地生成符合招聘方要求的簡(jiǎn)歷，并呈現(xiàn)出教育背景、工作經(jīng)驗(yàn)、技能掌握以及自我評(píng)價(jià)等方面的信息，但需要更加注重語(yǔ)言表達(dá)的精準(zhǔn)和個(gè)性化；而 text-davinci-003 和 text-davinci-002 的評(píng)分較低，缺乏個(gè)性化和量化的成果描述，簡(jiǎn)歷的描述也較為簡(jiǎn)單和缺乏條理。

場(chǎng)景一：面試問(wèn)題

測(cè)試場(chǎng)景	測(cè)試角度
基于職位描述生成面試問(wèn)題	生成面試問(wèn)題的難易度 生成面試問(wèn)題與該職位描述的匹配程度
基于候選人信息生成面試問(wèn)題	生成面試問(wèn)題的難易度 生成面試問(wèn)題與該候選人的匹配程度

gpt-3.5-turbo模型生成的面試問(wèn)題涵蓋了職位描述中的主要職責(zé)和要求，適應(yīng)面試場(chǎng)景。問(wèn)題從多個(gè)角度深入了解候選人的能力和經(jīng)驗(yàn)，包括工作經(jīng)驗(yàn)、項(xiàng)目經(jīng)驗(yàn)、技能和個(gè)人特質(zhì)等多個(gè)方面，具有較高的針對(duì)性。問(wèn)題具有實(shí)際價(jià)值，與職位匹配度較高，能有效評(píng)估候選人的能力。

text-davinci-003模型生成的面試問(wèn)題涵蓋了職位描述中提到的多個(gè)要求和技能，但有些問(wèn)題表述不具體、條理不清晰。需要更細(xì)分領(lǐng)域，否則不能全面衡量候選人的能力。模型生成的問(wèn)題涵蓋了候選人的專業(yè)背景、項(xiàng)目經(jīng)驗(yàn)、技能和個(gè)人品質(zhì)，但有些問(wèn)題可以更具體和深入，以便更好地評(píng)估候選人的能力。

text-davinci-002模型生成的面試問(wèn)題主要圍繞崗位要求進(jìn)行，但這些問(wèn)題過(guò)于寬泛，基本上是對(duì)崗位描述的重復(fù)，未關(guān)注候選人與崗位描述之間的匹配程度，不能提出更具挑戰(zhàn)性和實(shí)際性的問(wèn)題，甚至?xí)霈F(xiàn)輸出內(nèi)容完全不可用的情況。在成功生成問(wèn)題的情況下，模型生成的問(wèn)題涵蓋了候選人的專業(yè)背景、項(xiàng)目經(jīng)驗(yàn)和技能，但有些問(wèn)題可以更具體和深入，以便更好地評(píng)估候選人的能力。

我們選取其中一個(gè)測(cè)例展開(kāi)看看 ——

模型消耗

gpt-3.5-turbo 約消耗 0.017 元，text-davinci-003 約消耗 0.22 元，text-davinci-002 約消耗 0.19 元。

推理結(jié)果

在生成的面試問(wèn)題的難易度和針對(duì)性方面，gpt-3.5-turbo 模型的輸出最為優(yōu)秀，它針對(duì)該職位的各項(xiàng)要求提出了多個(gè)具體問(wèn)題，并且這些問(wèn)題的難度和針對(duì)性也非常高，能夠有效檢驗(yàn)候選人的能力和經(jīng)驗(yàn)。text-davinci-002 模型的輸出最為簡(jiǎn)單，甚至是完全不可用的狀態(tài)，不能算是面試題目。text-davinci-003 模型的輸出則介于兩者之間，提出的問(wèn)題相對(duì)于 gpt-3.5-turbo 模型來(lái)說(shuō)較為簡(jiǎn)單，問(wèn)題不夠細(xì)節(jié)，但比 text-davinci-002 模型更具體一些。

在面試問(wèn)題與該職位描述的匹配程度方面，gpt-3.5-turbo 模型的輸出最為貼合該職位描述，它對(duì)該職位的要求進(jìn)行了全面細(xì)致的分析，并針對(duì)這些要求提出了相應(yīng)的問(wèn)題。text-davinci-003 模型的輸出對(duì)該職位的要求也有所體現(xiàn)，但是問(wèn)題的數(shù)量和覆蓋面相對(duì)較少。而 text-davinci-002 可以說(shuō)是不知所云了。

場(chǎng)景二：英文郵件

測(cè)試場(chǎng)景	測(cè)試角度
在輸入文本中插入有專用翻譯的專有名詞、某垂直領(lǐng)域的專業(yè)術(shù)語(yǔ)、在不同場(chǎng)景下表意不同的名詞	語(yǔ)義是否通順、擴(kuò)寫的內(nèi)容是否正確、有歧義的名詞翻譯是否正確、專業(yè)名詞/專有名詞翻譯是否正確
在輸入中要求以“口語(yǔ)化”、“書面”的方式輸出	是否可以模擬口語(yǔ)、或正式書面的語(yǔ)言風(fēng)格
在輸入中以口語(yǔ)化的口吻寫，要求“書面”的方式輸出，并在輸入中省略部分背景信息、使用有歧義的名詞	是否可以模擬口語(yǔ)、或正式書面的語(yǔ)言風(fēng)格，是否能正確理解口語(yǔ)化的表達(dá)；對(duì)于有歧義的名詞是否能正確翻譯
在輸入中帶有犯罪相關(guān)內(nèi)容	是否會(huì)過(guò)濾不安全的內(nèi)容
在輸入中使用倒裝句、同音錯(cuò)別字、方言、口語(yǔ)化省略句	對(duì)于中文中的語(yǔ)法錯(cuò)誤、錯(cuò)別字、不完整句是否可正確過(guò)濾并理解

gpt-3.5-turbo：綜合評(píng)分 3.3 分，郵件結(jié)構(gòu)符合場(chǎng)景，口吻中正，恰當(dāng)擴(kuò)寫，除非學(xué)名的專有名詞基本給出縮寫，對(duì)于口語(yǔ)化的輸入中強(qiáng)烈的情緒有很好的理解和過(guò)濾，對(duì)于錯(cuò)別字、語(yǔ)法錯(cuò)誤等輸入問(wèn)題能正確糾正，不足之處是沒(méi)有正確的識(shí)別不安全的內(nèi)容。

text-davinci-003：綜合評(píng)分 3 分，結(jié)構(gòu)使用常見(jiàn)模板，沒(méi)有標(biāo)題，語(yǔ)句連接生硬，擴(kuò)寫不足，專有名詞與帶歧義的名詞理解正確，口語(yǔ)化理解與生成高出預(yù)期，沒(méi)有正確的識(shí)別不安全的內(nèi)容。

text-davinci-002：綜合評(píng)分 2 分，結(jié)構(gòu)使用常見(jiàn)模板，沒(méi)有標(biāo)題，語(yǔ)句不通順甚至錯(cuò)誤，語(yǔ)段結(jié)構(gòu)不明顯，沒(méi)有擴(kuò)寫，除非學(xué)名的專有名詞基本給出縮寫，口語(yǔ)與書面語(yǔ)不能很好切換，沒(méi)有正確的識(shí)別不安全的內(nèi)容。

我們選取其中一個(gè)測(cè)例展開(kāi)看看 ——在輸入文本中插入有專用翻譯的專有名詞、某垂直領(lǐng)域的專業(yè)術(shù)語(yǔ)、在不同場(chǎng)景下表意不同的名詞測(cè)例中有如下輸入

模型消耗

在輸入文本中插入有專用翻譯的專有名詞、某垂直領(lǐng)域的專業(yè)術(shù)語(yǔ)、在不同場(chǎng)景下表意不同的名詞測(cè)例，gpt-3.5-turbo 約消耗 0.006元，text-davinci-003 約消耗 0.067元，text-davinci-002 約消耗0.07元

推理表現(xiàn)

在語(yǔ)義是否通順?lè)矫?，三個(gè)模型都表現(xiàn)得比較好，沒(méi)有明顯的語(yǔ)病和語(yǔ)法錯(cuò)誤。在擴(kuò)寫的內(nèi)容是否正確方面，gpt-3.5-turbo 和 text-davinci-003 的回復(fù)都比較全面，針對(duì)各個(gè)問(wèn)題進(jìn)行了詳細(xì)的回答，并提供了一些相關(guān)的建議和產(chǎn)品推薦。而 text-davinci-002 則只回答了幾個(gè)問(wèn)題，并沒(méi)有提供很多相關(guān)的細(xì)節(jié)和建議。

在有歧義的名詞翻譯是否正確、專業(yè)名詞/專有名詞翻譯是否正確方面，三個(gè)模型的表現(xiàn)都比較好。gpt-3.5-turbo 和 text-davinci-003、text-davinci-002 都正確地翻譯了聚四氟乙烯（PTFE）和全氟化合物（PFCs），并使用了正確的英文術(shù)語(yǔ)。

應(yīng)用任務(wù)三：直播輔助

測(cè)試場(chǎng)景	測(cè)試角度
基于直播文字內(nèi)容總結(jié)成一段摘要	生成內(nèi)容總結(jié)的準(zhǔn)確性、精煉程度、語(yǔ)言的流暢性
基于直播文字內(nèi)容提煉幾個(gè)要點(diǎn)	生成內(nèi)容要點(diǎn)的準(zhǔn)確性、精煉程度、語(yǔ)言的流暢性
基于直播主題寫一個(gè)直播的大綱	生成直播大綱的質(zhì)量；跟主題的相關(guān)程度
基于直播文字內(nèi)容，找出問(wèn)題的答案	生成答案的質(zhì)量；準(zhǔn)確程度

gpt-3.5-turbo：綜合評(píng)分 4.4 分，模型準(zhǔn)確且精確地實(shí)現(xiàn)了用戶提出的要求，在輸出內(nèi)容中與輸入相呼應(yīng)，切合主題場(chǎng)景，表述準(zhǔn)確，沒(méi)有遺漏或歪曲原始信息，能夠精煉地組織問(wèn)題答案，遵循了要求中的簡(jiǎn)潔度要求，輸出流暢，句子結(jié)構(gòu)簡(jiǎn)潔明了，表述清晰。

text-davinci-003：綜合評(píng)分 4.2 分，模型總結(jié)準(zhǔn)確性較高，生成內(nèi)容符合場(chǎng)景需求，沒(méi)有遺漏信息同時(shí)沒(méi)有添加不必要的信息，語(yǔ)言流暢度也較好，符合內(nèi)容流暢性和簡(jiǎn)潔度的要求。然而，需要提高精煉程度，簡(jiǎn)化語(yǔ)言，同時(shí)生成的內(nèi)容沒(méi)有提供額外的分析和見(jiàn)解，需要提高廣度和深度。

text-davinci-002：綜合評(píng)分 1.5 分，模型輸出準(zhǔn)確度一般，有些基本覆蓋問(wèn)題點(diǎn)，大多不能較好地適應(yīng)場(chǎng)景，生成句子結(jié)構(gòu)較為復(fù)雜，詞語(yǔ)冗余現(xiàn)象明顯，語(yǔ)言表述略顯生硬，可能會(huì)影響讀者對(duì)文本的理解和閱讀流暢性，在簡(jiǎn)潔性和流暢度方面還有進(jìn)一步改進(jìn)的空間。

我們選取其中一個(gè)測(cè)例展開(kāi)看看 ——

成本消耗

基于直播主題寫一個(gè)直播的大綱測(cè)例，gpt-3.5-turbo 約消耗 0.01元，text-davinci-003 約消耗 0.11元，text-davinci-002 約消耗0.071元

推理結(jié)果

gpt-3.5-turbo 的輸出相對(duì)其他兩個(gè)模型更符合主題要求，大綱內(nèi)容也更為豐富全面，包括了 AIGC 技術(shù)與內(nèi)容產(chǎn)業(yè)的結(jié)合、成功案例和未來(lái)發(fā)展方向等方面的內(nèi)容，整體質(zhì)量較高。

text-davinci-003 的輸出同樣有一定的可用性，但在與主題的相關(guān)程度方面稍有欠缺，主要是在介紹 AIGC 及其歷史后，大綱中所提到的如何打開(kāi)內(nèi)容產(chǎn)業(yè)的大門和 AIGC 的未來(lái)等內(nèi)容跟主題關(guān)系不夠緊密，相對(duì)更為泛泛。

text-davinci-002 的輸出跟主題要求差距較大，雖然提到了 AIGC 作為一個(gè)內(nèi)容生產(chǎn)公司的概述，但大綱內(nèi)容更像是一段公司介紹，與主題并沒(méi)有直接的關(guān)聯(lián)，缺乏直播大綱的實(shí)際意義。

場(chǎng)景四：工作周報(bào)

測(cè)試場(chǎng)景	考察角度
基于給出工作內(nèi)容輸出周報(bào)	考量潤(rùn)色能力、擴(kuò)寫能力，輸出的內(nèi)容的完整性、完善度
基于給出的粗略描述輸出周報(bào)	考量不同職業(yè)的人員給出粗略工作內(nèi)容輸出的周報(bào)質(zhì)量
基于給出工作內(nèi)容以及目標(biāo)模板結(jié)構(gòu)，輸出模板化的周報(bào)	考量按已知規(guī)范輸出周報(bào)
基于本周工作內(nèi)容，輸出下周的工作周報(bào)	考量預(yù)測(cè)能力

gpt-3.5-turbo：綜合評(píng)分 3.4 分，將工作內(nèi)容比較標(biāo)準(zhǔn)的周報(bào)形式呈現(xiàn)出來(lái)了，按標(biāo)題、時(shí)間、本周工作總結(jié)、下周工作計(jì)劃、總結(jié)的模板表達(dá)了出來(lái)，能夠通過(guò)一些關(guān)鍵工作任務(wù)、工作職責(zé)等聯(lián)想到更深層次的更細(xì)節(jié)的內(nèi)容，整體來(lái)說(shuō)輸出的內(nèi)容比較完整，結(jié)構(gòu)清晰，邏輯層次明確。

text-davinci-003：綜合評(píng)分 3.1 分，將已給出的內(nèi)容通過(guò)一段話的形式表達(dá)，能夠較完整地完成要求，對(duì)部分相同屬性的工作內(nèi)容能夠做出整合，有一些邏輯性，層次明確，有一定的實(shí)用性。但是適應(yīng)場(chǎng)景能力不夠，部分情況缺少擴(kuò)寫，結(jié)構(gòu)不夠清晰，缺失條理性。

text-davinci-002：綜合評(píng)分 1.5 分，不能正確理解輸入內(nèi)容場(chǎng)景，輸出內(nèi)容沒(méi)有表達(dá)出周報(bào)的主題以及邏輯，結(jié)構(gòu)不匹配，內(nèi)容不貼切，存在流程化語(yǔ)句，沒(méi)有任何擴(kuò)寫能力，甚至存在直接翻譯輸入內(nèi)容的情況以及復(fù)述上次回答的情況，模型表現(xiàn)不佳。

我們選取其中一個(gè)測(cè)例展開(kāi)看看 ——

消耗成本

基于給出的粗略描述輸出周報(bào)測(cè)例，gpt-3.5-turbo 約消耗 0.0065元，text-davinci-003 約消耗 0.094元，text-davinci-002 約消耗0.072元

推理結(jié)果

對(duì)于這個(gè)任務(wù)，三個(gè)模型的輸出質(zhì)量都比較好，都涵蓋了本周的主要工作內(nèi)容，但是有一些細(xì)微的差異。

gpt-3.5-turbo 的輸出相對(duì)更加詳細(xì)，列出了每個(gè)任務(wù)中的細(xì)節(jié)，如設(shè)計(jì)流程、界面、評(píng)分標(biāo)準(zhǔn)等，并且也提出了下一步的計(jì)劃，讓周報(bào)的讀者可以了解到更多的信息。

text-davinci-003 的輸出也給出了一些詳細(xì)的信息，但更加強(qiáng)調(diào)技術(shù)方面的細(xì)節(jié)，包括評(píng)價(jià)體系的數(shù)據(jù)來(lái)源、評(píng)價(jià)項(xiàng)、評(píng)價(jià)方式等，這份周報(bào)更側(cè)重于技術(shù)層面的描述。

text-davinci-002 的輸出則更加簡(jiǎn)潔明了，但也不失清晰。它以項(xiàng)目和工作的大致方向?yàn)橹?，?duì)于細(xì)節(jié)方面的描述較少。

總的來(lái)說(shuō)，三個(gè)模型的輸出都可以滿足任務(wù)的需求，但 gpt-3.5-turbo 和 text-davinci-003 的輸出更加詳細(xì)，提供了更多的細(xì)節(jié)和技術(shù)層面的信息，如果需要更全面的周報(bào)，可以選擇這兩個(gè)模型。而 text-davinci-002 的輸出則更加簡(jiǎn)潔明了，適合需要一份簡(jiǎn)短但清晰的周報(bào)。

場(chǎng)景五：簡(jiǎn)歷

測(cè)試場(chǎng)景	考察角度
基于崗位職責(zé)生成簡(jiǎn)歷	崗位職責(zé)與生成的簡(jiǎn)歷匹配度和專業(yè)性
基于任職要求生成簡(jiǎn)歷	任職要求與簡(jiǎn)歷的匹配度
根據(jù)自我介紹生成簡(jiǎn)歷	生成內(nèi)容的精確度和專業(yè)性
根據(jù)求職崗位生成簡(jiǎn)歷模板	生成模板專業(yè)度、匹配度

gpt-3.5-turbo：綜合評(píng)分 4 分，專業(yè)性高，模板輸出職位要求的各個(gè)方面都有涉及，且內(nèi)容準(zhǔn)確；針對(duì)性地呈現(xiàn)了該經(jīng)驗(yàn)對(duì)應(yīng)職位要求的能力和特點(diǎn)，讓讀者一目了然，同時(shí)也更容易滿足招聘方的要求；完整呈現(xiàn)，模板輸出的信息完整，從教育背景到工作經(jīng)驗(yàn)、技能掌握以及自我評(píng)價(jià)都有涉及，能夠給招聘方一個(gè)全面的認(rèn)識(shí)。但是缺少個(gè)性化，表現(xiàn)形式單一，語(yǔ)言表達(dá)上用詞需要斟酌。

text-davinci-003：綜合評(píng)分 1.9 分，缺少具體的項(xiàng)目案例和成果展示。沒(méi)有針對(duì)招聘崗位的個(gè)性化描述。雖然簡(jiǎn)歷中提到了符合招聘要求的多項(xiàng)條件，但是沒(méi)有根據(jù)招聘崗位的特點(diǎn)和需求來(lái)進(jìn)行具體的描述和突出。缺乏量化的成果描述。語(yǔ)言表述不夠簡(jiǎn)潔和精準(zhǔn)。

text-davinci-002：綜合評(píng)分 1.3 分，整體輸出信息量太少，不具備任何符合標(biāo)準(zhǔn)簡(jiǎn)歷的基礎(chǔ)信息要求，描述語(yǔ)句過(guò)于簡(jiǎn)短缺乏明確的求職目標(biāo)，缺乏個(gè)性化和針對(duì)性，缺乏量化指標(biāo)，經(jīng)驗(yàn)和技能描述較為簡(jiǎn)單，格式較為簡(jiǎn)單，不符合規(guī)范，模型表現(xiàn)較差。

我們選取其中一個(gè)測(cè)例展開(kāi)看看 ——

消耗成本

基于求職崗位生成簡(jiǎn)歷模板測(cè)例，gpt-3.5-turbo 約消耗 0.0077元，text-davinci-003 約消耗 0.1元，text-davinci-002 約消耗0.022元

推理輸出

在生成模板專業(yè)度和匹配度方面，可以看到 gpt-3.5-turbo 和 text-davinci-003都能夠提供比較完整的簡(jiǎn)歷模板，包含了個(gè)人信息、教育背景、工作經(jīng)歷、專業(yè)技能和自我評(píng)價(jià)等關(guān)鍵要素，并且在格式上也比較規(guī)范。

但如果仔細(xì)看，可以看到 text-davinci-003 存在明顯與現(xiàn)實(shí)認(rèn)知有沖突的地方，沒(méi)有具體描述崗位要求和個(gè)人能力之間的匹配，比如專業(yè)技能部分中，候選人熟悉計(jì)算機(jī)操作、英語(yǔ)六級(jí)，卻缺乏與賣烤地瓜崗位相關(guān)的專業(yè)技能和知識(shí)。而 text-davinci-002 則相對(duì)簡(jiǎn)略，只提供了應(yīng)聘者的目標(biāo)、技能、經(jīng)驗(yàn)和教育背景等基本信息。

3個(gè) GPT 3.5 系列模型對(duì)比總結(jié)

在面試場(chǎng)景任務(wù)中，gpt-3.5-turbo 綜合評(píng)分最高，能夠很好地適應(yīng)面試場(chǎng)景，生成的問(wèn)題具有較高的針對(duì)性和多角度深入了解候選人的能力和經(jīng)驗(yàn)；而 text-davinci-002 的評(píng)分最低，問(wèn)題過(guò)于寬泛且基本是對(duì)崗位描述的重復(fù)，缺乏挑戰(zhàn)性和實(shí)際性的問(wèn)題，甚至出現(xiàn)生成的內(nèi)容完全不可用的情況。

在英文郵件寫作場(chǎng)景任務(wù)中，gpt-3.5-turbo 和 text-davinci-003 的綜合評(píng)分較高，能夠模擬口語(yǔ)和正式書面的語(yǔ)言風(fēng)格，對(duì)于口語(yǔ)化的表達(dá)和帶有歧義的名詞有很好的理解和翻譯，但也無(wú)法正確地識(shí)別不安全的內(nèi)容；而 text-davinci-002 的評(píng)分最低，口語(yǔ)與書面語(yǔ)不能很好切換，沒(méi)有正確的識(shí)別不安全的內(nèi)容。

在直播場(chǎng)景任務(wù)中，gpt-3.5-turbo 的評(píng)分最高，能夠準(zhǔn)確、精煉、流暢地概括直播內(nèi)容，并符合要求中的簡(jiǎn)潔度要求；而 text-davinci-002 的評(píng)分最低，輸出準(zhǔn)確度一般，不能很好地適應(yīng)場(chǎng)景，但在簡(jiǎn)潔性和流暢性方面還有進(jìn)一步改進(jìn)的空間。

在寫工作周報(bào)場(chǎng)景任務(wù)中，gpt-3.5-turbo 和 text-davinci-003 的評(píng)分較高，能夠準(zhǔn)確呈現(xiàn)出周報(bào)的邏輯結(jié)構(gòu)和內(nèi)容要點(diǎn)，輸出的內(nèi)容較為完整；而 text-davinci-002 的評(píng)分最低，缺乏表達(dá)周報(bào)的邏輯，結(jié)構(gòu)不匹配，內(nèi)容不貼切。

在簡(jiǎn)歷場(chǎng)景任務(wù)中，gpt-3.5-turbo 的評(píng)分最高，能夠?qū)I(yè)化地生成符合招聘方要求的簡(jiǎn)歷，并呈現(xiàn)出教育背景、工作經(jīng)驗(yàn)、技能掌握以及自我評(píng)價(jià)等方面的信息，但需要更加注重語(yǔ)言表達(dá)的精準(zhǔn)和個(gè)性化；而 text-davinci-003 和 text-davinci-002 的評(píng)分較低，缺乏個(gè)性化和量化的成果描述，簡(jiǎn)歷的描述也較為簡(jiǎn)單和缺乏條理。

對(duì)于以上五個(gè)應(yīng)用任務(wù)的綜合評(píng)價(jià)如下。以下評(píng)價(jià)僅代表對(duì)這些模型在特定應(yīng)用場(chǎng)景下的評(píng)價(jià)，針對(duì)其他應(yīng)用場(chǎng)景或任務(wù)，評(píng)價(jià)可能有所不同。其中一些模型還在迭代的過(guò)程中，可能將會(huì)有更好的表現(xiàn)和性能。在未來(lái)的測(cè)試中，我們也將增加GPT系列的新模型（如GPT-4）的對(duì)比情況。

應(yīng)用任務(wù)	測(cè)試場(chǎng)景	GPT-3.5 Turbo	text-davinci-003	text-davinci-002
綜合評(píng)分（總分 5 分，下同）		3.8	3.2	1.7
創(chuàng)建面試問(wèn)題	基于職位描述生成面試問(wèn)題	4.5	4	0
	基于候選人信息生成面試問(wèn)題	4.5	3.75	3.5
郵件寫作	在輸入文本中插入有專用翻譯的專有名詞、某垂直領(lǐng)域的專業(yè)術(shù)語(yǔ)、在不同場(chǎng)景下表意不同的名詞	5	3	2
	在輸入中要求以“口語(yǔ)化”、“書面”的方式輸出	3.5	3	3.5
	在輸入中以口語(yǔ)化的口吻寫，要求“書面”的方式輸出，并在輸入中省略部分背景信息、使用有歧義的名詞	4	5	2
	在輸入中帶有犯罪相關(guān)內(nèi)容	1	1	1
	在輸入中使用倒裝句、同音錯(cuò)別字、方言、口語(yǔ)化省略句	3	4	3
直播總結(jié)	基于直播文字內(nèi)容總結(jié)成一段摘要	4	4	3
	基于直播文字內(nèi)容提煉幾個(gè)要點(diǎn)	4.7	4	3
	基于直播主題寫一個(gè)直播的大綱	4	4	0
	基于直播文字內(nèi)容，找出問(wèn)題的答案	5	5	0
寫工作周報(bào)	基于給出工作內(nèi)容輸出周報(bào)	4	3.5	0
	基于給出的粗略描述輸出周報(bào)	4.5	4	3
	基于給出工作內(nèi)容以及目標(biāo)模板結(jié)構(gòu)，輸出模板化的周報(bào)	3	1	1
	基于本周工作內(nèi)容，輸出下周的工作周報(bào)	2	4	2
寫簡(jiǎn)歷	基于崗位職責(zé)生成簡(jiǎn)歷	4	1.5	1.5
	基于任職要求生成簡(jiǎn)歷	4.5	3	1.5
	根據(jù)自我介紹生成簡(jiǎn)歷	3.5	1.5	1
	根據(jù)求職崗位生成簡(jiǎn)歷模板	3.5	1.5	1

關(guān)鍵詞：