生成式人工智能正在快速發(fā)展，許多人正在嘗試使用這項技術(shù)來解決他們的業(yè)務(wù)問題。一般情況下有4種常見的使用方法：

(資料圖)

Prompt EngineeringRetrieval Augmented Generation (RAG 檢索增強生成)微調(diào)從頭開始訓(xùn)練基礎(chǔ)模型(FM)

本文將試圖根據(jù)一些常見的可量化指標(biāo)，為選擇正確的生成式人工智能方法提供建議。

本文不包括“使用原模型”的選項，因為幾乎沒有任何業(yè)務(wù)用例可以有效地使用基礎(chǔ)模型。按原樣使用基礎(chǔ)模型可以很好地用于一般搜索，但對于任何特定的用力，則需要使用上面提到的選項之一。

如何執(zhí)行比較?

基于以下指標(biāo):

準(zhǔn)確性(回答有多準(zhǔn)確?)實現(xiàn)復(fù)雜性(實現(xiàn)可以有多復(fù)雜?)投入工作量(需要多少工作的投入來實現(xiàn)?)總成本(擁有解決方案的總成本是多少?)靈活性(架構(gòu)的耦合有多松?更換/升級組件有多容易?)

我們將對這些度量標(biāo)準(zhǔn)上的每個解決方案方法進行評級，進行一個簡單的對比。

準(zhǔn)確性

讓我們首先得到討論最總要的一點:哪種方法提供最準(zhǔn)確的響應(yīng)?

Prompt Engineering就是通過提供少量示例提供盡可能多的上下文，以使基礎(chǔ)模型更好地了解用例。雖然單獨來看，結(jié)果可能令人印象深刻，但與其他方法相比，它產(chǎn)生的結(jié)果最不準(zhǔn)確。

RAG產(chǎn)生了高質(zhì)量的結(jié)果，因為它增加了直接來自向量化信息存儲的特定于用例的上下文。與Prompt Engineering相比，它產(chǎn)生的結(jié)果大大改善，而且產(chǎn)生幻覺的可能性非常低。

微調(diào)也提供了相當(dāng)精確的結(jié)果，輸出的質(zhì)量與RAG相當(dāng)。因為我們是在特定領(lǐng)域的數(shù)據(jù)上更新模型權(quán)重，模型產(chǎn)生更多的上下文響應(yīng)。與RAG相比，質(zhì)量可能稍微好一些，但這取決于具體實例。所以評估是否值得花時間在兩者之間進行權(quán)衡分析是很重要的。一般來說，選擇微調(diào)可能有不同的原因，而不僅僅是精度。還包括數(shù)據(jù)更改的頻率、在自己的環(huán)境中控制模型實現(xiàn)法規(guī)、遵從性和可再現(xiàn)性等目的等等。

從頭開始的訓(xùn)練產(chǎn)生了最高質(zhì)量的結(jié)果（這是肯定的）。由于模型是在用例特定數(shù)據(jù)上從零開始訓(xùn)練的，所以產(chǎn)生幻覺的幾率幾乎為零，輸出的準(zhǔn)確率也是比較中最高的。

實現(xiàn)的復(fù)雜性

除了準(zhǔn)確性以外，另外一個需要關(guān)注的就是實現(xiàn)這些方法的難易程度。

Prompt Engineering具有相當(dāng)?shù)偷膶崿F(xiàn)復(fù)雜性，因為它幾乎不需要編程。需要具備良好的英語(或其他)語言技能和領(lǐng)域?qū)I(yè)知識，可以使用上下文學(xué)習(xí)方法和少樣本學(xué)習(xí)方法來創(chuàng)建一個好的提示。

RAG比Prompt Engineering具有更高的復(fù)雜性，因為需要編碼和架構(gòu)技能來實現(xiàn)此解決方案。根據(jù)在RAG體系結(jié)構(gòu)中選擇的工具，復(fù)雜性可能更高。

微調(diào)比上面提到的兩個更復(fù)雜，因為模型的權(quán)重/參數(shù)是通過調(diào)優(yōu)腳本更改的，這需要數(shù)據(jù)科學(xué)和ML專業(yè)知識。

從頭開始訓(xùn)練肯定具有最高的實現(xiàn)復(fù)雜性，因為它需要大量的數(shù)據(jù)管理和處理，并且訓(xùn)練一個相當(dāng)大的模型，這需要深入的數(shù)據(jù)科學(xué)和ML專業(yè)知識。

工作量投入

實現(xiàn)的復(fù)雜性和工作量并不總是成正比的。

Prompt Engineering需要大量的迭代努力才能做到正確?；A(chǔ)模型對提示的措辭非常敏感，改變一個詞甚至一個動詞有時會產(chǎn)生完全不同的反應(yīng)。所以需要相當(dāng)多的迭代才能使其適用于相應(yīng)的需求。

由于涉及到創(chuàng)建嵌入和設(shè)置矢量存儲的任務(wù)，RAG也需要很多的工作量，比Prompt Engineering要高一些。

微調(diào)則比前兩個要更加費力。雖然微調(diào)可以用很少的數(shù)據(jù)完成(在某些情況下甚至大約或少于30個示例)，但是設(shè)置微調(diào)并獲得正確的可調(diào)參數(shù)值需要時間。

從頭開始訓(xùn)練是所有方法中最費力的方法。它需要大量的迭代開發(fā)來獲得具有正確技術(shù)和業(yè)務(wù)結(jié)果的最佳模型。這個過程從收集和管理數(shù)據(jù)開始，設(shè)計模型體系結(jié)構(gòu)，并使用不同的建模方法進行實驗，以獲得特定用例的最佳模型。這個過程可能會很長(幾周到幾個月)。

總成本

我們討論的不僅僅是服務(wù)/組件花費，而是完全實現(xiàn)解決方案的成本，其中包括熟練工程師（人員），用于構(gòu)建和維護解決方案的時間，其他任務(wù)的成本，如自己維護基礎(chǔ)設(shè)施，執(zhí)行升級和更新的停機時間，建立支持渠道，招聘，提高技能和其他雜項成本。

Prompt Engineering的成本是相當(dāng)?shù)偷?，因為需要維護的只是提示模板，并在基礎(chǔ)模型版本更新或新模型發(fā)布時時保持它們的最新狀態(tài)即可。除此之外，托管模型或通過API直接使用還會有一些而額外的成本。

由于架構(gòu)中涉及多個組件，RAG 的成本要比Prompt Engineering略高。這取決于所使用的嵌入模型、向量存儲和模型。因為在這里需要為3個不同的組件付費。

微調(diào)的成本肯定要高于前兩個，因為調(diào)整的是一個需要強大計算能力的模型，并且需要深入的ML技能和對模型體系結(jié)構(gòu)的理解。并且維護這種解決方案的成本也會更高，因為每次有基本模型版本更新或新數(shù)據(jù)批次進入時都需要調(diào)優(yōu)。

從頭開始訓(xùn)練無疑是成本最高的，因為團隊必須擁有端到端數(shù)據(jù)處理和ML訓(xùn)練、調(diào)優(yōu)和部署能力。這需要一群高技能的機器學(xué)習(xí)從業(yè)者來完成。維護這種解決方案的成本非常高，因為需要頻繁的重新訓(xùn)練周期來保持模型與用例周圍的新信息保持同步。

靈活性

我們來看看在簡化更新和更改方面的是什么情況

Prompt Engineering具有非常高的靈活性，因為只需要根據(jù)基礎(chǔ)模型和用例的變化更改提示模板。

當(dāng)涉及到架構(gòu)中的更改時，RAG也具很最高程度的靈活性?？梢元毩⒌馗那度肽Ｐ汀⑾蛄看鎯蚅LM，而對其他組件的影響最小。它還可以在不影響其他組件的情況下在復(fù)雜授權(quán)等流程中添加更多組件。

微調(diào)對更改的靈活性非常低，因為數(shù)據(jù)和輸入的任何更改都需要另一個微調(diào)周期，這可能非常復(fù)雜且耗時。同樣，將相同的微調(diào)模型調(diào)整到不同的用例也需要很多的工作，因為相同的模型權(quán)重/參數(shù)在其他領(lǐng)域的表現(xiàn)可能比它所調(diào)整的領(lǐng)域差。

從頭開始訓(xùn)練的靈活性最低的。因為模型是從頭構(gòu)建的，對模型執(zhí)行更新會觸發(fā)另一個完整的重新訓(xùn)練周期。我們也可以微調(diào)模型，而不是從頭開始重新訓(xùn)練，但準(zhǔn)確性會有所不同。

總結(jié)

從以上所有的比較中可以明顯看出，沒有明顯的輸贏。因為最終的選擇取決于設(shè)計解決方案時最重要的指標(biāo)是什么，我們的建議如下：

當(dāng)希望在更改模型和提示模板方面具有更高的靈活性，并且用例不包含大量域上下文時，可以使用Prompt Engineering。

當(dāng)想要在更改不同組件(數(shù)據(jù)源，嵌入，F(xiàn)M，矢量引擎)方面具有最高程度的靈活性時，使用RAG，這樣簡單并且可以保持輸出的高質(zhì)量（前提是你要有數(shù)據(jù)）。

當(dāng)希望更好地控制模型工件及其版本管理時，可以使用微調(diào)。尤其是領(lǐng)域特定術(shù)語與數(shù)據(jù)非常特定時(如法律、生物學(xué)等)，它也很有用。

當(dāng)以上都不適合的時候，可以從頭開始訓(xùn)練。既然覺得上面的方案準(zhǔn)確性都不夠高，所以就需要有足夠的預(yù)算和時間來做的更好。

總而言之，選擇正確的生成AI方法需要深入思考并評估可接受和不可接受的指標(biāo)。甚至是根據(jù)不同的時期選擇不同的方案。

關(guān)鍵詞：