基于生成式人工智能工具，比如ChatGPT、Bard等聊天機(jī)器人的出現(xiàn)，以及如何將AI工具用于學(xué)術(shù)研究引發(fā)了巨大的爭(zhēng)議，但與此同時(shí)，AI生成的代碼用于科學(xué)研究的價(jià)值被忽視了。

(資料圖片僅供參考)

與ChatGPT生成文本導(dǎo)致的剽竊問(wèn)題相比，用AI抄代碼顯然爭(zhēng)議更小，開放科學(xué)甚至鼓勵(lì)「代碼共享」和「代碼重用」，溯源起來(lái)也很方便，比如python里用到「import」導(dǎo)入依賴包就算引用。

最近Nature上發(fā)表了一篇評(píng)論文章，作者團(tuán)隊(duì)討論了ChatGPT在科學(xué)編程領(lǐng)域的三個(gè)潛在能力，包括頭腦風(fēng)暴、分解復(fù)雜任務(wù)、以及處理簡(jiǎn)單但耗時(shí)的任務(wù)。

文章鏈接：https://www.nature.com/articles/s41559-023-02063-3

研究人員通過(guò)使用ChatGPT將自然語(yǔ)言翻譯成計(jì)算機(jī)可讀代碼，探索了使用生成式AI來(lái)增強(qiáng)科學(xué)編碼的能力和局限性。

實(shí)驗(yàn)中的例子主要探索了可能與生態(tài)學(xué)、進(jìn)化及其他領(lǐng)域相關(guān)的通用任務(wù)，研究人員發(fā)現(xiàn)，使用ChatGPT可以完成80%-90%的代碼編寫任務(wù)。

如果任務(wù)被分解成小的、可管理的代碼塊，并帶有精確的提示作為查詢，ChatGPT可以生成非常有用的代碼。

值得注意的是，用Google的Bard進(jìn)行同樣的實(shí)驗(yàn)通常會(huì)得到類似的結(jié)果，但代碼中的錯(cuò)誤更多，所以這篇文章主要使用ChatGPT進(jìn)行實(shí)驗(yàn)。

第一作者Cory Merow是一位定量生態(tài)學(xué)家，主要研究方向是建立機(jī)制模型來(lái)預(yù)測(cè)人口和社區(qū)對(duì)環(huán)境變化的反應(yīng)。即使是最好的數(shù)據(jù)集在預(yù)測(cè)全球變化反應(yīng)方面也是不完善的，所以需要開發(fā)一些工具來(lái)結(jié)合數(shù)據(jù)源和探索數(shù)據(jù)集，以深入了解生物系統(tǒng)可能發(fā)生的變化。

ChatGPT以回歸模型GPT-3為基礎(chǔ)，在海量的網(wǎng)頁(yè)、書籍等文本上進(jìn)行擬合訓(xùn)練，不需要搜索即可生成文本。

所以ChatGPT更擅長(zhǎng)內(nèi)插（interpolating，即預(yù)測(cè)與訓(xùn)練數(shù)據(jù)相似的文本），而不擅長(zhǎng)外推（extrapolating，即預(yù)測(cè)與訓(xùn)練樣本不同的新文本）。

訓(xùn)練集的龐大規(guī)模是一個(gè)優(yōu)勢(shì)，意味著GPT-3已經(jīng)看到了大量的語(yǔ)言模式，使其能夠內(nèi)插并增加生成對(duì)人類有用回復(fù)的可能性。

不過(guò)對(duì)代碼生成任務(wù)來(lái)說(shuō)，GPT-3并不知道如何編程，只是知道代碼看起來(lái)像什么樣，以及哪些詞最可能出現(xiàn)在下一個(gè)位置，其工作原理類似于自動(dòng)補(bǔ)全，基于概率模型預(yù)測(cè)下一個(gè)代碼塊（chunk），塊通常比詞（word）要小，也可以叫做token

生成正確token的概率基于所有token的概率乘積，即增加預(yù)測(cè)token的數(shù)量或降低選中token的確定性會(huì)增加任務(wù)的難度，從而降低獲得正確token的概率。

因此，想要增加正確token的概率，需要縮短生成任務(wù)的長(zhǎng)度，或是提供更具體的指令。

最后，研究人員提醒，ChatGPT生成的文本有些看起來(lái)像代碼，但可能無(wú)法執(zhí)行，所以在編碼過(guò)程中需要仔細(xì)觀察調(diào)試。

頭腦風(fēng)暴工具

ChatGPT可以很好地檢索多個(gè)數(shù)據(jù)源，例如在生態(tài)領(lǐng)域可以同時(shí)獲取植物性狀、物種分布區(qū)域和氣象數(shù)據(jù)。

雖然ChatGPT提供的數(shù)據(jù)有些是不正確的，但通過(guò)其提供的鏈接可以很快地校正這些錯(cuò)誤。

不過(guò)ChatGPT并不能寫爬蟲從網(wǎng)站上下載數(shù)據(jù)，可能是因?yàn)镽語(yǔ)言的包和底層應(yīng)用程序接口（如R訪問(wèn)數(shù)據(jù)庫(kù)的協(xié)議）更新過(guò)快，畢竟ChatGPT的訓(xùn)練數(shù)據(jù)是在2021年構(gòu)建的。

ChatGPT可以在遇到特定問(wèn)題時(shí)提出各種統(tǒng)計(jì)技術(shù)，在后續(xù)的提問(wèn)中可以生成更多基于用戶假設(shè)的指導(dǎo)意見(jiàn)，并提供一份初始代碼。

不過(guò)綜合（synthesis）過(guò)程只適用于提出并交流想法，仍然需要通過(guò)傳統(tǒng)的數(shù)據(jù)源（如論文等）進(jìn)行事實(shí)核查。

需要注意的是，一些網(wǎng)站聲稱ChatGPT有能力對(duì)書籍寫摘要，不過(guò)從研究人員的測(cè)試結(jié)果來(lái)看，這種摘要綜合的結(jié)果完全不對(duì)，可能是因?yàn)闇y(cè)試用的書籍沒(méi)有在GPT-3訓(xùn)練集中出現(xiàn)。

更難的任務(wù)需要更多的debug

ChatGPT非常擅長(zhǎng)生成模板代碼，在特定指令下提供一份包含少量函數(shù)的短腳本代碼。

比如下面的例子中，研究人員要求ChatGPT將四個(gè)常用函數(shù)的輸入和輸出串一起。并提供一個(gè)將此函數(shù)用于模擬數(shù)據(jù)的示例代碼。

可以看到ChatGPT生成的結(jié)果幾乎是完美的，調(diào)試代碼只花了幾分鐘，不過(guò)需要在提示中非常具體地說(shuō)明query，包括提供命名和用到的函數(shù)。

研究人員發(fā)現(xiàn)，成功的關(guān)鍵在于：

1、將復(fù)雜任務(wù)分解成多個(gè)子任務(wù)，每個(gè)子任務(wù)最好只需要少數(shù)幾個(gè)步驟即可完成，畢竟ChatGPT生成的代碼是基于概率文本預(yù)測(cè)模型的結(jié)果。

2、ChatGPT在使用已經(jīng)存在的函數(shù)時(shí)表現(xiàn)最佳，因?yàn)檫@時(shí)只涉及內(nèi)插而非外推。

例如，使用正則表達(dá)式（regex）從文本中提取信息的代碼對(duì)于許多開發(fā)人員來(lái)說(shuō)是非常困難的，不過(guò)因?yàn)橐呀?jīng)有正則網(wǎng)站提供了大量在線示例，并可能出現(xiàn)在ChatGPT示例中，所以ChatGPT寫正則的性能還是不錯(cuò)的。

3、學(xué)術(shù)界對(duì)ChatGPT最大的批評(píng)之一是其信息來(lái)源缺乏透明度。

對(duì)于代碼生成任務(wù)，通過(guò)指定「命名空間」（namespace），即在使用函數(shù)時(shí)顯式調(diào)用包名可以實(shí)現(xiàn)一定程度的透明性。

不過(guò)ChatGPT可能會(huì)直接復(fù)制個(gè)人的公開代碼而沒(méi)有引用出來(lái)，并且研究人員仍然有責(zé)任驗(yàn)證正確的代碼歸屬人。

同時(shí)，如果要求生成更長(zhǎng)的腳本會(huì)暴露出一些ChatGPT的缺陷，例如偽造函數(shù)名或參數(shù)等，這也是StackOverflow禁用ChatGPT生成代碼的原因。

但如果用戶提供了一組明確的執(zhí)行步驟，ChatGPT仍然可以生成一個(gè)有用的工作流模板，定義步驟之間的輸入和輸出之間的連接，這可能是用GPT-3外推生成新代碼的最有用的途徑。

目前ChatGPT還不能將偽代碼（用簡(jiǎn)單語(yǔ)言描述的算法步驟） 轉(zhuǎn)換為完美的計(jì)算機(jī)可執(zhí)行代碼，但這可能離現(xiàn)實(shí)并不遙遠(yuǎn)。

ChatGPT對(duì)于初學(xué)者、不熟悉的編程語(yǔ)言來(lái)說(shuō)特別有幫助，因?yàn)槌鯇W(xué)者只會(huì)寫一些較短的腳本，調(diào)試更方便。

ChatGPT更擅長(zhǎng)非創(chuàng)造性任務(wù)

ChatGPT最擅長(zhǎng)解決的是耗時(shí)的公式化任務(wù)，可用于調(diào)試、檢測(cè)和解釋代碼中的錯(cuò)誤。

ChatGPT在編寫函數(shù)文檔時(shí)也非常有效，例如使用roxygen 2的內(nèi)聯(lián)文檔語(yǔ)法，在標(biāo)識(shí)出所有參數(shù)及類上非常高效，不過(guò)卻很少解釋如何使用函數(shù)。

一個(gè)關(guān)鍵的限制是ChatGPT的生成被限制在大約500個(gè)單詞，只能專注于較小代碼塊的生成，同時(shí)還可以生成單元測(cè)試以自動(dòng)化確認(rèn)代碼功能。

ChatGPT給出的大多數(shù)建議在定義測(cè)試的結(jié)構(gòu)和檢查預(yù)期的對(duì)象類方面是很有幫助的。

最后，ChatGPT在對(duì)代碼進(jìn)行重新格式化以遵循標(biāo)準(zhǔn)化（例如Google）代碼樣式方面非常有效。

ChatGPT和其他人工智能驅(qū)動(dòng)的自然語(yǔ)言處理工具已經(jīng)準(zhǔn)備好將開發(fā)人員的簡(jiǎn)單任務(wù)進(jìn)行自動(dòng)化，例如編寫短函數(shù)，語(yǔ)法調(diào)試，注釋和格式化，而擴(kuò)展復(fù)雜性取決于用戶的調(diào)試意愿（以及他們的熟練程度）。

研究人員總結(jié)了ChatGPT在代碼生成上的功能，可以簡(jiǎn)化科學(xué)領(lǐng)域的代碼編寫過(guò)程，不過(guò)人工檢查仍然是必要的，可運(yùn)行的代碼并不一定意味著代碼能夠執(zhí)行預(yù)期的任務(wù)，因此單元測(cè)試或非正式的交互式測(cè)試仍然至關(guān)重要。

在解決方案可能由人類開發(fā)，并由ChhatGPT簡(jiǎn)單復(fù)制生成的情況下，確保正確的代碼歸屬人至關(guān)重要。

目前已經(jīng)有聊天機(jī)器人開始自動(dòng)提供指向其來(lái)源的鏈接（例如，微軟的必應(yīng)），盡管這一步還處于起步階段。

與傳統(tǒng)方法相比，ChatGPT提供了一種學(xué)習(xí)編碼技能的替代方法，通過(guò)將偽代碼直接轉(zhuǎn)換為代碼，可以緩解編寫初始任務(wù)的障礙。

研究人員懷疑未來(lái)的進(jìn)展將使用ChatGPT這樣的工具來(lái)自動(dòng)調(diào)試編寫的代碼，根據(jù)遇到的錯(cuò)誤迭代地生成、運(yùn)行和提出新代碼，在實(shí)驗(yàn)過(guò)程中，研究人員發(fā)現(xiàn)糾正代碼的能力有限，只有在非常具體的指令針對(duì)小代碼塊時(shí)才會(huì)偶爾成功，調(diào)試過(guò)程的效率遠(yuǎn)低于人工調(diào)試。

研究人員猜想，隨著技術(shù)的進(jìn)步（比如最近發(fā)布的GPT-4模型 ，據(jù)稱比GPT-3模型大10倍），自動(dòng)化調(diào)試將會(huì)得到改進(jìn)。

未來(lái)即將到來(lái)，現(xiàn)在是開發(fā)人員學(xué)習(xí)提示工程技能以利用新興AI工具的時(shí)候了，研究人員預(yù)計(jì)，使用人工智能生成的代碼將成為軟件開發(fā)各個(gè)方面越來(lái)越有價(jià)值的技能，這些技能是科學(xué)發(fā)現(xiàn)和理解的基礎(chǔ)。

關(guān)鍵詞：