GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α 。
【LLM代碼準確率平均降低15%】從表格中來看，經(jīng)過嚴格測試后，這群AI的生成準確率都有所下落：
文章插圖
這里會通過一種名叫pass@k的方法評估準確率，其中k是允許大模型給問題生成的程序數(shù)量，n是用于測試的輸入數(shù)量，c是正確的輸入數(shù)量：
根據(jù)新的這套評估標準，大模型們的準確率平均下落了15%，其中比較廣泛研究的CODEGEN-16B更是下落了超過18% 。
至于ChatGPT和GPT-4生成代碼的性能，也下落了最少13% 。
不過 ， 也有網(wǎng)友表示，大模型生成的代碼效果沒那么好，已經(jīng)是“盡人皆知的事實”了，需要研究的是“為何大模型寫的代碼不能用” 。
關(guān)于本次LLM代碼準確率平均降低15%的問題分享到這里就結(jié)束了 ， 如果解決了您的問題 ， 我們非常高興 。
- ps4上古卷軸5秘籍大全 上古卷軸5升級代碼？
- fc第二次機器人大戰(zhàn)金手指代碼_怎樣使用《超級機器人大戰(zhàn)α外傳》金手指？
- ?交通違章代碼7510是什么意思
- ?巴基斯坦首都機場叫什么？巴基斯坦首都機場三字代碼
- 格力空調(diào)故障的常見錯誤代碼
- 資源環(huán)境科學專業(yè)代碼 ?資源環(huán)境科學專業(yè)就業(yè)前景
- 登錄QQ時提示錯誤00001怎么解決 ?電腦登錄qq錯誤代碼00001
- 辨別真假vivo手機代碼大全
- 格力空調(diào)E6故障代碼維修實戰(zhàn)分享
- 《雷神之錘3》中平方根算法你見過嗎，這段代碼簡直吊炸天！