ChatGPT无法取代人类程序员! IEEE 35页论文测出困难编码正确率仅为0.66%
新智元
共 10360字,需浏览 21分钟
·
2024-07-08 13:03
新智元报道
新智元报道
【新智元导读】6月,IEEE刊登了一篇对ChatGPT代码生成任务进行系统评估的论文,数据集就是程序员们最爱的LeetCode题库。研究揭示了LLM在代码任务中出现的潜在问题和能力局限,让我们能够对模型做出进一步改进,并逐渐了解使用ChatGPT写代码的最佳姿势。
0.66%-89%,惊人反差率
实验评估
功能性正确代码生成
多轮修复功能管用吗
代码复杂度
代码安全性
ChatGPT非确定性
评论