编者按：最新的代码生成研究揭示了人工智能在编写代码方面的潜力与限制。人工智能模型如OpenAI的ChatGPT，虽然在生成功能性代码方面表现出色，但其缺乏人类的批判性思维，有时更像是鹦鹉学舌。
根据《IEEE软件工程学报》今年6月刊的一项研究，ChatGPT在解决各类编码问题时取得了令人瞩目的成功率。研究评估了ChatGPT在功能性、复杂性与安全性等方面的表现，发现其能够针对不同难度的编程任务生成可执行代码，成功率从最低的0.66%到最高的89%不等，取决于任务的具体要求及编程语言的选择。
研究参与者、格拉斯哥大学的Yutian Tang指出，虽然ChatGPT在处理早期LeetCode上的问题时表现出色，特别是在简单到困难级别的编码挑战中，其生成的代码比人类解决方案更为高效、内存开销更小。随着问题复杂性的增加，尤其是2021年之后出现的编码问题，ChatGPT的表现开始下降，显示出其对新问题的理解能力有限。
在研究中还发现，ChatGPT生成的代码虽然可能在语法上正确，却存在安全漏洞和功能缺陷，例如缺少空值测试。尽管其在修复编译错误方面表现出一定能力，但往往无法有效纠正自身的逻辑错误。
研究结果显示，使用不同编程语言时，由ChatGPT生成的代码在复杂性上表现不一：C语言生成的代码最为复杂，接近人类编写的水平；而Python等语言则相对简单。Tang建议，开发者在使用ChatGPT时应提供更多背景信息，尤其是在处理复杂编程问题时，以帮助其更好地理解问题和避免潜在的漏洞。
尽管人工智能在代码生成领域展现出显著潜力，但其局限性与人类创造力及批判性思维相比仍有较大差距。对于未来，理解和利用这些模型的优势与限制将是关键，以更有效地推动软件开发的自动化与创新。
译者：boxi
