关于大模型在处理文本计数问题中的表现不佳，最近引发了广泛讨论。这些模型如GPT-4o和Claude3.5Sonnet在诸如统计单词中特定字符数量这类看似简单的任务上，竟然频频出错，引发了许多研究者和用户的不满。
举例来说，针对单词“Strawberry”，这些模型对其中字符‘r’的数量统计屡屡失误。而新发布的Llama-3.1405B则展示出了在验证过程中发现问题并进行修正的能力，相较之下显得更为可靠。
有趣的是，社区中出现了许多创新的解决方法。例如，仿效《死亡笔记》中的高智商角色L的计数方法，或是使用深度学习方法复现DeepMind的Self-Discover本文中的技巧。这些方法不仅包括了复杂的提示词生成，还探索了如何让AI自我发现和推理解决问题。
即使有了这些方法，要让大模型如ChatGPT能够稳定准确地计数特定字符，仍然面临挑战。有些模型在特定条件下可以高准确率地解答，例如谷歌Gemini在某些测试中表现出三分之二的正确率。
在技术方面，像智谱清言的ChatGLM就直接通过代码模式调用Python的字符串计数函数来解决问题，展示了一种更为直接的解决路径。
这些挑战和解决方案反映出了AI模型在理解和执行简单任务时的复杂性和局限性。未来的研究和开发将需要更多关注如何提高模型在语言理解和逻辑推理上的准确性和智能化。
