The Curious Case of the “极” Token Bug in DeepSeek V3.1

最近几周，一些开发者和人工智能爱好者报告了 DeepSeek V3.1 中一个奇怪的 bug：该模型偶尔会在输出中插入汉字“极”（包括简体和繁体形式），而没有任何明显的原因。虽然这听起来可能微不足道，但在处理结构化数据、代码或学术写作时，它具有重要的影响。

如何发现这个 Bug

该问题最初出现在 Volcengine 和 Chutes 等第三方 API 平台上，开发者注意到生成的输出中随机出现“极”字符。这些意外的插入导致了下游问题：

• 代码生成：插入一个多余的字符会破坏编译。
• 数据任务：由于额外的 token 导致 JSON 格式错误。
• 技术写作：降低了可读性和专业性。

最初，许多人认为这个问题与第三方提供商引入的部署差异有关，例如量化、服务配置或硬件不一致。然而，进一步的社区测试表明，同样的 bug 可以在 DeepSeek 的官方 Playground 上重现，尽管频率较低。

可能的根本原因

社区内的讨论，包括 Reddit、Zhihu、Github 上的详细帖子，突出了一些合理的解释：

Token 相邻问题

• “……”（省略号）的 token ID 是 2576，而“极”的 token ID 是 2577。
• 词汇表中的接近性表明该模型有时可能会错误预测并输出相邻的 token。
• 一些 Reddit 用户独立地重现了这种行为，并注意到它在会话中持续存在，请参阅上面的 Reddit 讨论。

数据污染

• 在训练或数据清理期间，包含“极”的损坏或低质量样本可能没有被完全删除。
• Reddit 贡献者推测，某些嘈杂的文本来源可能引入了这种异常。

模型捷径行为

• 一些人推测该模型“学习了一种捷径”，导致它偶尔在应该产生省略号或其他 token 的上下文中替换为“极”。
• 一些社区成员观察到，一旦出现该 bug，它在随后的输出中变得更加频繁，这是一种自我强化的循环。

特别令人担忧的是，一旦触发，该 bug 似乎会在随后的生成中持续存在，导致“极”插入的频率更高，就好像该模型“陷入”这种错误行为一样。

对开发者的影响

此 bug 的严重程度取决于应用程序领域：

• 代码生成 → 由于多余的字符导致的编译错误。
• API 响应 → JSON 或 XML 解析失败。
  

  JSON (invalid because of an injected character):
  {"id": 1, "name": "Alice", "scores": [10, 9, 8] 极}
  
  Python (syntax error due to stray character):
  result = compute(x, y) 极  # SyntaxError

• 学术和技术写作 → 降低清晰度和可信度。

对于需要高精度和结构化输出的任务，这是一个阻碍性问题。

最后的想法

虽然确切的根本原因尚未得到证实，但证据（包括来自 Reddit 讨论的独立验证）表明，“极”bug 源于模型本身，而不是第三方部署环境。这强调了在训练期间进行严格的数据集清理和词汇对齐的重要性。

对于开发者来说，目前最好的解决方法是添加后处理验证步骤，以检测和过滤关键工作流程中的异常字符。但是，永久修复需要 DeepSeek 团队以重新训练或修补模型的方式进行。

社区已经提高了认识，许多人希望 DeepSeek 能够尽快发布官方回应并发布更正性更新。