困惑度衡量的是在给定前文的情况下,每个词的可预测程度。突发性衡量的是句子长度和结构在整段文本中的变化幅度。检测器将这两个信号与其他信号结合起来,以估计文本是否由机器生成。这两个指标都不能证明作者身份,而且都可以通过编辑来改变。
关键要点
- 困惑度是一个可预测性分数:低困惑度意味着每个下一个词都很容易从上下文中猜出。
- 突发性是一个变化分数:低突发性意味着你的句子长度和形态都大致相同。
- 检测器将这些视为信号,而非定论——高分是概率估计,不是证据。
- 句子长度变化是你能拉动的最快杠杆,因为它直接改变突发性,同时也会改变困惑度。
- 我们在 2026-09-19 的测量发现,手写的 DeAIze 指南平均 AI 分数为 27%(n = 46),而未编辑的模型输出平均为 35%(n = 12)——重叠才是重点。
- 你无法通过编辑在任何检测器上得到一个有保证的数字,而且你也不应该尝试。
什么是 AI 检测中的困惑度?
在语言建模中,困惑度是一种意外程度的度量。模型会根据每个词之前的所有内容为其分配一个概率。如果模型以高置信度预期“the”,那么这个词带来的意外就很小。困惑度将这些概率在整段文本中聚合成一个数字:低困惑度意味着文本容易预测,高困惑度意味着文本难以预测。
检测器使用一个语言模型——通常比写出文本的模型更小、更快——以同样的方式为你的草稿打分。模型觉得容易预测的文本往往看起来像机器生成的,因为生成模型被优化为产生可能的续写。人类写作包含更多局部意外:一个突然出现的具体名词、一句题外话、一个不按预期路径发展的从句。
这就是为什么一段流畅、精雕细琢的段落可能被判定为机器生成。流畅性与可预测性是近亲。一个内化了简洁散文规则的作者——不变化任何东西,连接一切,避免意外——可以在从未打开聊天机器人的情况下,写出真正低困惑度的文本。
困惑度也是短文本不可靠的原因。一个两句话的样本几乎不给模型提供可惊讶的上下文,因此估计值会剧烈波动。如果你在检查一个片段,就要预期有噪声。
什么是 AI 检测中的突发性?
突发性关乎节奏。取你句子的长度,看看它们差异有多大。一段中每个句子都在 18 到 22 个词之间,突发性就低。一段长度依次为 6、31、12、44、9,突发性就高。
人类写作者是偶然地突发。当一个想法需要展开时,我们写一个长而带修饰的句子,然后用一个短句来收尾。我们会打断自己。我们把一个从句前置,因为那样听起来更好。机器输出倾向于稳定的中等长度节奏,因为模型是从一个奖励安全、完整句子的分布中采样。
突发性比困惑度更容易看到,因为你可以直接数出来。打开你的草稿,把句子长度列成一列,看看形状。如果数字聚集在一起,无论文本是谁或什么写的,你都有突发性问题。
如果你想在自己的草稿上看到突发性,而不是靠猜测,AI检测器会按AI概率高亮每个句子,这样你就能在改动任何内容之前,准确看到哪些行带有信号。
句子长度变化如何影响AI评分?
句子长度是最容易控制的单一变量,而且它同时影响两个指标。
当你交替使用长句和短句时,你会直接提高突发性。你也会间接提高困惑度:长句之后紧跟一个非常短的句子,语言模型更难预测,因为预期的后续是另一个长句。这两个指标并非相互独立。结构上的变化会在用词上产生意外性。
下面是一个小的示例说明,并非真实文档:
之前(节奏平淡):
该研究考察了多个大都市区域城市密度与公共交通使用之间的关系。分析基于多年期间收集的调查数据。研究结果表明,仅凭密度无法预测乘客量模式。作者建议进一步研究地方政策背景。
每个句子长度相近,结构相同:主语、动词、宾语、修饰语。它读起来像摘要,因为它就是摘要。
修改后(节奏多变):
仅凭密度无法预测公共交通使用。这就是研究发现,而且它在多个大都市区域和多年的调查数据中都站得住脚。什么能预测乘客量?地方政策。作者希望对此进行更多研究,这是一种委婉的说法,表明密度论点被过度吹捧了。
同样的主张。第二个版本提出了一个问题,使用了一个三词句子,并让一个句子变得很长。突发性更高,逐词评分的模型有更多地方会感到意外。
两个版本本身都不更诚实。第二个只是更不可预测。
为什么未经编辑的模型输出有时仍然得分很低?
这是大多数解释都跳过的部分。在我们自己于 2026 年 9 月 19 日的测量中,我们使用 DeAIze 检测器以 30% 的标记阈值,对 12 段未经编辑的模型文本与 46 篇手写的 DeAIze 指南进行了评分。未经编辑的模型输出平均 AI 得分为 35%(中位数 34%,范围 25-49%)。人工撰写的指南平均为 27%(中位数 25%,范围 0-55%)。
这些分布存在重叠。一些人工指南的得分高于一些模型文本。这才是诚实的图景:困惑度和突发性是信号,而信号会重叠。如果检测器据此报告确定性,那是在对你说谎。
我们在同一次运行中还统计了 AI 特征词的频率:人工样本中每 100 词出现 3 次,而未经编辑的模型输出中每 100 词出现 1 次。人工写作者比模型更多地使用了人们与机器写作相关联的套话——“此外”、“值得注意的是”、连接性框架——。特征词本身是一个弱信号,而且可能指向错误的方向。
如果你想更全面地了解这些信号如何与其他信号结合,AI 检测如何工作 涵盖了完整的技术栈。
改变困惑度和突发性的具体编辑操作
这些才是真正能改变数据的操作。请在你自己的草稿上执行。
- 统计你的句子长度。 把它们列成一个清单。如果长度分布很窄,那就是你要修的第一处。
- 把一个长句拆成三句。 不是两句——是三句,这样其中一句会非常短。
- 在文本进行解释的地方加一个问题。 一个直接的问题会提高困惑度,因为模型预期的后续内容是一个陈述句。
- 把一个抽象名词换成具体名词。 “若干因素”变成“停车位最低配比”。具体性是不可预测的。
- 删掉一个连接词。 “此外”、“而且”和“另外”是任何段落中最可预测的词。
- 变换你的开头。 如果连续三个句子都以主语开头,把其中一句倒装。
- 大声读出来。 你的耳朵比眼睛更快捕捉到平淡的节奏。
| 修改 | 对突发性的影响 | 对困惑度的影响 |
|---|---|---|
| 把一个长句拆成三句 | 大幅提升 | 中度提升 |
| 加一个直接问题 | 中度提升 | 大幅提升 |
| 把抽象名词换成具体名词 | 小 | 中度提升 |
| 删掉一个连接词 | 小 | 小幅提升 |
| 把从句前置以强调 | 中度提升 | 中度提升 |
| 把每个句子都改写成相同长度 | 大幅下降 | 大幅下降 |
注意最后一行。你可以同时降低你分数的可读性并提高你的 AI 分数。平淡的行文并不会自动显得像人写的;它只是显得平淡。
这两个指标有哪些局限?
困惑度和突发性之所以有用,是因为它们可以被检查。你可以统计句子长度。你可以看到模型在哪里感到意外。这比一个黑箱百分比能给你的信息要多。
但它们并非最终裁决,将其视为裁决会带来真正的伤害。
它们会惩罚干净的写作。 一位细心的编辑为了统一风格而标准化句子长度,产出的就是低突变性文本。非英语母语者套用教科书规则写作也是如此。这是一个已知的失败模式,如果这说的就是你,值得读一读为什么 AI 检测器会标记非英语母语写作者。
它们在短文本上不稳定。 200 词的样本无法支撑一个可靠的估计。单个段落也不行。
它们不知道文字是谁写的。 困惑度衡量的是可预测性。人类写出的可预测段落,依然可预测。
检测器之间彼此不一致。 不同的模型、不同的阈值、不同的训练数据。如果两个工具给出不同的读数,那是预期行为,而不是其中一个坏掉的证据。AI 检测器准确吗?详细解释了为什么两个工具会对同一篇文章给出不同结果。
为指标而编辑,不等于为读者而编辑。 追求突变性可能产生断断续续、刻意做作的文笔。如果一个句子长一点读起来更好,就让它长着。
检查自己草稿的实用流程
以下流程对于一篇普通文章大约需要十分钟。
- 将草稿通过一个能显示句子级高亮、而不仅仅是文档分数的检测器。 AI 检测器 可以做到这一点:整个文档一个分数,外加逐句分解。
- 查看哪些句子带有信号。通常是在解释性部分中间出现的一串长度相似的陈述。
- 只重写那些句子。其他部分保持不动——你要解决的是节奏问题,而不是洗白整篇文档。
- 重新评分。如果被标记的句子串消失了,就停止。不要追逐一个数字。
- 检查含义是否保留。这是人们会跳过的步骤。改变你论点的重写比一个标记更糟糕。
最后一点比任何指标都重要。如果你使用 AI 起草了某个部分,其中的想法、数据和结论仍然必须是你自己的。为了突发性而重写并不能把别人的论点变成你自己的,任何检测器分数都改变不了这一点。
如果你关心的是正式流程而非草稿, 学术诚信政策指南 解释了机构通常会评估什么。
突发性和困惑度在更大图景中的位置
把它们想象成同一面板上的两个旋钮。困惑度追踪词级别的可预测性。突发性追踪结构变化。检测器将它们与标记模式、重复度量和其他特征结合起来,然后输出一个概率。
这个概率是一个估计值。它不是作者身份的证明,任何负责任的工具都不应将其作为证明呈现。DeAIze 报告称,在人性化处理后,根据我们自己的预测分数,AI 分数平均降低 60% 以上,最佳情况为 71%,而在网站上使用的示例段落中,92% 的 AI 分数变为 4% 的 AI。这些是我们的预测分数,不是任何第三方检测器的官方判定,它们不会与每个工具报告的结果一致。
你可以依赖的是机制。如果你理解为什么一个平淡的段落得分高,你就可以按照自己的方式有意识地修正它,而无需猜测。
准备好看看哪些句子读起来像机器写的了吗?
阅读关于困惑度的内容与在你的草稿上看到它并不相同。学习机制最快的方法是观察它在你写的文本上如何运作。
从 AI 检测器 开始,获取句子级别的分解,然后使用 草稿编辑器 仅重写被标记的行并重新评分。如果你想在承诺之前了解循环如何运作,定价 列出了按需付费的层级,积分永不过期,你可以 注册 获得 200 个免费单词,无需信用卡。
在一个段落上运行它。如果被高亮的句子正是你原本就怀疑平淡无奇的那些,那你就已经理解了其机制。这正是这个练习的意义所在。