
随着大语言模型生成文本无处不在,识别AI内容成为迫切需求。尽管早期如过度使用破折号和“delve”(深入探讨)等明显特征已逐渐消失,但最新研究显示,AI模型在撰写文章时仍依赖许多具有标志性的习惯用法。
营销公司Graphite发布的一项新研究分析了前沿模型的写作习惯,挖掘出每个模型偏爱的词汇和短语。研究发现,虽然旧有的破折号使用习惯已被遏制,但模型仍倾向于使用强调对比的句式结构,且每个模型版本都展现出独特的习气。Graphite共发现了13,000个在AI生成内容中出现频率至少是人工内容两倍的短语,并将其定义为“标志性特征”(tell)。
Claude趋近人类,GPT愈发偏离
Graphite首席人工智能官Greg Druck指出,Claude模型随时间推移实际上越来越接近人类的词分布规律,而GPT模型的情况则恰恰相反,正变得越来越偏离。
为确保研究严谨性,Graphite选取了ChatGPT发布前出版的10,000篇文章作为人工对照组,并让不同AI模型根据摘要重写这些文章以消除来源偏差。通过匹配样本,研究人员比较了特定词汇、短语及句子构造模式在AI写作中的出现频率。
各模型“标志性特征”各异
数据显示,Claude Opus 5.5最大的标志性特征是单词“dependable”(可靠),其出现频率比人工样本高出23倍。虽然Opus 5.5已避免使用“it’s not X, it’s Y”(不是X,而是Y)的句式,但仍倾向于表达某事“is more than an X, it’s a Y”(不仅是X,更是Y)。此外,Opus热衷于强调事物的重要性,使用“this matters”(这很重要)的频率比人工写作高出116倍,“why X matters”(X为何重要)的出现频率也高出92倍。
OpenAI的Astra模型则呈现不同的提示特征。该模型热衷于描述事物的“另一个维度”,并倾向于通过“may provide”(可能提供)或“can provide”(能够提供)等表述保留余地。其最显著的特征是Graphite所称的“纠正性框架”(corrective framing),即将主题定义为“not simply X”(不仅仅是X)或提出替代方案“rather than relying on X”(而非依赖X)。这些句式在Astra生成的文章中比人工写作常见超过100倍。
旧特征消退,新特征涌现
值得注意的是,所有前沿实验室似乎都已意识到模型过度使用破折号的问题。在Graphite的样本中,Opus 5.5使用破折号的频率比Opus 5低了99%;Astra比人工样本低88%;Gemini 3.1 Pro则几乎完全消除了破折号。
然而,Graphite表示,虽然个别特征发生变化,但总体数量基本保持稳定。Druck指出:“标志性特征并没有减少。他们设法去除了最为人熟知的特征,但其他特征又出现了。而且每个模型版本都有其自身的特征。”
鉴于各实验室专注于拟人化的写作风格,标志性特征的持久性令人惊讶。Anthropic在发布Opus 5.5时宣称该模型“沟通得更加自然”,早期用户也反馈其写作“更清晰、更易跟随”。OpenAI在发布GPT-6版本(Sol和Luna)时也曾表示,用户可以期待看到“更高的清晰度、更少的行话以及更少的奇怪措辞”。
但Druck对各实验室能否完全消除标志性结构或短语持怀疑态度。他表示:“我的一个普遍假设是,实验室对这些事情的控制能力可能不如你预期的那样强。这些拥有数十亿参数的巨型模型能运行的测试次数是有限的,有些东西会漏网。”