「AI臭は語彙よりリズムに出る」を7モデルで検証したら、判別はAUC 0.998で語彙の圧勝だった
7月13日、coji氏のnatural-japaneseというAgent Skillの記事がZennに出ました。主張は「AI臭は語彙よりリズムに出る」。文長のばらつき、モーラ、段落構造といったリズム指標で日本語文書をlintするツールです。
読んで最初に思ったのは「面白い」。次に思ったのは「これ、私の過去2本の研究と真っ向から張り合う主張では?」でした。
私は今年、日本語AI文体の論文を2本Zenodoに出しています。1本は6 LLMの構造パターン16種（AI Text Slop）、もう1本は7 LLMの過剰語彙651語（Excess Vocabulary）。どちらも語彙・構造側の研究です。そこに「AI臭の本体はリズムだ」という実務発の主張が来ました。語彙とリズムを同じ実験台に載せた研究は、調べた範囲では日本語はもちろん英語圏にもありません。
やるしかない。
4日後、3本目の論文としてZenodoに出しました。この記事はその中身と、途中で踏んだ地雷の話、そして書きながら気づいた自分の文章の癖まで、順に振り返っていくかなり長めの実験ノートです。
検証の設計
コーパスは前研究のものを読み取り専用で再利用しました。7 LLM（Claude 3 Haiku / Sonnet 4 / Opus 4 / GPT-3.5 Turbo / GPT-4o / GPT-OSS 20B / Llama 3.2 1B）の生成350文書と、LLM以前（2020〜2022年）のQiita/Zenn技術記事700本です。
仮説は2つ立てました。
- H1（判別力）: 人間/AI判別力は語彙とリズムで異なる。coji仮説が正しければリズム > 語彙
- H2（指紋の層構造）: リズム指紋はモデル間で方向が揃い、語彙指紋はモデルごとに分化する
分類器は両方ともロジスティック回帰で、5-fold交差検証を20回。特徴選択はfold内に閉じ込めてリークを防ぎ、文書長の交絡は残差化で統制します。設計としては地味ですが、この地味さが後で効きます。
まず自分の過去研究が壊れた
検証を始める前に、旧研究の統計手法を英語圏の本家（KobakらのScience Advances論文）と突き合わせました。そこで見つけたのが、token単位χ²検定の擬似反復です。
旧手法は語の出現をtoken数で数えていました。1つの記事が「Hash」という語を402回繰り返すと、402個の独立な証拠として検定に入る。実際には同一文書内の繰り返しは強く相関していて、独立でも何でもありません。旧研究の過剰スコア1位だった「Hash」（+189.1）は、実は350文書中たった2文書にしか出ていませんでした。document単位で数え直すと偶然と区別がつきません（q=0.955）。
数え直しの結果、旧651語のうち生き残ったのは424語。AI過剰側に限れば約半分が消えました。自分の前の結果を35%壊す論文を自分で出すのは変な気分です。ただ、token集計のexcess vocabulary分析は言語を問わず同じ地雷を踏み得るので、隠す理由がありません。論文には修正の数字をそのまま書きました。
リズム説は「記述としては」正しかった
リズム指標を13個実装して測りました。burstiness（文長系列のばらつき指標）、モーラ長の変動係数、段落あたり文数のばらつき、体言止め率、読点数。全部、人間が読める数字です。
結果、AIの文章は本当に単調でした。
burstinessの効果量はd=−0.96。人間が文の長短を大きく揺らすところを、AIは狭い帯に収めてきます。
しかも7モデル全部が同じ方向でした。ベンダーも規模も世代も違うモデルが、揃って単調側に寄る。文字数ベースでもモーラベースでも再現したので、表記の癖ではなく音韻リズムの現象です。cojiさんの観察の核心部分は、定量的に本物でした。
ただし判別力は語彙の圧勝だった
では「AI臭は語彙よりリズムに出る」のか。判別力で測ると、答えは逆でした。
| 特徴系 | 人間/AI判別 AUC |
|---|---|
| 語彙のみ | 0.998 |
| リズムのみ | 0.897 |
| 文書長のみ | 0.811 |
差は−0.101で、100 foldsのうち一度も逆転なし。文書長で残差化しても、外れ値の多いLlamaを除外しても順位は変わりません。
完敗です。
0.998という数字は出来すぎに見えます。実際、これは同一テーマ設定のコーパス内での分離性能で、実運用のAI検出器の性能ではありません。論文ではDiscussionに1節割いて自分で釘を刺しました。それでも「同じ条件・同じ交絡のもとで語彙とリズムを競わせたら語彙が勝つ」という比較自体は内的に妥当です。
リズム側にはもう1つ注意があります。文書長だけでAUC 0.811出るのです（AIの文書は人間より短い）。リズム0.897のかなりの部分は、長さに乗った信号でした。残差化後のリズムは0.810で、長さ単独と並ぶ程度に落ちます。
二層指紋: リズムは訛り、語彙は署名
一番面白かったのはH2です。語彙プロファイルから「どのモデルが書いたか」を7択で当てると92.1%。リズム13指標では51%止まりでした。
モデル固有語の具体例を挙げます。「纏め」はClaude Opus 4とGPT-OSSがほぼ全文書で使い、Llamaは2%。「於く」はSonnet 4が98%で、GPT-OSSは2%。「用いる」はほぼGPT-4o専用です。モデルの語彙選好は、思っていた以上に個体差でした。
つまり構造はこうなります。リズムの単調化は全モデル共通の「機械の訛り」で、機械が書いたことを教えてくれる。語彙はモデル固有の「署名」で、どの機械が書いたかまで教えてくれる。
それでもリズムlintは正しい、という結論
ここまで読むと「natural-japaneseの主張は外れたのか」となりそうですが、私の結論は逆です。
リズム指標は13個しかなく、全部人間が読めて、全モデルに共通に効きます。だから「文の長短を揺らしましょう」という改善指示として機能します。一方、語彙側の知見を執筆改善に使おうとすると「800字の中で『向上』の使用頻度を下げてください」になり、人間には実行不能です。
検出に効くのは語彙、執筆改善に効くのはリズム。優劣の話に見えて、役割分担の話でした。
執筆中に踏んだ地雷
2つだけ書き残しておきます。
1つ目。文末表現の多様性を最初TTRで測ったら「AIの方が多様」と出ました。TTRは系列長に依存する指標で、人間の文書は平均80.9文、AIは38.5文。短い方が有利に出ます。長さの影響を除くMATTRに替えたら符号が反転して、AIの文末は人間より単調になりました。長さを統制しない多様性指標は、結論ごとひっくり返ります。
2つ目。組んだPDFの表がページ幅からはみ出していたのに、LaTeXログにはOverfull警告が一切出ていませんでした。最終チェックは全ページをPNGにレンダリングして、右マージンより外の黒画素を数える力技に落ち着きました。ログを信じすぎない方がいいです。
論文とデータ
論文はZenodoで公開しています（本文CC-BY 4.0、コード・データはMITでGitHubに全部あります）。
起点をくれたcoji氏のnatural-japaneseに感謝します。実務の観察を定量に持ち込むと、半分は裏づけられ、半分は逆転する。この往復が研究の一番おいしいところだと思っています。
この記事は役に立ちましたか？