← シリーズに戻る

ローカルLLMで足りる手順 9Bで要約10/10

Part 2 / 7 ローカルLLMとClaude Code 分担7章

本文と質問を渡して答えを抜く下調べ (Web ページを取得して読む手順、Claude Code の WebFetch) と、文書を渡して要約させる手順は、9B のローカルLLM でも Claude と同じ合格数でした。下調べは3つとも 15/15。要約は3つとも 10/10。commit メッセージは 35B が 10/10 で、9B は 5/10 でしたが、落ちた理由は件名の長さなどの形式だけです。

共通しているのは、材料が渡されていて、何を返すかが決まっていることです。

どのページを取りに行くか、どこまで調べるかはこの手順の外にあり、そちらはクラウドに残ります。ローカルLLMへ依頼ごとは0/100 手順で分ける では、回せそうな手順の約半分に「ローカルで足りる」というラベルが付きました。そのラベルが品質として本当か、9B・35B・Claude に実際に解かせて確かめました。

そろえた条件

3つのモデルに同じ入力を渡し、決めた基準で機械的に採点しました。

手順の種類件数渡したもの合格の基準
下調べ (WebFetch 相当)15Wikipedia の本文 + 質問本文から正規表現で抜いた正解 (日付・数値・固有名詞) を全部含む
要約10Wikipedia の本文 (英語5・日本語5)必須の事実6個中4個以上を含み、原文に無い数字を出さない
commit メッセージ10公開リポジトリの実際の diff件名72字以内 + 空行の形式、変更したファイルか識別子に触れる
分類12会話ログの手順依頼ごとは0/100の章 で Claude に付けさせた作業の種類 (9択) と一致

下調べの正解を人が書かず本文から正規表現で抜いたのは、採点者の主観を挟まないためです。たとえば Linux の最初の公式版を聞く問いでは、本文の文から「5 October 1991」と「0.02」を取り出し、回答に両方があれば合格にしました。

下調べと要約は3つとも満点

手順の種類ごとの合格数を、9B・35B・Claude の3列で並べた表の図。下調べ15件は3つとも15/15。要約10件は3つとも10/10。commit メッセージ10件は 9B が5/10、35B と Claude が10/10。分類12件は3つとも5/12で、正解ラベル自体があいまいなため差を測れていない

下調べで抜く部品は15問で28個あり、3つとも28個すべてを含みました。要約は必須の事実の含有率が 9B 0.83、35B 0.97、Claude 0.95 で、3つとも原文に無い数字を1件も出していません。

要約10件の必須の事実の含有率の平均を比べた横棒グラフ。9B 0.83、35B 0.97、Claude 0.95。3つとも10件すべて合格 (6個中4個以上) で、原文に無い数字を出した要約は0件。9B は含有率0.67の要約が4件あったが、基準は全件満たした。文章の質は採点していない

満点がそろったからといって、能力が同じとは限りません。この難しさの課題では全員が上限に届いた、というのが正確なところで、言えるのは本文が渡され抜く項目が決まっていれば 9B で足りる、までです。複数の文書を突き合わせるような難しい要約は測っていません。

commit メッセージは 9B だけ形式で落ちる

9B が落とした5件は、件名が73〜76字だったものが4件、件名のあとの空行が抜けたものが1件でした。変更したファイルや識別子への言及は5件とも基準を満たしています。中身はできていました。

commit メッセージの件名の字数を、合格の上限72字の線と並べた図。9B が落とした5件のうち4件は件名が73〜76字で、上限をわずかに超えた。残る1件は件名のあとの空行が抜けた。どれも変更したファイルや識別子には触れていて、落ちた理由は形式だけ

この種類の失敗は、指示に字数を書いたり、出力後に字数を数えて切り直したりすれば防げそうに見えますが、私は直して測り直してはいません。35B は何もしなくても10件すべて形式を守りました。commit を任せるなら 35B が手堅い、と言えるのは形式の面だけです。変更したファイル名に触れた割合は 9B 0.63、35B 0.54、Claude 0.68 で、中身の言及では 9B のほうが多いくらいでした。

分類は測れなかった

分類は3つとも 5/12 でした。12件中4件で3つのモデルが同じ別のラベルを出していて (文章を書く → コードを書く、など)、正解ラベルのほうがあいまいでした。この課題ではモデルの差を測れていないので、結論には使いません。

速さは 9B が Claude と並ぶ

1件あたりの所要時間 (中央値) は、9B が Claude に近い値でした。35B は遅く、下調べで差が開きます。経路は違い、ローカルは手元の PC から Tailscale 経由で GPU の PC へ、Claude はインターネット越しの API です。

1件あたりの所要時間の中央値を手順の種類ごとに比べた横棒グラフ。下調べは 9B 2.1秒・35B 8.3秒・Claude 1.4秒。要約は 9B 3.6秒・35B 7.2秒・Claude 3.7秒。commit メッセージは 9B 2.7秒・35B 6.1秒・Claude 2.6秒。35B が下調べで遅いのは、5〜8千トークンのページを読む入力処理が約600トークン毎秒と遅いため

35B の下調べが遅いのは、5〜8千トークンあるページを読む入力処理が約600トークン毎秒しか出ないためです。合格数は同じです。材料が長い手順は 9B に回すほうが速く済みます。35B の速さを上げる設定は ローカルLLMが遅いとき 設定で8→55tok/s にまとめました。

手順9B35B回すなら
下調べ (本文あり)15/15・2.1秒15/15・8.3秒9B
要約 (本文あり)10/10・3.6秒10/10・7.2秒9B
commit メッセージ5/10 (形式)10/1035B

中身の面で差が出た手順は、コード修正だけでした。そちらは ローカルLLMで外れる手順 難しいコード1/3 で扱います。

ローカルLLMで足りる仕事、Claude Codeに任せる仕事 関連書籍 ローカルLLMで足りる仕事、Claude Codeに任せる仕事 依頼の96%はローカルに回せなかった。1ステップずつに下ろすと、半分が回せた 書籍ページを見る →