← シリーズに戻る

ローカルLLMが遅いとき 設定で8→55tok/s

Part 5 / 7 ローカルLLMとClaude Code 分担7章

ローカルLLM が遅くて試す気になれないなら、先にモデルの大きさとエンジンを見直します。RTX 4070 12GB で 35B (Qwen3.6-35B-A3B) を Ollama に任せると生成は 8〜9 tok/s でしたが、同じ重みを llama.cpp で動かし、--n-cpu-moe 24 で expert (下で説明します) の置き場所を指定すると 55〜56 tok/s になりました。約6倍です。

9B (Qwen3.5-9B) なら VRAM に全部載るので、Ollama でも llama.cpp でも 71〜79 tok/s 出ます。

ローカルLLMで足りる手順 9Bで要約10/10 で見たとおり、下調べと要約は 9B と 35B で合格数が同じでした。そういう手順は 9B に回すのが一番速く、35B の設定を詰めるのは commit メッセージやコード修正を任せたいときです。

大きさ: 9B は載り、35B は載らない

9B は載ります。GGUF (Q4_K_M) のファイルで約5.7GB です。VRAM の増加分は llama.cpp で 6,249 MiB、Ollama で 8,999 MiB でした (Ollama の 9B は画像を読む部分を含み、確保の仕方も違います)。

35B (UD-Q4_K_M) はファイルで約22GB あり、VRAM に入りきりません。

ただしこのモデルは MoE (専門家の混合) という作りで、各層に256個ある小さな部分ネットワーク (expert) のうち、1トークンを作るのに8個しか使いません。名前の A3B は、1トークンあたりに動かすのが全体の約3B ぶんだけ、という意味です。使う量が小さいので、expert の一部を CPU 側のメモリに置いても動きます。どの層の expert を GPU に置き、どれを CPU に置くかで速さが決まります。

35B (Qwen3.6-35B-A3B) の置き方の模式図。モデルは40層あり、各層に256個の expert があり、1トークンに使うのは8個。llama.cpp の --n-cpu-moe 24 は、先頭から24層ぶんの expert を CPU 側のメモリに置き、残り16層の expert と、全層の expert 以外の部分を GPU に置く。Ollama は自動で GPU 47%・CPU 53% に振り分けた

エンジン: 同じ重みで6倍

同じ 35B の GGUF を、Ollama に取り込んだものと llama.cpp で比べました。

生成速度 (長い入力) を構成ごとに並べた横棒グラフ。9B は llama.cpp 75 tok/s、Ollama 71 tok/s。35B は llama.cpp --n-cpu-moe 24 で 55 tok/s、llama.cpp --cpu-moe (expert を全部 CPU) で 38 tok/s、Ollama (自動配置 GPU 47%) で 8 tok/s。同じ重みで llama.cpp の最速設定は Ollama の約6倍

エンジンモデル / 設定生成 tok/s (短/長)入力処理 tok/s (長)VRAM (増加分)
Ollama9B74 / 712,9118,999 MiB
llama.cpp9B79 / 753,8076,249 MiB
Ollama35B (自動配置 GPU 47%)9.2 / 8.349011,428 MiB
llama.cpp35B --cpu-moe38 / 384273,301 MiB
llama.cpp35B --n-cpu-moe 2456 / 5565410,793 MiB

Ollama は VRAM をほぼ使い切っているのに、8〜9 tok/s しか出ていません。どの部分を GPU に置くかを Ollama が自動で決め、その配置が MoE に向いていなかった、というのが私の読みです (配置の中身までは切り分けていません)。llama.cpp で expert を全部 CPU に置く --cpu-moe ですら 38 tok/s 出ます。

設定: —n-cpu-moe を下げて、溢れる手前で止める

--n-cpu-moe N は「先頭から N 層ぶんの expert を CPU に置く」指定です。N を下げるほど GPU に載る expert が増えます。

--n-cpu-moe の値を40から20まで下げたときの生成速度と VRAM。40 (全層を CPU と同じ) は 38 tok/s・VRAM 増加 3,301 MiB、32 は 45 tok/s・7,083 MiB、28 は 50 tok/s・8,939 MiB、24 は 55 tok/s・10,793 MiB で最速。20 にすると 11,396 MiB で溢れ、11 tok/s に落ちる。溢れる手前が最速点

24 までは下げるほど速くなり、20 で VRAM が溢れて 11〜20 tok/s に落ちました。

境目は VRAM の空きとコンテキスト長で動きます。私が測ったのは 40・32・28・24・20 の5点なので、自分の環境でも数段に分けて下げ、速度が落ちたら1段戻すのが手堅いはずです。このモデルは40層なので、40 を指定すると --cpu-moe と同じ配置になります。

llama.cpp のフラグを1つずつ詰めて 35B を速くする過程は、本 RTX 4070でQwen 35Bを2.8倍速くする にまとめています。本の数字は別の時期・別の版で測ったもので、この章の値とは一致しません。

入力処理: 長い材料は 9B が速い

入力処理は事情が違います。生成速度だけ見ると 35B でも 55 tok/s 出ますが、材料を読み込む入力処理は 9B よりずっと遅く、長い入力で 35B が 654 tok/s、9B が Ollama で 2,911 tok/s (約4.5倍、llama.cpp なら 3,807 tok/s) でした。5〜8千トークンの Web ページを読ませる下調べで 35B が1件 8.3秒、9B (Ollama) が 2.1秒かかったのはこのためです。

電力: GPU 単体なら 1,000トークンで約1Wh

生成1,000トークンあたりの GPU 電力量。9B は llama.cpp 0.95 Wh、Ollama 1.06 Wh。35B は llama.cpp --n-cpu-moe 24 で 1.24 Wh、Ollama で 1.58 Wh。どれも GPU 単体の値で、CPU は含まない。35B は expert を CPU で計算するので、実際の消費はこれより大きい

GPU 単体の値で、長い入力のとき生成1,000トークンあたり 9B が 0.95〜1.06 Wh、35B (--n-cpu-moe 24) が 1.24 Wh でした。31円/kWh なら、9B で100万トークン生成して約30円です。

35B は違います。expert の一部を CPU で計算するので、CPU を含めた実際の消費はこれより大きく、その分は測れていません。

電気代を Claude Code の料金と並べて、移すと得かを計算したのが Claude Code料金 ローカルで減るか実測 です。

ローカルLLMで足りる仕事、Claude Codeに任せる仕事 関連書籍 ローカルLLMで足りる仕事、Claude Codeに任せる仕事 依頼の96%はローカルに回せなかった。1ステップずつに下ろすと、半分が回せた 書籍ページを見る →