RTX 4070でQwen 35Bを2.8倍速くする
家庭用GPU1枚で測ったローカルLLM実測ノート
ローカルLLM 高速化 · Qwen 35B · RTX 4070 · --cpu-moe で 12.2→34.6 tok/s の勝ち構成
ローカルLLMシリーズの【高速化・計測編】家庭用GPUで35Bを働かせる側
Zenn累計32,000+ views · 4言語で30冊以上出版 · Kindle 6カ国で販売中
本書の概要
12GBのRTX 4070でQwen3.5/3.6-35B-A3Bを34.6 tok/sで動かすまでの全工程を、著者が1枚のGPUで自ら測った数字だけで書いた実践書。`--cpu-moe` の勝ち構成、KVキャッシュ量子化での文脈8倍化、標準7問の品質検証、3.5と3.6の世代差、claw-code/Qwen Code CLI でのエージェント化まで。第10章まで + 序章 + 付録。序章・第1章・第2章は無料公開。
この本でできるようになること
- Ollama自動設定の12.2 tok/sを、`--cpu-moe` を含む勝ち構成で34.6 tok/s(2.8倍)まで引き上げられる
- KVキャッシュのq8_0量子化で、同じVRAMのまま文脈長を4096→32768に伸ばせる
- 標準7問セットで「速くしても賢さが落ちていない」ことを自分で検証できる
- Qwen3.5と3.6の世代差が、速度でなくどこに出るのかを実測で見分けられる
- claw-code / Qwen Code CLI にローカル35Bをつないで、コーディングエージェントとして働かせられる
対象読者
- 【中級者】ローカルLLMは動かしたが、Ollama自動設定の遅さで頭打ちになっている人
- 【自作PC派】RTX 4070/4070Ti/4070Ti Super等12GBクラスのGPUで35Bを試したい人
- 【llama.cpp派】`-ngl 99 --cpu-moe` の意味と数値効果を、自分の目で確かめたい人
- 【エージェント開発者】ローカルモデルをclaw-codeやQwen Code CLIの頭脳に据えたい人
- 【計測に慎重な人】借り物のベンチマークではなく、自分のGPU上の実測値で判断したい人
- 【コスト志向】クラウドAPI課金を止め、手元で無制限に試したい人
この本で解決できる悩み
- Ollama自動設定で回すと35Bが遅くて、実用ラインに載らない
- `--cpu-moe` を有効化すべきか、GPUに全部載せるべきか、直感が働かない
- 12GBのVRAMで、コンテキスト長をどこまで伸ばせるのか分からない
- 速くするフラグを入れると品質が落ちるのでは、と怖くて踏み切れない
- Qwen3.5と3.6のどちらを使うか、公式の比較表からは決められない
- ローカルモデルをコーディングエージェントに据えると、tool callが空振りしがち
この本の立ち位置
- 実測寄り (借り物のベンチマークを一切引用しない、著者のRTX 4070 1枚での自測)
- 家庭用GPU特化 (データセンターGPU・複数枚構成は扱わない)
- 中級者向け (インストール手順は付録に薄く、勝ち構成の理屈と検証が本題)
- 縦深型 (速度→品質→世代差→エージェント化まで、1つのGPUで縦に掘る)
なぜこの本か
- 全ての数字が著者のRTX 4070 1枚の実測。公式リリースノートの数値を引用しない
- 「なぜ速いのか」の理屈(MoE、`--cpu-moe`、帯域律速)を、数字で裏付けながら説明
- 『自分の数字も疑う』章(第4章)を独立させ、VRAMを別プロセスが握っていた失敗も公開
- Qwen3.5と3.6の世代差検証は、速度が同じレンジであることを見せた上で、どこに差が出るかまで踏み込む
- claw-code(Rust製)とQwen Code CLI(Gemini CLIフォーク)の自走度を、同じローカル35Bで比較
他のAI本との違い
| 比較対象 | 本書の違い |
|---|---|
| Qwen公式リリースノート | 公式はデータセンターGPUでのベンチが中心。本書は家庭用RTX 4070 1枚での実測に絞り、家庭用GPUで再現できる数字だけを扱う |
| llama.cpp公式README | READMEはフラグの網羅解説。本書は`-ngl 99 --cpu-moe`が勝ち構成である理由と、数字上の効き幅を実測で示す |
| Ollamaチュートリアル記事 | Ollamaは動かすところまで。本書はOllama自動設定の12.2 tok/sから2.8倍に引き上げる、その先を扱う |
目次
- 01 はじめに 無料公開
- 02 序章 借り物のベンチマークは、あなたのGPUを知らない 無料公開
- 03 第1章 なぜ4070でローカル35Bか 無料公開
- 04 第2章 勝ち構成 --cpu-moe で2.8倍 無料公開
- 05 第3章 メモリと文脈をやりくりする
- 06 第4章 計測の作法。数字を出す前に
- 07 第5章 速くて賢いか
- 08 第6章 世代を測る 3.5 vs 3.6
- 09 第7章 名作プログラムで見る世代差
- 10 第8章 ローカルQwenをエージェントに
- 11 第9章 2エージェントCLI比較。自走度の限界を測る
- 12 第10章 Qwen Codeを使いこなす
- 13 終章
- 14 付録 セットアップ
- 15 あとがき
- 16 参考文献
- 17 著者について
- 18 奥付
12GBのVRAMに、35Bは載らない。少し前の常識ではそう言われていました。けれど私のRTX 4070は、いま手元でQwen3.5-35B-A3Bを34.6 tok/sで動かしています。Ollama自動設定の12.2 tok/sから、フラグを2つ変えるだけで2.8倍にした数字です。
本書は、そこに至るまでを、すべて私自身が自分のRTX 4070 1枚で測った数字だけで書いた実践書です。借りてきたベンチマークは1本も入っていません。
速く動かし(第1部)、賢さが落ちていないかを検証し(第2部)、コーディングエージェントとして働かせる(第3部)まで、家庭用GPU1枚で縦に掘ります。裏テーマは「自分の数字を疑う」です。だから品質検証や世代比較に入る前に、計測そのものを疑う章(第4章)を挟みました。
「借り物の数字は速いが、あなたのGPUを知らない。」
シリーズ・関連書籍
関連記事で深掘りする
Zennで購入する
Zennで全文公開
Zennで読む (¥1,200) トピック: ローカルLLMQwenRTX 4070llama.cppMoE