12B〜14B級LLM5モデルガチ比較！同じサイズ帯でも速度は最大3.5倍差
きっかけ：同じ「12B〜14B」でも中身はバラバラなのでは これまで軽量モデル(3〜4B級)と27B級の比較はやってきたけど、その中間の「12B〜14B」帯はまだちゃんと横並びで見たことがなかった。ちょうどB580(VRAM 12GB)1枚にほぼ収まるサイズ帯で、実用上いちばん出番が多くなりそうなクラスでもある。 というわけで、Qwen・Gemma・Phiという主要3系統から12B〜14B級を5モデル集めて、日本語生成・翻訳・コーディングの3タスクでガチンコ比較してみた。今回はコード実行含めて全モデルきれいに動いた、という珍しい回でもある。 対象モデルとテスト内容 モデル 実体 Qwen2.5-14B qwen2.5:14b Qwen3-14B qwen3:14b Gemma3-12B gemma3:12b Gemma4-12B-Heretic igorls/gemma-4-12B-it-heretic-GGUF:Q4_K_M Phi-4-14B phi4:latest テスト項目は3つ。①「ローカルLLMを自宅PCで動かすメリット」について400字程度の日本語生成、②固定の日本語3文を英訳、③「テキストファイルから最頻出単語TOP5を表示するプログラム」を書かせて実際に実行。加えて生成速度(tokens/秒)とVRAM使用量も計測してる。 生成速度：同じ12B〜14B級でも最大3.5倍の差 今回いちばん面白かったのがこれ。パラメータ数もVRAM使用量もほぼ横並びの5モデルなのに、生成速度には最大で3.5倍もの開きが出た。 最速はGemma4-12B-Heretic(33.0〜35.1 tok/s)。次点でQwen3-14B(25.7〜27.5 tok/s)、Gemma3-12B(20.5〜21.0 tok/s)と続き、Qwen2.5-14B(9.7〜10.1 tok/s)とPhi-4-14B(9.7〜10.0 tok/s)がほぼ同水準で最も遅い。 特に注目したいのがQwen2.5-14BとQwen3-14Bの差。同じQwenファミリーで、VRAM使用量もほぼ同じ(11.2GB vs 11.4GB)なのに、Qwen3世代になっただけで速度が約2.7倍に跳ね上がっている。パラメータ数やVRAM消費だけを見ていても速度は予測できない、というのがよく分かる結果だった。 VRAM使用量：Gemma4-12B-Hereticが頭一つ省メモリ VRAM使用量は9.0GB(Gemma4-12B-Heretic)〜11.6GB(Phi-4-14B)の範囲で、5モデルとも単体のB580(12GB)に余裕を持って収まるサイズ。Gemma4-12B-Hereticは最速かつ最省メモリという、今回のテストでは文句なしの結果になった。 品質チェック：コードは全モデル一発成功、ただしPhi-4に気になる一言 コーディング課題は5モデル全てが正解(the:7, fox:7, quick:5, is:5, dog:4)を一発で出力し、実行エラーもゼロ。前回・前々回の比較記事では量子化違いやMoE版で実行時エラーが頻発していたので、今回の「素直に動く」結果はむしろ意外だった。コードの書き方自体も、正規表現での単語抽出+Counter.most_common(5)という王道パターンにほぼ揃っていて、実装力の差は感じられなかった。 翻訳も5モデルとも自然な英訳で、明確な誤訳は見当たらなかった。 一方、日本語生成の内容を読んでいて1つ気になったのがPhi-4-14Bの一節。 Phi-4-14B: 「ローカルLLM（ローカル・ランタイム・マシンラーニング）を自宅PCで動かすことには…」 LLMは"Large Language Model"の略で、「ローカル・ランタイム・マシンラーニング」ではない。文章全体の論理は破綻していないんだけど、律儀に略語の説明を加えようとして、その説明自体が誤っているという地味に厄介なパターン。読み流すと気づきにくいけど、事実確認という観点では明確な誤り。 結論 速度最優先ならGemma4-12B-Heretic — 全タスクで最速(33〜35 tok/s)、かつVRAM消費も最小(9.0GB)。今回の5モデルで総合トップ 同じ「Qwen」でも世代で速度が全然違う — Qwen2.5-14B→Qwen3-14Bで約2.7倍の高速化。「Qwenだから」で判断せず、世代までちゃんと見るべき 12B〜14B級は総じてコード生成が安定 — 5モデル全てが実行エラーなしで正解を出力。27B級のMoE版や過度な量子化で見られたクラッシュは、このクラスでは今回発生しなかった パラメータ数・VRAM使用量から速度は予測できない — Qwen2.5-14BとQwen3-14Bはスペック上ほぼ同じなのに速度は約2.7倍差。世代・実装の最適化度合いが効いている 略語の自己解説には要注意 — Phi-4-14Bが「LLM」を誤った日本語で展開する場面があった。文章の流暢さと事実の正確さは別物 体感として、12B〜14B級は「重すぎず軽すぎず」の実用サイズであると同時に、モデル間の実装差がいちばん速度に出やすい帯域でもあるという発見があった。次はこのクラスの中で、コンテキスト長を伸ばした際の速度劣化度合いも比較してみたい。