8GB VRAM を持つ NVIDIA RTX 4060 は、最も人気のあるコンシューマー GPU の一つです。Gemma 4 の大規模モデルをフル精度で実行することはできませんが、E2B と E4B バリエーションを非常によく処理し、オフロードを使えば大規模モデルの量子化バージョンも実行できます。
このガイドでは、RTX 4060 で動作する Gemma 4 モデル、期待される性能、最高の体験を得るための最適化のヒントを取り上げます。
VRAM: 約 1.5 GB（INT4）／約 4 GB（FP16）
VRAM に十分余裕を残して完璧に動作します。すべての量子化レベルで高速な推論。
VRAM: 約 3 GB（INT4）／約 8 GB（FP16）
RTX 4060 に最適なモデル。INT4 は大きなコンテキストウィンドウのための余裕を残します。FP16 はぎりぎり収まりますが動作します。
VRAM: 約 16 GB（INT4） — 8GB を超えます
CPU オフロードが必要です。レイヤーの約 50% を CPU にオフロードします。利用可能ですが、完全な GPU よりも大幅に遅くなります。
VRAM: 約 18 GB（INT4） — 8GB を超えます
INT4 でも大きすぎます。CPU オフロードは非常に遅くなります。代わりに E4B または 26B MoE を検討してください。
| Gemma 4 E2B (Q4) | ~85 t/s | ~45 t/s |
| Gemma 4 E4B (Q4) | ~55 t/s | ~30 t/s |
| Gemma 4 E4B (Q8) | ~35 t/s | ~20 t/s |
| Gemma 4 27B MoE (Q4) | ~12 t/s | ~8 t/s |
パフォーマンスはソフトウェア（Ollama、vLLM、llama.cpp）、ドライババージョン、システム構成によって異なります。数値はインタラクティブな利用の概算です。
どちらも RTX 4060 を自動検出して利用します。Ollama が最もシンプルな選択肢です — 'ollama run gemma4:e4b' だけです。
INT4（Q4_K_M）は 8GB VRAM に最適です。品質の約 93〜95% を維持しながら、コンテキストと KV キャッシュの余裕を残します。
4096〜8192 のコンテキスト長を使用して VRAM 内に収めてください。より大きなコンテキストは KV キャッシュのメモリを消費します。余裕があるときだけ増やしてください。
最新の NVIDIA ドライバと CUDA ツールキットを使用していることを確認してください。新しいドライバはしばしば推論性能を向上させます。
| RTX 4060 (8 GB) | E2B, E4B (Q4) | Best value for small models |
| RTX 4060 Ti (16 GB) | E4B (FP16), 27B MoE (Q4) | Sweet spot for most users |
| RTX 4070 (12 GB) | E4B (Q8), 27B MoE (Q4 partial) | Good mid-range option |
| RTX 4080 (16 GB) | 27B MoE (Q4), 31B (Q4 partial) | Handles larger models |
| RTX 4090 (24 GB) | All models up to 31B Q4 | Best consumer GPU |
はい、E2B と E4B モデルには十分です。INT4 量子化の E4B は RTX 4060 で約 25 トークン/秒で非常によく動作し、インタラクティブチャットには十分以上の速度です。
現実的には難しいです。INT4 でも 31B モデルは約 18GB の VRAM が必要です。CPU オフロードを使用することはできますが、推論は非常に遅くなります（約 2〜3 tok/s）。この GPU には E4B モデルがはるかに良い選択です。
RTX 4060 Ti（16GB）の方が大幅に優れています — 26B MoE モデルを INT4 で実行できます。特に AI 推論のために購入する場合、追加の 8GB VRAM は価格差に見合います。
ノートPC版 RTX 4060 も 8GB VRAM を持ち、同じように動作します。電力制限のため性能はわずかに低くなります。E4B を INT4 で実行するのはノートPC版でもうまく動きます。
使用することはできますが、大幅な速度低下（オフロードされたレイヤーで 5〜10 倍遅い）を覚悟してください。VRAM に完全に収まるモデルを使用する方が良いです。E4B モデルはこのハードウェア層向けに特別に設計されています。
16GB のシステム RAM が E4B モデルには十分です。大きなモデルで CPU オフロードを試したい場合は 32GB 以上が推奨されます。