Die NVIDIA RTX 4060 mit 8GB VRAM ist eine der beliebtesten Consumer-GPUs. Zwar kann sie die größeren Gemma 4 Modelle nicht in voller Präzision ausführen, meistert aber die E2B- und E4B-Varianten hervorragend und kann sogar quantisierte Versionen größerer Modelle mit etwas Offloading ausführen.
Dieser Leitfaden behandelt, welche Gemma 4 Modelle auf der RTX 4060 funktionieren, erwartete Leistungswerte und Optimierungstipps für das beste Erlebnis.
VRAM: ~1,5 GB (INT4) / ~4 GB (FP16)
Läuft perfekt mit viel VRAM-Spielraum. Schnelle Inferenz bei allen Quantisierungsstufen.
VRAM: ~3 GB (INT4) / ~8 GB (FP16)
Das ideale Modell für die RTX 4060. INT4 lässt Raum für große Kontextfenster. FP16 passt knapp, funktioniert aber.
VRAM: ~16 GB (INT4) — überschreitet 8GB
Benötigt CPU-Offloading. ~50% der Layer auf die CPU auslagern. Nutzbar, aber deutlich langsamer als volle GPU.
VRAM: ~18 GB (INT4) — überschreitet 8GB
Selbst bei INT4 zu groß. CPU-Offloading macht es sehr langsam. Ziehen Sie stattdessen E4B oder 26B MoE in Betracht.
| Gemma 4 E2B (Q4) | ~85 t/s | ~45 t/s |
| Gemma 4 E4B (Q4) | ~55 t/s | ~30 t/s |
| Gemma 4 E4B (Q8) | ~35 t/s | ~20 t/s |
| Gemma 4 27B MoE (Q4) | ~12 t/s | ~8 t/s |
Die Leistung variiert je nach Software (Ollama, vLLM, llama.cpp), Treiberversion und Systemkonfiguration. Die Werte sind Näherungswerte für interaktive Nutzung.
Beide erkennen und nutzen Ihre RTX 4060 automatisch. Ollama ist die einfachste Option — einfach 'ollama run gemma4:e4b'.
INT4 (Q4_K_M) ist der Sweet Spot für 8GB VRAM. Bewahrt ~93-95% Qualität und lässt Platz für Kontext und KV-Cache.
Nutzen Sie 4096–8192 Kontextlänge, um im VRAM zu bleiben. Größere Kontexte verbrauchen Speicher für den KV-Cache. Nur erhöhen, wenn Sie Spielraum haben.
Stellen Sie sicher, dass Sie die neuesten NVIDIA-Treiber und das CUDA-Toolkit haben. Neuere Treiber verbessern oft die Inferenzleistung.
| RTX 4060 (8 GB) | E2B, E4B (Q4) | Best value for small models |
| RTX 4060 Ti (16 GB) | E4B (FP16), 27B MoE (Q4) | Sweet spot for most users |
| RTX 4070 (12 GB) | E4B (Q8), 27B MoE (Q4 partial) | Good mid-range option |
| RTX 4080 (16 GB) | 27B MoE (Q4), 31B (Q4 partial) | Handles larger models |
| RTX 4090 (24 GB) | All models up to 31B Q4 | Best consumer GPU |
Ja, für die E2B- und E4B-Modelle. Das E4B bei INT4-Quantisierung läuft hervorragend auf der RTX 4060 und liefert ~25 Tokens/Sekunde — mehr als schnell genug für interaktiven Chat.
Nicht praktikabel. Selbst bei INT4 benötigt das 31B-Modell ~18GB VRAM. Sie könnten CPU-Offloading nutzen, aber die Inferenz wäre sehr langsam (~2-3 Tok/s). Das E4B-Modell ist eine viel bessere Wahl für diese GPU.
Die RTX 4060 Ti (16GB) ist deutlich besser — sie kann das 26B MoE-Modell bei INT4 ausführen. Wenn Sie speziell für KI-Inferenz kaufen, lohnen sich die zusätzlichen 8GB VRAM.
Auch die Laptop-RTX-4060 hat 8GB VRAM und funktioniert genauso. Die Leistung ist aufgrund von Power-Limits etwas geringer. E4B bei INT4 läuft auch auf Laptop-Varianten gut.
Sie können, müssen aber einen deutlichen Geschwindigkeitseinbruch erwarten (5-10x langsamer für ausgelagerte Layer). Besser ist es, ein Modell zu nutzen, das komplett in den VRAM passt. Das E4B-Modell ist speziell für diese Hardwareklasse konzipiert.
16GB System-RAM reichen für das E4B-Modell. Wenn Sie CPU-Offloading mit größeren Modellen versuchen wollen, werden 32GB+ empfohlen.
Holen Sie sich das E4B-Modell und beginnen Sie zu chatten. Ein Befehl reicht.