Deployment-Leitfaden
Gemma 4 lokal auf Ihrer eigenen Hardware betreiben. Mehrere Bereitstellungsoptionen, von Ein-Klick-Installern bis hin zu produktionsreifen Serving-Frameworks.
Ollama
Der einfachste Weg, Gemma 4 lokal auszuführen. Ein Befehl zum Herunterladen und Bereitstellen jeder Variante mit automatischer Hardwareoptimierung.
Ollama installieren
curl -fsSL https://ollama.com/install.sh | shModell ausführen
# Gemma 4 31B (Dense) - 最强性能
ollama run gemma4:31b
# Gemma 4 26B (MoE) - 效率优先
ollama run gemma4:26b
# Gemma 4 E4B - 移动/轻量
ollama run gemma4:e4b
# Gemma 4 E2B - 边缘设备
ollama run gemma4:e2bLM Studio
Desktop-Anwendung mit visueller Oberfläche zum Herunterladen, Konfigurieren und Chatten mit Gemma 4 Modellen. Ideal für Einsteiger.
- Download LM Studio from lmstudio.ai
- Search for "Gemma 4" in the model browser
- Select a quantized version matching your VRAM
- Click Download and wait for completion
- Start chatting in the built-in interface
vLLM
Produktions-Serving-Engine mit hohem Durchsatz, PagedAttention, Continuous Batching und OpenAI-kompatiblen API-Endpunkten.
pip install vllm
vllm serve google/gemma-4-31b --max-model-len 32768llama.cpp
Optimierte C++-Inferenz-Engine mit Unterstützung für GGUF-quantisierte Modelle. Gemma 4 auf CPU oder gemischten CPU/GPU-Konfigurationen ausführen.
# Build llama.cpp
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build
# Run with GGUF model
./build/bin/llama-cli -m gemma-4-31b-Q4_K_M.gguf -p "Hello"MLX
Apple-Silicon-natives Framework von Apple. Optimiert für M-Serie-Chips mit Unified Memory und hervorragender Leistung auf Mac-Hardware.
pip install mlx-lm
mlx_lm.generate --model google/gemma-4-31b --prompt "Hello"VRAM-Anforderungen
Geschätzter VRAM-Verbrauch pro Modellvariante auf verschiedenen Quantisierungsstufen.
| Model | BF16 | INT8 | INT4 |
|---|---|---|---|
| E2B | 4 GB | 2.5 GB | 1.5 GB |
| E4B | 8 GB | 5 GB | 3 GB |
| 26B MoE | 52 GB | 28 GB | 16 GB |
| 31B Dense | 62 GB | 33 GB | 18 GB |
Modelle herunterladen
Gemma 4 Modellgewichte von offiziellen Quellen beziehen.