KoboldCpp ist eine benutzerfreundliche, plattformübergreifende Inferenz-Engine auf Basis von llama.cpp mit integrierter Weboberfläche. Es ist einer der einfachsten Wege, Gemma 4 GGUF-Modelle lokal auszuführen — besonders beliebt in Communitys für kreatives Schreiben, Rollenspiel und interaktive Fiction.
Anders als Kommandozeilen-Tools bietet KoboldCpp einen grafischen Launcher und eine browserbasierte Chat-UI von Haus aus. Es unterstützt CPU, CUDA (NVIDIA), ROCm (AMD), Vulkan und Metal (Apple) Beschleunigung und läuft so auf praktisch jeder Hardware.
Holen Sie sich die neueste Version von GitHub:
Doppelklicken Sie auf KoboldCpp, um den Launcher zu öffnen. Wählen Sie Ihre GGUF-Datei, konfigurieren Sie die GPU-Layer und klicken Sie auf Launch.
Oder starten Sie aus dem Terminal mit mehr Kontrolle:
koboldcpp --model gemma-4-e4b-it-Q4_K_M.gguf --gpulayers 33 --contextsize 4096Beginnen Sie mit 4096. Erhöhen Sie für längere Konversationen. Höhere Werte verbrauchen mehr RAM.
Auf das Maximum stellen, das Ihre GPU bewältigen kann. Mehr Layer = schnellere Inferenz. 0 = nur CPU.
Für CPU-Inferenz. Lassen Sie einen Kern für den Systemoverhead frei.
Der Standardwert funktioniert gut. Erhöhen Sie für schnelleres Prompt-Processing, wenn RAM übrig ist.
KoboldCpp stellt sowohl die Kobold-API als auch eine OpenAI-kompatible API bereit. Verwendung mit SillyTavern, Agnaistic oder jedem kompatiblen Frontend:
curl http://localhost:5001/api/v1/generate \
-H "Content-Type: application/json" \
-d '{
"prompt": "Write a Python function to sort a list",
"max_length": 200,
"temperature": 0.7
}'curl http://localhost:5001/api/v1/modelKoboldCpp ist eine quelloffene, plattformübergreifende Inferenz-Engine mit integrierter Web-UI. Sie basiert auf llama.cpp und unterstützt GGUF-Modelle. Beliebt für kreatives Schreiben, Rollenspiel und lokalen KI-Chat.
Für die meisten Nutzer bietet gemma-4-e4b-it-Q4_K_M.gguf (~3GB) die beste Balance. Wenn Sie eine GPU mit 24GB+ VRAM haben, liefert das 31B Q4 Modell Flaggschiff-Qualität.
Ja. KoboldCpp ist eines der beliebtesten Backends für SillyTavern. Verbinden Sie sich über die Kobold-API unter localhost:5001 oder den OpenAI-kompatiblen Endpunkt.
Ollama ist einfacher für schnelles Setup und API-first-Nutzung. KoboldCpp glänzt mit seiner integrierten UI, erweiterten Sampler-Einstellungen und Kompatibilität mit Chat-Frontends wie SillyTavern. Wählen Sie nach Ihrem Workflow.
KoboldCpp konzentriert sich primär auf Textgenerierung. Für multimodale Funktionen (Bild-/Video-/Audio-Eingabe) verwenden Sie stattdessen Ollama oder vLLM.
Maximieren Sie das GPU-Layer-Offloading. Verwenden Sie ein quantisiertes Modell (Q4_K_M oder Q5_K_M). Aktivieren Sie CUDA/Metal/Vulkan im Launcher. Reduzieren Sie die Kontextgröße, wenn nicht benötigt.
Laden Sie KoboldCpp herunter, holen Sie eine Gemma 4 GGUF-Datei und beginnen Sie in wenigen Minuten zu chatten.