62 lines
2.4 KiB
Markdown
62 lines
2.4 KiB
Markdown
# Lokales Modell
|
|
|
|
Stand: 30.07.2026, erster Windows-Test auf dem Gaming-PC.
|
|
|
|
## Auswahl
|
|
|
|
- Laufzeit: Ollama `0.32.5`, portable Windows-Version
|
|
- Modell: `qwen3:8b`
|
|
- Format: GGUF
|
|
- Quantisierung: `Q4_K_M`
|
|
- Parameter: 8,2 Milliarden
|
|
- Kontext laut Modellmetadaten: 40.960 Token; Ollama-Testkontext: 4.096
|
|
- Downloadgröße laut lokaler Ollama-API: 5.225.388.164 Byte, ungefähr 5,2 GB
|
|
- Lizenz: Apache License 2.0
|
|
|
|
Ollama wurde gegenüber llama.cpp für diesen ersten Windows-Test gewählt, weil die
|
|
offizielle portable Laufzeit ohne Build, Installer, PATH-Änderung oder Systemdienst
|
|
eine stabile lokale HTTP-Schnittstelle bereitstellt. llama.cpp bleibt eine mögliche
|
|
spätere Alternative, falls auf schwächerer Hardware feinere Kontrolle über Kontext,
|
|
Offloading oder Quantisierung benötigt wird.
|
|
|
|
`qwen3:8b` wurde gewählt, weil die Variante unter 10 GB bleibt, vollständig in den
|
|
12-GB-VRAM der RTX 3060 passt, deutschsprachige Antworten liefert und nach dem
|
|
Download offline über localhost nutzbar ist.
|
|
|
|
## Speicherorte
|
|
|
|
- portable Laufzeit: `D:\Javis-Tools\ollama`
|
|
- Modellablage: `D:\Javis-Data\ollama-models`
|
|
- Repository: enthält weder Laufzeit noch Modell
|
|
|
|
Die Ablage wird beim Start des Dienstes über `OLLAMA_MODELS` nur für diesen Prozess
|
|
gesetzt. PATH, Registry, Autostart und Windows-Dienste wurden nicht verändert.
|
|
|
|
## Gemessener Test
|
|
|
|
Hardware: AMD Ryzen 7 9700X, 64 GB RAM, Nvidia RTX 3060 12 GB, Windows 11.
|
|
|
|
- Laufzeit-Archiv: 1.457.824.795 Byte
|
|
- verifizierte SHA-256:
|
|
`7c941ae084569d298062d29f8139163a3187c76dbca0479c70d085e78fd8c7bb`
|
|
- kalter deutscher Zweitsatz-Test: 36,19 Sekunden Wandzeit
|
|
- davon Modell-Ladezeit: 17,53 Sekunden
|
|
- Ausgabe: 49 Token mit ungefähr 7,22 Token/Sekunde
|
|
- warmer kurzer Test: 0,56 Sekunden Wandzeit
|
|
- Ausgabe: 19 Token mit ungefähr 55,51 Token/Sekunde
|
|
- GPU-Grundbelegung vor Laden: 1.418 MiB
|
|
- GPU-Belegung bei geladenem Modell/Test: 6.842 MiB
|
|
- beobachtete zusätzliche VRAM-Belegung: ungefähr 5.424 MiB
|
|
- `ollama ps`: 5,6 GB, 100 % GPU, Kontext 4.096
|
|
|
|
Die Messwerte sind Momentaufnahmen und hängen von Prompt, Kontext, bereits belegtem
|
|
VRAM und Warmzustand ab.
|
|
|
|
## Grenze
|
|
|
|
Dieses Modell ist der bestätigte erste Gaming-PC-Test, nicht automatisch das
|
|
endgültige Modell für den ASUS-Laptop mit GTX 1050 4 GB. Dort müssen später
|
|
kleineres Modell, stärkere Quantisierung, teilweises CPU-Offloading und tatsächliche
|
|
Antwortqualität separat gemessen werden. Ein Laptop-Deployment gehört nicht zu
|
|
diesem Arbeitspaket.
|