Hardware


Modelldatei

VRAM TOKEN/S RAM Offloading: bei jedem Token über den Bus
System Modellgewichte KV-Cache frei
> ollama ps
Gelesen pro Token
GB
Modelldatei
GB
Kaltstart nach Pause
s
So fühlt sich diese Geschwindigkeit an

Was der Rechner vereinfacht: 60 Prozent der theoretischen Bandbreite als Praxiswert, 2 GB Systemreserve, NVMe mit 3 GB/s für den Kaltstart, KV-Cache grob über die Modellgröße geschätzt. Echte Werte hängen von Architektur, Software und Treiber ab. Die Größenordnungen und vor allem der Einbruch beim Offloading entsprechen der Realität, die zweite Nachkommastelle nicht.