Bericht: NVIDIA P106-basiertes System erzielt über 30 Tokens pro Sekunde
Ein maßgeschneidertes Rig mit neun NVIDIA P106-Karten soll hohe Leistungen bei großen Sprachmodellen erzielen.
Laut Guru3D hat ein kundenspezifisch gebautes System, das neun NVIDIA P106-Karten enthält, über 30 Tokens pro Sekunde auf dem Qwen3.6 35B-A3B‑Modell erreicht. Jede Karte ist mit 6 GB VRAM ausgestattet.
Der Käufer behauptet, dass die Gesamtmenge von 54 GB VRAM ausreichend sei, um ein 8‑Bit-quantisiertes 27B‑Modell auszuführen und bis zu etwa 70 Milliarden Parameter mit 4‑ oder 5‑Bit-Quantisierung zu verarbeiten. Trotz fehlender Tensor Cores waren alle neun Karten im System funktionsfähig; es erforderte lediglich eine SSD, um voll betriebsbereit zu sein.
Die gemeldete Konfiguration ist durch PCIe 3.0 x1-Verbindungen zwischen den GPUs eingeschränkt, was die Inter‑GPU-Bandbreite begrenzt. Der Käufer wies jedoch darauf hin, dass der hohe Stromverbrauch des Rigs durch kostenlose Stromversorgung in ihrer Unterkunft ausgeglichen wird.
Die wichtigsten Fakten
- - Neun NVIDIA P106-Karten mit jeweils 6 GB VRAM
- - Über 30 Tokens pro Sekunde auf dem Qwen3.6 35B-A3B‑Modell
- - 54 GB Gesamt-VRAM für große Sprachmodelle
- - PCIe 3.0 x1-Verbindungen zwischen den GPUs
Quellen
- Guru3DRetired nine-GPU mining rig bought for $35 provides 54GB VRAM for local LLM inference