Raport: system oparty na NVIDIA P106 osiąga ponad 30 tokenów na sekundę
Zestaw zbudowany na własną rękę, zawierający dziewięć kart NVIDIA P106, rzekomo uzyskuje wysoką wydajność przy dużych modelach językowych.
Według Guru3D, system zbudowany na zamówienie, wyposażony w dziewięć kart NVIDIA P106, ma zapewniać ponad 30 tokenów na sekundę przy modelu klasy Qwen3.6 35B-A3B. Każda karta posiada 6 GB VRAM.
Kupujący twierdzi, że całkowita pojemność 54 GB VRAM jest wystarczająca do uruchomienia kwantowanego 8‑bitowego modelu klasy 27B i może obsłużyć około 70 miliardów parametrów przy kwantyzacji 4‑ lub 5‑bitowej. Pomimo braku Tensor Cores, wszystkie dziewięć kart działało w systemie, który wymagał jedynie SSD do pełnego uruchomienia.
Zgłoszony zestaw jest ograniczony przez połączenia PCIe 3.0 x1 pomiędzy GPU, co ogranicza przepustowość międzykarty. Kupujący zauważył jednak, że wysoki pobór mocy zestawu jest zrównoważony darmowym prądem w ich zakwaterowaniu.
Najważniejsze fakty
- - Dziewięć kart NVIDIA P106 z 6 GB VRAM każda
- - Ponad 30 tokenów na sekundę przy modelu klasy Qwen3.6 35B-A3B
- - 54 GB całkowitej VRAM dla dużych modeli językowych
- - Połączenia PCIe 3.0 x1 pomiędzy GPU
Źródła
- Guru3DRetired nine-GPU mining rig bought for $35 provides 54GB VRAM for local LLM inference