Informe: Sistema basado en NVIDIA P106 supera los 30 tokens por segundo
Un rig personalizado con nueve tarjetas NVIDIA P106 supuestamente logra un alto rendimiento en modelos de lenguaje grande.
Según Guru3D, un sistema construido a medida que incluye nueve tarjetas NVIDIA P106 ha sido reportado como capaz de entregar más de 30 tokens por segundo en el modelo Qwen3.6 35B-A3B-class. Cada tarjeta cuenta con 6 GB de VRAM.
El comprador afirma que los 54 GB totales de VRAM del rig son suficientes para ejecutar un modelo cuantizado a 8 bits de clase 27B y puede manejar hasta aproximadamente 70 mil millones de parámetros con cuantización de 4 o 5 bits. A pesar de carecer de Tensor Cores, las nueve tarjetas funcionaron en el sistema, que solo requería una SSD para operar plenamente.
El montaje reportado está limitado por conexiones PCIe 3.0 x1 entre los GPUs, restringiendo el ancho de banda inter-GPU. Sin embargo, el comprador señaló que el alto consumo de energía del rig se compensa con electricidad gratuita en su alojamiento.
Datos clave
- - Nueve tarjetas NVIDIA P106 con 6 GB de VRAM cada una
- - Más de 30 tokens por segundo en modelo Qwen3.6 35B-A3B-class
- - 54 GB totales de VRAM para modelos de lenguaje grande
- - Conexiones PCIe 3.0 x1 entre GPUs
Fuentes
- Guru3DRetired nine-GPU mining rig bought for $35 provides 54GB VRAM for local LLM inference