Rapport : un système basé sur NVIDIA P106 dépasse les 30 tokens par seconde
Un rig personnalisé avec neuf cartes NVIDIA P106 aurait atteint des performances élevées sur de grands modèles linguistiques.
Selon Guru3D, un système construit sur mesure comportant neuf cartes NVIDIA P106 a été rapporté comme délivrant plus de 30 tokens par seconde sur le modèle Qwen3.6 35B-A3B-class. Chaque carte est équipée de 6 GB de VRAM.
L’acheteur affirme que les 54 GB totaux de VRAM du rig suffisent pour exécuter un modèle quantifié à 8 bits de classe 27B et peut gérer jusqu’à environ 70 milliards de paramètres avec une quantification de 4 ou 5 bits. Malgré l’absence de Tensor Cores, les neuf cartes fonctionnaient toutes dans le système, qui ne nécessitait qu’un SSD pour être pleinement opérationnel.
Le montage rapporté est limité par des connexions PCIe 3.0 x1 entre les GPU, restreignant la bande passante inter‑GPU. Cependant, l’acheteur a noté que la forte consommation d’énergie du rig était compensée par une électricité gratuite dans leur hébergement.
L’essentiel
- - Neuf cartes NVIDIA P106 avec 6 GB de VRAM chacune
- - Plus de 30 tokens par seconde sur le modèle Qwen3.6 35B-A3B-class
- - 54 GB totaux de VRAM pour les grands modèles linguistiques
- - Connexions PCIe 3.0 x1 entre les GPU
Sources
- Guru3DRetired nine-GPU mining rig bought for $35 provides 54GB VRAM for local LLM inference