Retour à README.fr.md
MiniCPM-V 4.7 35B-A3B d'OpenBMB, avec l'architecture de Qwen3.6-35B-A3B et ses propres poids, fait pour lire les images : un fichier de 16 à 29 Go.
Mesuré comme Qwen3.6-35B-A3B, sur les deux mêmes PC. Son fichier n'a pas de bloc brouillon : il écrit un token à la fois.
| NVIDIA : RTX 4070 Laptop (8 Go), Core i7-14700HX, 32 Go de RAM | NVIDIA : RTX 5090 (32 Go), Xeon Platinum 8470Q (25 vCPU), 120 Go de RAM | ||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
Un prompt de 10,000 tokens est lu à 1,260 tokens/s sur le portable et à 8,790 sur la station de travail. Sur le portable, Q6_K remplit les 32 Go de RAM, c'est ce qui le ralentit là.
| Carte graphique | Une carte NVIDIA GeForce RTX série 20 ou plus récente avec 8 Go de VRAM ou plus. Environ 3.5 Go sont pris avant le premier expert. Il a tourné sur une carte de 32 Go et sur la carte de 8 Go d'un portable. Sur une carte AMD, il tourne aussi, en bêta, sous Linux et sous Windows : l'installateur compile le moteur sur votre PC ; il a tourné sur une RX 7600. |
| RAM | Environ 19, 25 ou 31 Go à côté d'une carte de 8 Go pour les trois tailles, d'après l'estimation de l'installeur. Une carte de 32 Go contient en entier les trois tailles. Les trois tailles ont tourné sur un portable de 32 Go. |
| Disque | 16, 21 ou 29 Go pour le fichier du modèle, 1 Go de plus pour lire les images. |
| Système | Linux ou Windows 10 / 11, et un pilote NVIDIA récent. |
L'installeur s'occupe de tout le reste, comme pour GLM 5.3 Flash. Sous Windows, il télécharge le moteur déjà compilé
de la dernière version publiée. Sur un processeur sans AVX2, ou dans une copie dont le moteur a changé depuis cette
version, il le compile à la place avec le compilateur 2022 de Visual Studio et le CUDA Toolkit, et propose de les
installer. Pas encore : deux cartes sous Windows, trois cartes ou plus. Sur une carte AMD sous Windows, l'installeur
compile strata-poly pour la carte comme sous Linux (les wheels TheRock d'AMD dans .rocm-win) et prévient que l'y
faire tourner est nouveau (AMD_HIP.md).
Trois tailles pour l'instant, d'OpenBMB. L'installeur prend Q4_K_M, ou mix_q3gud_im sur un PC qui a moins de RAM. Q6_K se choisit par son nom : --model Q6_K.
| Taille | Ce que c'est | Téléchargement | RAM à côté d'une carte de 8 Go |
|---|---|---|---|
| Q4_K_M | le modèle entier avec des experts à 4 bits (OpenBMB) | 21 Go | environ 25 Go |
| mix_q3gud_im | le même avec des experts à 3 et 4 bits : celui qui demande le moins de RAM | 16 Go | environ 19 Go |
| Q6_K | le même avec des experts à 6 bits | 29 Go | environ 31 Go |
Le schéma et l'explication : HOW_IT_WORKS_MODELS.fr.md.