Retour à README.fr.md
GLM 5.3 Flash, le plus grand : un fichier de 79 à 114 Go, dont la plus grande part reste en RAM.
Mesuré pour PolyStrata sur une station de travail, avec une courte discussion et un prompt de 29K tokens.
| NVIDIA : RTX 5090 (32 Go), Xeon Platinum 8470Q (25 vCPU), 120 Go de RAM | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
GLM 5.3 Flash est un modèle bien plus grand que les autres, et seul un cinquième environ de ses experts tient dans les 32 Go de cette carte : il écrit donc plus lentement. Ce qui a été mesuré et comment : docs/GLM.md (en anglais).
| Carte graphique | Une carte NVIDIA GeForce RTX série 20 ou plus récente. Il n'a tourné qu'avec 32 Go de VRAM. Environ 12 Go sont pris avant le premier expert : une carte de 12 Go ne peut donc pas le démarrer. |
| RAM | À côté d'une carte de 32 Go, 96 Go ou plus pour le modèle entier, 82 Go pour sa taille à 2 bits, 60 Go pour la taille qui garde la moitié des experts. Une carte plus petite demande plus de RAM (combien). Il a tourné avec 120 Go. |
| Disque | 114 Go, 102 Go ou 79 Go pour le fichier du modèle, sur un SSD. |
| Système | Linux, et un pilote NVIDIA récent. |
L'installeur s'occupe de tout le reste. Il compile le moteur sur votre PC et propose d'installer ce qu'il faut pour cela (g++ et le CUDA Toolkit). Pas encore : les cartes AMD, deux cartes sous Windows, trois cartes ou plus, les images. Un utilisateur le fait tourner sous Windows avec une carte de 24 Go et 128 Go de RAM (rapport).
La liste complète : docs/GLM.md (en anglais).
Trois tailles pour l'instant. L'installeur prend la première pour laquelle votre RAM suffit.
| Taille | Ce que c'est | Téléchargement | RAM à côté d'une carte de 32 Go |
|---|---|---|---|
| 3.0BIT | le modèle entier, à environ 3 bits (neuralll) | 114 Go | 96 Go |
| UD-IQ2_XXS | le modèle entier, à environ 2 bits (Unsloth) : il lit un prompt plus vite et écrit plus lentement | 102 Go | 82 Go |
| REAP50-Q3_K_M | la moitié des experts routés retirée (REAP50 de patrickbdevaney) | 79 Go | 60 Go |
C'est votre carte graphique qui décide de la RAM nécessaire : les experts que la carte ne contient pas doivent rester en RAM.
| Votre carte graphique | 3.0BIT | UD-IQ2_XXS | REAP50-Q3_K_M | |
|---|---|---|---|---|
| 32 Go | 96 Go | 82 Go | 60 Go | le PC sur lequel il a tourné (120 Go de RAM) |
| 24 Go | environ 104 Go | environ 90 Go | environ 68 Go | pas encore essayé |
| 16 Go | environ 113 Go | environ 99 Go | environ 77 Go | pas encore essayé |
| 12 Go ou moins | ne démarre pas |
Les chiffres de RAM sont l'estimation de l'installeur, d'après le seul PC où il a tourné. Avec moins de RAM il démarre quand même, mais il lit des experts sur le SSD pendant qu'il répond et devient bien plus lent. L'installeur le dit et demande d'abord.
Les autres quantifications de GLM 5.3 Flash ne sont pas encore prises en charge : ce qui manque (en anglais).
Le schéma et l'explication : HOW_IT_WORKS_MODELS.fr.md.