README.ja.md に戻る
Gemma 4 26B-A4B:ファイルは 11〜17 GB。画像も読めます。
Qwen3.6-35B-A3B と同じ方法、同じ 2 台の PC で測りました。
| NVIDIA:RTX 4070 Laptop(8 GB)、Core i7-14700HX、RAM 32 GB | NVIDIA: RTX 5090 (32 GB), Xeon Platinum 8470Q (25 vCPU), 120 GB RAM | |||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
10,000 トークンのプロンプトは、ノート PC で毎秒 2,130 トークン、ワークステーションで毎秒 6,800 トークンで読みます。QAT-UD-Q4_K_XL はあとから v0.1.45-poly.4 のエンジンで測りました。同じエンジンで並べて測った UD-Q4_K_M は、書き出し毎秒 333-353 トークン、読み込み毎秒 8,510-8,570 トークンでした。ノート PC では、ほかのプログラムを開いたまま RAM に余裕がない状態で UD-Q4_K_M と交互に測りました。チャットの書き出しは毎秒 50-62 トークン(UD-Q4_K_M は 47-48)、長いプロンプトの読み込みは毎秒 1,680-1,730 トークン(同 1,660-1,670)、その後の書き出しは毎秒 65-68 トークン(同 48-49)でした。
| グラフィックカード | NVIDIA GeForce RTX 20 シリーズ以降のカード 1 枚、VRAM 8 GB 以上。エキスパートを載せる前に約 6 GB を使います。動かしたのは 32 GB のカード、そのカードを 8 GB に制限した状態、ノート PC の 8 GB のカードです。 AMD のカードでは、Linux と Windows でベータとして動きます。セットアップがこの PC でエンジンをコンパイルします。ユーザーが Linux の RX 6700 XT(12 GB)で Gemma 4 を動かしています。 |
| RAM | 8 GB のカードと組み合わせる場合、4 つのサイズで約 15、18、19、21 GB(インストーラーの見積もり)。同じ見積もりでは、16 GB のカードなら、小さいほうの 2 サイズと QAT ファイルはモデル全体が載ります。4 つのサイズはどれも、RAM 32 GB のノート PC で動きました。 |
| ディスク | モデルファイルとそのドラフトモデルに 11、13、15、17 GB のいずれか。画像を読ませるならさらに 1 GB。 |
| OS | Linux または Windows 10 / 11 と、最新の NVIDIA ドライバー。 |
ほかはすべてインストーラーが用意します。GLM 5.3 Flash と同じです。
Windows では最新リリースからビルド済みのエンジンをダウンロードします。
AVX2 のない CPU と、そのリリースのあとでエンジンが変わったコピーでは、代わりに Visual Studio の 2022 コンパイラーと
CUDA ツールキットでコンパイルし、足りなければインストールするか尋ねます。未対応:Windows での 2 枚、3 枚以上。Windows の AMD のカードでは、セットアップが Linux と同じように strata-poly をコンパイルします(AMD の TheRock ホイールを .rocm-win に)。そこでの実行は新しいものだという警告が出ます(AMD_HIP.md)。
いまのところ 4 サイズです。インストーラーは UD-Q3_K_M を選び、RAM が足りない PC では UD-Q2_K_XL を選びます。ほかの 2 つは名前で指定します(--model UD-Q4_K_M、--model QAT-UD-Q4_K_XL)。
| サイズ | 内容 | ダウンロード | 8 GB のカードと組む場合の RAM |
|---|---|---|---|
| UD-Q3_K_M | モデル全体、エキスパートは 3 ビット(Unsloth)。Google がこのモデル用に出しているドラフトモデルも付きます | 13 GB | 約 18 GB |
| UD-Q2_K_XL | 同じモデル、エキスパートは 2 ビット。必要な RAM が最も少ない | 11 GB | 約 15 GB |
| UD-Q4_K_M | 同じモデル、エキスパートは 4 ビットと 5 ビット | 17 GB | 約 21 GB |
| QAT-UD-Q4_K_XL | Google の量子化を考慮した学習(QAT)による重み、4 ビット(Unsloth)、専用のドラフトモデル付き | 15 GB | 約 19 GB |
カードが大きいほどモデルを多く載せられ、必要な RAM は減ります。UD-Q3_K_M を 12 GB のカードと組む場合は約 14 GB、カードにすべて載れば 10 GB です。 これらはインストーラーの見積もりで、そのような PC では確かめていません。