Skip to content

Latest commit

 

History

History
65 lines (46 loc) · 5.31 KB

gemma4.ja.md

File metadata and controls

65 lines (46 loc) · 5.31 KB

Gemma 4 26B-A4B

README.ja.md に戻る

Gemma 4 26B-A4B:ファイルは 11〜17 GB。画像も読めます。

どのくらい速い?

Qwen3.6-35B-A3B と同じ方法、同じ 2 台の PC で測りました。

NVIDIA:RTX 4070 Laptop(8 GB)、Core i7-14700HX、RAM 32 GBNVIDIA: RTX 5090 (32 GB), Xeon Platinum 8470Q (25 vCPU), 120 GB RAM
サイズ 回答の書き出し プロンプトの読み込み
UD-Q3_K_M 92-93 tokens/s 2,240 tokens/s
UD-Q2_K_XL 101-104 tokens/s 2,150-2,160 tokens/s
UD-Q4_K_M 85 tokens/s 2,150 tokens/s
サイズ 回答の書き出し プロンプトの読み込み
UD-Q3_K_M 353-356 tokens/s 8,420-8,480 tokens/s
UD-Q2_K_XL 332-338 tokens/s 7,940-7,970 tokens/s
UD-Q4_K_M 335-346 tokens/s 8,320-8,390 tokens/s
QAT-UD-Q4_K_XL 356-371 tokens/s 8,460-8,680 tokens/s

10,000 トークンのプロンプトは、ノート PC で毎秒 2,130 トークン、ワークステーションで毎秒 6,800 トークンで読みます。QAT-UD-Q4_K_XL はあとから v0.1.45-poly.4 のエンジンで測りました。同じエンジンで並べて測った UD-Q4_K_M は、書き出し毎秒 333-353 トークン、読み込み毎秒 8,510-8,570 トークンでした。ノート PC では、ほかのプログラムを開いたまま RAM に余裕がない状態で UD-Q4_K_M と交互に測りました。チャットの書き出しは毎秒 50-62 トークン(UD-Q4_K_M は 47-48)、長いプロンプトの読み込みは毎秒 1,680-1,730 トークン(同 1,660-1,670)、その後の書き出しは毎秒 65-68 トークン(同 48-49)でした。

必要なもの

グラフィックカード NVIDIA GeForce RTX 20 シリーズ以降のカード 1 枚、VRAM 8 GB 以上。エキスパートを載せる前に約 6 GB を使います。動かしたのは 32 GB のカード、そのカードを 8 GB に制限した状態、ノート PC の 8 GB のカードです。 AMD のカードでは、Linux と Windows でベータとして動きます。セットアップがこの PC でエンジンをコンパイルします。ユーザーが Linux の RX 6700 XT(12 GB)で Gemma 4 を動かしています。
RAM 8 GB のカードと組み合わせる場合、4 つのサイズで約 15、18、19、21 GB(インストーラーの見積もり)。同じ見積もりでは、16 GB のカードなら、小さいほうの 2 サイズと QAT ファイルはモデル全体が載ります。4 つのサイズはどれも、RAM 32 GB のノート PC で動きました。
ディスク モデルファイルとそのドラフトモデルに 11、13、15、17 GB のいずれか。画像を読ませるならさらに 1 GB。
OS Linux または Windows 10 / 11 と、最新の NVIDIA ドライバー。

ほかはすべてインストーラーが用意します。GLM 5.3 Flash と同じです。 Windows では最新リリースからビルド済みのエンジンをダウンロードします。 AVX2 のない CPU と、そのリリースのあとでエンジンが変わったコピーでは、代わりに Visual Studio の 2022 コンパイラーと CUDA ツールキットでコンパイルし、足りなければインストールするか尋ねます。未対応:Windows での 2 枚、3 枚以上。Windows の AMD のカードでは、セットアップが Linux と同じように strata-poly をコンパイルします(AMD の TheRock ホイールを .rocm-win に)。そこでの実行は新しいものだという警告が出ます(AMD_HIP.md)。

どのモデルを選べばいい

いまのところ 4 サイズです。インストーラーは UD-Q3_K_M を選び、RAM が足りない PC では UD-Q2_K_XL を選びます。ほかの 2 つは名前で指定します(--model UD-Q4_K_M、--model QAT-UD-Q4_K_XL)。

サイズ 内容 ダウンロード 8 GB のカードと組む場合の RAM
UD-Q3_K_M モデル全体、エキスパートは 3 ビット(Unsloth)。Google がこのモデル用に出しているドラフトモデルも付きます 13 GB 約 18 GB
UD-Q2_K_XL 同じモデル、エキスパートは 2 ビット。必要な RAM が最も少ない 11 GB 約 15 GB
UD-Q4_K_M 同じモデル、エキスパートは 4 ビットと 5 ビット 17 GB 約 21 GB
QAT-UD-Q4_K_XL Google の量子化を考慮した学習(QAT)による重み、4 ビット(Unsloth)、専用のドラフトモデル付き 15 GB 約 19 GB

カードが大きいほどモデルを多く載せられ、必要な RAM は減ります。UD-Q3_K_M を 12 GB のカードと組む場合は約 14 GB、カードにすべて載れば 10 GB です。 これらはインストーラーの見積もりで、そのような PC では確かめていません。

しくみ

図と説明:HOW_IT_WORKS_MODELS.ja.md。