[wip][nv] k3 b200 dcp8 - #2618
Conversation
中文：添加 B200 Kimi K3 AgentX 延迟、均衡吞吐、GPU 常驻高并发和 CPU KV 卸载配置，并通过 srt-slurm 启动多节点聚合式推理。
中文：绕过 B200 上不受支持的自定义集合通信，避免 TP16 在权重加载前停滞。
中文：修正 B200 DEP 启动参数、KV 事件发布、GPU 计数与 CPU DRAM 预算，并禁用跨节点不受支持的 FlashInfer 集合通信。
中文：为跨节点 TP16 和 TEP16 强制使用 PyNCCL，跳过会在 B200 集群上停滞的 MNNVL 自定义集合通信初始化。
中文：为跨节点 TP16 和 TEP16 禁用 Kimi K3 LatentMoE tail fusion，避免 torch symmetric memory 无法跨节点传递文件描述符。
中文：为跨节点 TP16 和 TEP16 禁用 allreduce/RMS fusion，避免 profile_run 再次选择不受支持的 FlashInfer MNNVL 工作区。
中文：改用可运行的 B200 TP8 x PP2 配置，并移除无法启动的跨节点 TP16、TEP16 和 DEP16 配置。
中文：DSpark 草稿模型不支持流水线并行，因此改回无 PP 的 TP16 配置，并保留 GPU 与 CPU KV 容量档位。
中文：将 main 合并到 B200 分支
中文：使用新版 Kimi nightly 镜像测试 B200
中文：禁用 Kimi 跨节点融合 latent-MoE 尾部路径，改用可移植的 PyNCCL 通信。
中文：强制 Kimi 跨节点 latent-MoE 使用可移植的 PyNCCL 通信路径。
中文：在两个 B200 配方中安装 Kimi 兼容性启动脚本。
中文：跳过跨节点 B200 不支持的 Kimi FlashInfer 对称内存工作区探测。
中文：强制 Kimi 跨节点通信使用 PyNCCL 可移植路径。
中文：补齐 Kimi 基准测试变更日志条目的末尾换行。
中文：移除 TP16 方案不再使用的 DEP 计数逻辑与测试，保持 PR 范围聚焦。
中文：将 DRAM 预留比例调整为 0.63，使每节点 1,889 GB 的资源预留覆盖每个 TP rank 220 GiB 的 KV 卸载池。
中文：移除已不适用于当前 TP16 方案的 DEP 启动器注释。
中文：并发 64 预检因 TTFT 指标覆盖率仅为 97.6% 而失败。将 DRAM 卸载容量档上限调整为待验证的并发 48。
中文：并发 64 预检已被工作流接受并上传完整聚合结果，保留该 DRAM 卸载容量端点以刻画饱和区间。
中文：合并 main 并解决冲突
中文：合并 main 后保留性能变更日志末尾换行
中文：合并最新 main，按追加规则保留 B200 Kimi K3 基准测试变更日志，并复用已通过的完整扫描结果。
中文：B200 改用上游 TP16+EP16 Kimi K3 推理路径，移除本地 vLLM 补丁，并为 GPU 常驻和 DRAM 卸载配置加入真实 block 验证评估。
中文：B200 双节点 TEP 配置改用上游 eager 模式，避免 CUDA graph capture 探测不可用的跨节点 MNNVL workspace。
中文：B200 双节点拓扑改为节点内 TP8、跨节点 DP2/EP16，使用上游 vLLM 原生路径并避免跨节点 FlashInfer MNNVL workspace。
中文：合并 main 并将 B200 Kimi K3 基准测试条目重新追加到 perf-changelog.yaml 末尾。
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930157551 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930245322 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930356749 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930627976 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930693552 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31930784480 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31958394163 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31959181378 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31960873347 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31961897798 |
# Conflicts: # perf-changelog.yaml
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31964468321 |
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31965684290 |
# Conflicts: # perf-changelog.yaml
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31967063293 |
1 similar comment
|
see unofficial run visualizer at https://inferencex.semianalysis.com/inference?unofficialRun=31967063293 |
# Conflicts: # perf-changelog.yaml
3 participants
No description provided.