Skip to content

index.rst

Latest commit

 

History

History
687 lines (592 loc) · 45 KB

index.rst

File metadata and controls

687 lines (592 loc) · 45 KB
Raw

昇腾开源文档中心

:root { --ascend-blue: #0066cc; /* 与导航栏颜色严格一致 */ --text-main: #0066cc; --text-sub: #6e6e73; --border-color: #e1e4e8; } /* ：颜色对齐 */ .hero-banner { background-color: var(--ascend-blue); color: white; padding: 50px 30px; border-radius: 12px; text-align: center; margin-bottom: 40px; } .hero-banner h1 { color: white !important; border: none !important; margin: 0 !important; font-size: 2.6rem !important; font-weight: 700 !important; } .hero-btn { display: inline-block; background: white; color: var(--ascend-blue); padding: 12px 35px; border-radius: 6px; text-decoration: none; font-weight: bold; margin-top: 25px; transition: 0.3s ease; } .hero-btn:hover { transform: translateY(-3px); box-shadow: 0 5px 15px rgba(0,0,0,0.3); } /* 分类标题样式 */ .scene-header { border-left: 5px solid var(--ascend-blue); padding-left: 15px; margin: 40px 0 25px 0; font-size: 1.6rem; font-weight: bold; color: var(--text-main); } /* 项目网格布局 */ .grid-container { display: grid; grid-template-columns: repeat(auto-fill, minmax(360px, 1fr)); gap: 20px; margin-bottom: 50px; } /* 卡片美化 */ .project-card { border: 1px solid var(--border-color); border-radius: 12px; padding: 24px; background: #fff; transition: all 0.3s ease; display: flex; flex-direction: column; height: 100%; } .project-card:hover { transform: translateY(-5px); box-shadow: 0 10px 30px rgba(0,102,204,0.12); border-color: var(--ascend-blue); } /* 卡片顶部：logo和标题在卡片中居中显示 */ .card-top { display: grid; grid-template-columns: 56px minmax(0, 1fr); align-items: center; justify-content: center; margin-bottom: 15px; gap: 16px; width: min(100%, 360px); margin-left: auto; margin-right: auto; } /* Logo容器：固定尺寸，完美居中 */ .card-icon { width: 56px; height: 56px; min-width: 56px; min-height: 56px; flex-shrink: 0; background-size: contain; background-repeat: no-repeat; background-position: center; background-color: #f8f9fa; border-radius: 8px; padding: 8px; display: flex; align-items: center; justify-content: center; } /* 标题：移除所有默认边距，确保垂直居中 */ .card-title { font-size: 1.25rem; font-weight: 600; color: var(--text-main); margin: 0 !important; padding: 0 !important; line-height: 1.3; display: flex; align-items: center; min-height: 56px; justify-content: flex-start; text-align: left; } .card-desc { font-size: 0.92rem; color: var(--text-sub); line-height: 1.6; margin-bottom: 20px; flex-grow: 1; height: 3.2em; overflow: hidden; } /* 三要素分散等距居中显示；整段可点，避免点到空白处无响应 */ .card-footer { border-top: 1px solid #f2f2f7; padding-top: 15px; display: flex; justify-content: space-evenly; align-items: center; font-size: 0.88rem; position: relative; z-index: 2; } .card-footer a { flex: 1; text-align: center; padding: 8px 4px; text-decoration: none; color: var(--ascend-blue); font-weight: 500; cursor: pointer; position: relative; z-index: 2; } .card-footer a:hover { text-decoration: underline; } .split { display: none; }

昇腾开源生态全景图

赋能全球开发者，构建极致性能的昇腾 AI 算力底座

🚀 快速安装昇腾环境

🏗️ 底层 AI 框架与基础设施

accelerate

适用于 Pytorch 的多 GPUs/NPUs 训练工具链。

DeepSpeed

DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.

kernels

从 Hugging Face Hub 加载高性能计算算子内核。

Ray

Ray is a unified framework for scaling AI and Python applications.

pytorch

PyTorch AI 框架，2.1 版本起官方原生支持昇腾 NPU。

transformers

适用于 Pytorch、TensorFlow 和 JAX 先进的机器学习库。

🧠 大模型/多模态训练与微调

areno

单机 RL post-training 工具包，支持在昇腾 NPU 上做 SFT/DPO/GRPO/GSPO/PPO 训练与 OpenAI 兼容推理服务。

axolotl

LLM 微调框架，支持在昇腾 NPU 上做 LoRA 监督微调。

ColossalAI

大规模并行训练框架。本页在单卡昇腾上用 Booster 做一步训练。

LLaMA-Factory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs。

ms-swift

高效微调框架，支持 600+ LLM 和 300+ MLLM 适配昇腾。

ROLL

大规模强化学习优化，针对昇腾算力平衡进行了调优。

speculators

投机解码草稿模型训练框架，配合 vllm-ascend 在昇腾 NPU 上完成训练与部署。

SpecForge

投机解码草稿模型训练框架，配合 SGLang 在昇腾 NPU 上完成在线捕获与训练。

TensorDict

PyTorch 官方字典风格张量容器库，基于 torch / torch_npu 在昇腾 NPU 上提供 TensorDict 核心特性验证。

torchtitan

用于语言大模型训练的 PyTorch 原生库。

torchvision

计算机视觉库，基于 torch_npu 在昇腾 NPU 上跑通 transforms v2 与 transforms 链路。

torchtune

原生 PyTorch 大模型微调库，支持在昇腾 NPU 上跑 LoRA 单卡微调。

Transformer Reinforcement Learning

适用于 SFT、PPO、DPO 等方法的模型后训练库。

Twinkle

轻量级 LLM 训练工作台，支持 SFT、GRPO、DPO 等，适配昇腾 NPU。

VeOmni

Scaling Any Modality Model Training with Model-Centric Distributed Recipe Zoo。

verl

用于 LLM 的强化学习训练库，适配昇腾并行计算方案。

PyG

基于 PyTorch 的 GNN 训练库。

XTuner

InternLM 系列大模型微调工具箱，支持昇腾 NPU 单卡/多卡 LoRA 微调。

🚀 高性能推理与服务

aibrix

vLLM 的推理网关。本文用 local mode，在一张昇腾卡上把一次 OpenAI 兼容请求转到一个 vLLM 引擎。

bitsandbytes

8-bit / 4-bit 量化库。本文在单卡昇腾上跑通默认后端的 NF4 Linear4bit 前向。

KTransformers

面向大模型的异构推理与微调框架，官方教程覆盖昇腾 NPU。

cache-dit

A PyTorch-native Inference Engine with Cache, Parallelism, Quantization and CPU Offload for DiTs.

FlagScale

面向大模型训练、推理与服务的统一命令行。本文在昇腾上用 vLLM-Ascend 做一次双卡离线推理。

llama.cpp

C/C++ 实现的 Meta LLaMa 架构，深度适配昇腾后端。

llm-compressor

面向 vLLM 部署的模型压缩库，在昇腾上完成 GPTQ 量化与 NPU 前向。

llm-d

架在推理引擎上的路由层。本文在单卡昇腾上用三个进程走通一次补全。

lmdeploy

用于压缩、部署和服务 LLM 的工具包。

InternLM

开源大语言模型系列，支持在昇腾 NPU 上进行 Transformers 推理。

FastChat

训练、服务和评测大语言模型的开源平台，支持昇腾 NPU 上的对话与 OpenAI 兼容 API。

Mooncake

面向大模型服务的 KV Cache 传输与存储引擎，昇腾上走 Ascend Direct。

onnxruntime

跨平台高性能推理引擎。在昇腾上从当前正式 Release 编译 CANN 后端，并完成一次加法推理。

sentence-transformers

高性能文本和图像 Embedding 库。

sglang

用于 LLM 和 VLM 的高速服务框架，极致提升昇腾吞吐量。

text-generation-inference

大语言模型推理服务框架，支持单卡与多卡 HCCL 张量并行。

torchchat

基于 PyTorch 的对话推理交互库。

vLLM-Ascend

面向昇腾 NPU 的 vLLM 社区插件，支持主流大模型高性能推理加速。

xllm

高效易用的开源智能推理框架，为模型在国产芯片上的推理提供企业级服务保障与高性能引擎计算能力。

LightX2V

轻量级图像/视频生成推理框架，适配昇腾 NPU。

⚙️ 算子开发与编程

Triton-Ascend

适配昇腾 NPU 的 Triton 语言后端，支持高性能算子开发与迁移。

Liger-Kernel

面向 LLM 训练的高效 Triton 融合算子库，v0.8.0 起支持昇腾 NPU。

flash-linear-attention

高效线性注意力算子库，支持通过 Triton-Ascend 在昇腾 NPU 上训练。

🎨 多模态应用、评测与工具

diffusers

扩散模型工具链，支持昇腾 NPU 加速图像生成。

xDiT

扩散模型推理加速框架，支持昇腾 NPU 单卡/多卡加速图像生成。

DiffSynth-Studio

ModelScope 的扩散模型引擎，支持在昇腾 NPU 上文生图。

lm-evaluation-harness

语言模型评测工具，支持昇腾基准。

EvalScope

ModelScope 开源大模型评测框架。本文在单卡 910B 上对 Qwen2.5-0.5B-Instruct 跑 GSM8K 与 ARC。

open_clip

开源 CLIP 模型实现，支持多模态语义对齐。

opencompass

开源大模型评测框架。本文在单卡上对 Qwen2-0.5B-Instruct 做 GSM8K 生成评测。

opencv

开源计算机视觉库，支持昇腾平台处理。

stable-diffusion-webui

Stable Diffusion 可视化工具链。

pytorch-image-models

PyTorch 图像模型库适配版本。

wenet

端到端的语音识别工具包。

whisper.cpp

Whisper 模型高性能推理语音识别框架。

FunASR

面向离线、流式与边缘部署的工业级语音识别工具箱，支持 ASR、VAD、标点、说话人、情感等。

ModelScope

「模型即服务」(MaaS) 开放平台，汇集 AI 社区最先进的机器学习模型。

ComfyUI

模块化的 Stable Diffusion 节点式图形界面与后端，原生适配昇腾 NPU。

.. toctree::
   :maxdepth: 2
   :hidden:
   :caption: 🏁 开始使用

   sources/ascend/quick_install.rst


.. toctree::
   :maxdepth: 1
   :hidden:
   :caption: 🏗️  基础设施与框架

   sources/accelerate/index.rst
   sources/deepspeed/index.rst
   sources/kernels/index.rst
   sources/pytorch/index.rst
   sources/Ray/index.rst
   sources/transformers/index.md


.. toctree::
   :maxdepth: 1
   :hidden:
   :caption: 🧠 训练与微调框架

   sources/areno/index.rst
   sources/axolotl/index.rst
   sources/LLaMA-Factory/index.rst
   sources/colossalai/index.rst
   sources/ms-swift/index.rst
   sources/peft/index.md
   sources/roll/index.rst
   sources/speculators/index.rst
   sources/specforge/index.rst
   sources/tensordict/index.rst
   sources/torchtitan/index.rst
   sources/torchtune/index.rst
   sources/trl/index.rst
   sources/twinkle/index.rst
   sources/VeOmni/index.rst
   sources/verl/index.rst
   sources/pyg/index.rst
   sources/xtuner/index.rst


.. toctree::
   :maxdepth: 1
   :hidden:
   :caption: 🚀 推理与服务

   sources/aibrix/index.rst
   sources/bitsandbytes/index.rst
   sources/ktransformers/index.rst
   sources/cache-dit/index.rst
   sources/flagscale/index.rst
   sources/llama_cpp/index.rst
   sources/internlm/index.rst
   sources/llm_compressor/index.rst
   sources/llm_d/index.rst
   sources/lm_deploy/index.rst
   sources/fastchat/index.rst
   sources/mooncake/index.rst
   sources/onnxruntime/index.rst
   sources/sentence_transformers/index.rst
   sources/sglang/index.rst
   sources/tgi/index.md
   sources/torchchat/index.rst
   sources/vllm-ascend/index.rst
   sources/xllm/index.rst
   sources/lightx2v/index.rst


.. toctree::
   :maxdepth: 1
   :hidden:
   :caption: ⚙️ 算子开发与编程

   sources/triton-ascend/index.rst
   sources/liger-kernel/index.rst
   sources/flash-linear-attention/index.rst


.. toctree::
   :maxdepth: 1
   :hidden:
   :caption: 🎨 多模态、应用与评测

   sources/Diffusers/index.rst
   sources/xdit/index.rst
   sources/diffsynth_studio/index.rst
   sources/evalscope/index.rst
   sources/lm_evaluation/index.rst
   sources/open_clip/index.rst
   sources/opencompass/index.rst
   sources/opencv/index.rst
   sources/sd_webui/index.rst
   sources/timm/index.rst
   sources/wenet/index.rst
   sources/whisper_cpp/index.rst
   sources/funasr/index.md
   sources/modelscope/index.md
   sources/comfyui/index.md