Ascend Dev References

English

昇腾（Ascend）训推开发中常用的学习与参考资料，覆盖推理、训练、kernel、算子 DSL、模板、性能分析和硬件系统，方便快速定位相关开源项目、工具与文档。

以下收录的 repo、文档和论文均为公开资料。

常用文档与最佳实践

• 昇腾 950 NPU 架构白皮书：了解昇腾 950 的 AI Core、Vector/Cube、存储、互联和超节点架构。
• A3 SuperPoD 超节点介绍：了解 A3 SuperPoD 的节点组成、互联和系统形态。
• CloudMatrix384 超节点部署 DeepSeek：超节点系统上部署和优化 DeepSeek 模型的实践案例。
• Ascend 系统级性能测试与诊断基准：系统级性能测试、问题诊断和基准参考。
• A2-A5 Kernel 跨平台迁移指南：不同 Ascend 硬件平台间迁移 kernel 时的适配要点。
• Ascend C 最佳实践：Ascend C 算子设计、开发、调优与工程实践建议。
• CANN 社区技术直播 Slides：CANN 社区技术直播、Meetup 分享和演讲资料。
• 大模型推理中昇腾算子融合技术与设计原理：介绍 Transformer 推理中的算子融合思路、典型融合模式及其性能优化方向。
• 华为昇腾服务器 DeepSeek V3/R1 推理部署最佳实践：围绕 DeepSeek V3/R1，整理昇腾服务器上的环境配置、并行部署与性能优化方案。

推理

• vLLM Ascend：vLLM 的 Ascend 硬件插件。
• SGLang：已合入 Ascend NPU 支持的推理/服务框架。
• Omni-Infer：面向 Ascend 的分布式推理加速与部署工具集。
• CANN Recipes Infer：CANN 社区推理实践和可复用方案。
• torchair：面向 Ascend 的 PyTorch torch.compile 与 GE 图模式编译支持。
• xLLM：来自京东社区、面向 Ascend 的高性能大模型推理与服务框架。

训练

• MindSpeed-LLM：Ascend 生态大语言模型训练套件，覆盖预训练、微调、权重转换、评估和推理。
• MindSpeed-MM：Ascend 生态多模态大模型训练套件。
• MindSpeed-RL：Ascend 生态强化学习训练套件。
• verl Ascend Tutorial：verl 已合入的 Ascend 训练与强化学习支持教程。
• VIME：支持 Ascend 的 RL 后训练框架。
• slime-ascend：面向 Ascend 的 RL 训练项目。
• TRL：Hugging Face 的大模型强化学习训练框架，已支持 Ascend。
• DeepSpeed：面向大规模模型训练的系统优化框架，已支持 Ascend。

Kernel 算子库

• SGLang Kernel NPU：SGLang 的 Ascend NPU kernel 库，包含 DeepEP、attention、normalization、activation 等实现。
• flash-attention-npu：面向 Ascend NPU 的 FlashAttention kernel 实现。
• ops-nn：神经网络类基础计算算子库。
• ops-math：数学类基础计算算子库。
• ops-transformer：Transformer/大模型相关算子库。
• ops-cv：视觉类算子库。
• cann-samples：CANN 算子高性能实战样例与调优知识库。
• Ascend Transformer Boost (ATB) 算子：面向 Transformer 模型的 Ascend 算子，支持 graph。

算子 DSL 和模板

• PyPTO：Parallel Tensor/Tile Operation 编程范式。
• PTO-ISA：面向 tile 指令的虚拟 ISA 与工具链。
• ATVOSS：基于 Ascend C 的 Vector 算子模板库。
• CATLASS：面向高性能 GEMM/矩阵乘及相关融合算子的 CANN/Ascend 模板库。
• TileLang-Ascend：面向 Ascend NPU 的 TileLang DSL 与编译后端。
• Triton Ascend：面向 Ascend NPU 的 Triton DSL 与编译后端。

性能 Profiling

• Ascend PyTorch Profiler：在 PyTorch 训练/推理脚本中通过 torch_npu.profiler 采集模型、CANN、NPU 算子及其 kernel 执行性能数据。
• MindStudio Profiler / msProf：采集与解析 CANN 平台及昇腾 AI 处理器的软硬件性能数据。

Kernel 仿真

• msprof op / msprof op simulator：面向单算子的分析和仿真调优；可进一步查看 kernel 内部的 memory、pipe、指令流水等信息。
• CANNSim 算子仿真示例：使用 CANNSim 在无真实 NPU 或需要快速迭代时进行算子功能和性能仿真。

硬件与算力资源

• CANNLab：在线申请和使用昇腾 NPU 算力，进行模型、算子和性能实验。