English | 简体中文
文档 | 公众号 | 知乎 | Discord | 哔哩哔哩 | Ask DeepWiki
nndeploy是一款AI部署的工作流工具，让你的算法创意快速落地。通过零抽象成本的设计理念，让AI算法工程师专注于算法创新，让产品经理轻松验证想法，让开发者高效集成AI能力。
- [2025/08/01] 🔥 可视化工作流：告别复杂的代码编写！通过简单的拖拽操作，你就能快速搭建专业的AI应用。无论你是技术小白还是经验丰富的开发者，都能在几分钟内完成AI算法的部署。立即体验丰富的工作流模板：换脸、LLM对话、AI绘画、目标检测、图像分割等应用
- [2025/07/20] 🔥 Python API：只需几行代码，就能将你的AI模型部署到手机、电脑、服务器等各种设备上。更棒的是，还支持工作流可视化展示，让你在团队汇报时轻松展示令人惊艳的AI效果，瞬间成为焦点！点击查看超简单的入门教程，5分钟上手
- [2025/05/29] 🔥 免费AI推理课程：想要在AI推理部署领域找到更好的工作机会？我们基于nndeploy框架打造了业内最全面的AI推理部署课程，深度覆盖模型中间表示、模型解释、计算图构建、图优化、内存优化、并行优化和算子优化等企业核心技术需求。这门课程都将成为你职业发展的强力助推器。昇腾平台免费学习 | B站同步更新
已经部署了以下AI算法，让你能够立即体验和使用各种AI功能：
| 应用场景 | 可用模型 |
|---|---|
| 图像分类 | ResNet, MobileNet, EfficientNet, PPLcNet, GhostNet, ShuffleNet, SqueezeNet |
| 目标检测 | YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv11, YOLOx |
| 目标追踪 | FairMot |
| 图像分割 | RBMGv1.4, PPMatting, Segment Anything |
| 生成模型 | Stable Diffusion 1.5 |
| 大语言模型 | QWen-0.5B |
| 换脸应用 | deep-live-cam |
会持续部署更多AI算法，如果你有需要的算法，请通过issue告诉我们
nndeploy是一款基于工作流的多端AI部署工具，具有以下功能：
-
可视化工作流：通过拖拉拽部署AI算法，突出开发效率
-
函数调用：工作流导出为JSON配置文件，支持Python/C++ API调用，在多端的生产环境中使用起来
-
多端推理：一套工作流，多端部署。通过零抽象成本接入了13种主流推理框架，覆盖云端、桌面、移动、边缘等全平台
框架 支持状态 PyTorch ✅ TensorRT ✅ OpenVINO ✅ ONNXRuntime ✅ MNN ✅ TNN ✅ ncnn ✅ CoreML ✅ AscendCL ✅ RKNN ✅ TVM ✅ SNPE ✅ 自研推理框架 ✅
-
并行优化：支持串行、流水线并行、任务并行等执行模式
-
内存优化：零拷贝、内存池、内存复用等优化策略
-
高性能优化：内置C++/CUDA/SIMD等优化实现的节点
-
自定义节点：支持Python/C++自定义节点，无需前端代码，无缝集成到可视化界面
-
算法组合：灵活组合不同算法，快速构建创新AI应用
-
所调即所见：前端可视化调节AI算法部署的所有节点参数，快速预览算法调参后的效果
安装nndeploy包并启动可视化工作流工具
# 通过pip安装nndeploy
pip install nndeploy
# 在8000端口启动可视化工作流应用
nndeploy-app --port 8000打开 http://localhost:8000 即可访问工作流界面。
在可视化界面中配置好工作流后，将其保存为JSON文件（例如yolo.json）。您可以使用以下命令执行该工作流：
# 执行JSON文件中定义的工作流
# -i：指定输入文件（例如input.jpg）
# -o：指定输出文件（例如output.jpg）
nndeploy-run-json --json-file yolo.json -i input.jpg -o output.jpg需要Python 3.10或更高版本。使用
nndeploy-clean可清理过期的后端资源。
由于pypi包体机限制，目前的python包包含torch和onnxruntime两个推理后端，想使用更丰富的后端请采用开发者模式
-
欢迎加入交流群！微信：titian5566（请简单备注个人信息^_^）
-
感谢以下项目：TNN、FastDeploy、opencv、CGraph、CThreadPool、tvm、mmdeploy、FlyCV、oneflow、flowgram.ai、deep-live-cam。
-
感谢HelloGithub推荐
