Back_To_Home..
Model Deploy
January 2024
模型部署框架
C++模型部署框架
TensorRT
- 简介：由英伟达开发，是一个高性能的深度学习推理优化器和运行时引擎，针对英伟达的GPU进行了高度优化，能将深度学习模型进行优化和转换，提高推理速度和效率，降低内存占用。
- 特点：支持多种深度学习框架，如TensorFlow、PyTorch等；可对模型进行层融合、权重压缩等优化操作，提升推理性能；提供C++ API，方便与C++项目集成，适用于计算机视觉、自然语言处理等领域的模型部署，特别是在需要高性能推理的场景，如自动驾驶、智能安防等。
OpenVINO
- 简介：英特尔推出的深度学习部署工具包，用于在英特尔的CPU、GPU、VPU等多种硬件平台上进行模型的优化和推理加速，能将不同深度学习框架训练的模型转换为OpenVINO支持的格式，并进行高效部署。
- 特点：具有良好的跨平台性，支持Windows、Linux等操作系统；提供了模型优化器和推理引擎，方便对模型进行优化和推理；针对英特尔硬件有专门的优化，能充分发挥英特尔硬件的性能优势，适用于在英特尔平台上进行各种深度学习模型的部署，如智能城市、工业自动化等领域。
ONNXRuntime
- 简介：由微软开发的跨平台深度学习推理引擎，支持多种硬件平台和操作系统，遵循ONNX（开放神经网络交换）标准，能加载和运行ONNX格式的模型。
- 特点：具有很好的兼容性和可扩展性，支持CPU、GPU、TPU等多种硬件设备；提供了C++、Python等多种语言的API，方便与不同的项目集成；支持模型优化和量化等功能，能提高模型的推理速度和效率，适用于各种深度学习模型的跨平台部署，尤其是需要在多种不同硬件和操作系统上运行模型的场景。
Radish
- 简介：开源的全栈C++模型训练与推理框架，借助libtorch库，为开发者提供从模型训练到部署的全流程支持。
- 特点：训练与推理使用相同的代码库，减少了开发到部署的差距；提供真正的多线程支持，适用于实时训练场景；内置数据解析器，支持多种数据格式，还支持BERT等模型的优化和改进，适合基于C++的深度学习模型开发和部署场景，尤其是对模型训练和推理一体化有需求的项目。
NCNN
- 简介：腾讯开源的高性能神经网络前向推理计算框架，专为手机端和嵌入式设备等移动端平台设计，能将深度学习模型转换为适合在移动端运行的格式，并进行高效推理。
- 特点：跨平台性好，支持Android、iOS等移动操作系统以及Linux、Windows等桌面系统；代码简洁，易于集成和移植；提供了模型转换工具和推理引擎，支持模型量化等优化操作，能在移动端设备上实现快速、高效的推理，适用于移动应用中的图像识别、目标检测等深度学习任务。
Python模型接口实现框架
FastAPI
- 特点：基于Python的高性能Web框架，基于ASGI，支持异步编程，能充分利用异步特性提高性能。支持基于Python类型注解的参数验证，可自动生成交互式文档，代码风格简洁，开发体验好。
- 适用场景：适用于对接口性能要求高、需要快速迭代和开发的AI服务接口等场景，比如将深度学习模型封装为REST API服务，为Web应用和移动端提供模型服务。
Flask
- 特点：轻量级的Web应用框架，适合构建RESTful风格的接口。使用简单，易于上手，具有很强的灵活性，可通过扩展插件来丰富功能。
- 适用场景：适用于小型项目、快速原型开发以及对接口功能需求相对简单的场景，如个人博客、小型Web应用的接口开发。
Django
- 特点：功能强大的Web框架，提供了一套完整的工具和API，用于构建复杂的Web应用和RESTful接口。具有丰富的插件和扩展，内置了数据库管理、用户认证、表单处理等功能。
- 适用场景：适合开发大型、功能复杂的Web应用和接口，对项目的可维护性和扩展性要求较高的场景，如企业级应用、电商平台等。
Tornado
- 特点：强大的异步Web框架，可用于构建高性能的接口和服务。具有高效的I/O循环和异步处理能力，能处理大量并发请求。
- 适用场景：适用于对性能和并发处理要求极高的场景，如实时通信应用、高性能API服务等。
Django REST framework
- 特点：建立在Django基础之上的Web应用开发框架，可快速开发REST API接口应用。提供了定义序列化器的方法，能快速根据Django ORM或者其它库自动序列化/反序列化。
- 适用场景：适用于Django项目中需要构建强大且灵活的Web API的场景，能很好地与Django的其他功能集成，如用户认证、权限管理等。