TensorRT英伟达高性能深度学习推理平台

联合创作 · 2023-09-26 05:03

TensorRT 是一个高性能深度学习推理平台,它包括深度学习推理优化器和运行时,可为深度学习推理应用提供低延迟和高吞吐量。在推理期间,基于 TensorRT 的应用比仅 CPU 平台的执行速度快 40 倍。

TensorRT 基于 CUDA,NVIDIA 的并行编程模型,能够利用 CUDA-X AI 中的库、开发工具和技术,为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。

此库包含 TensorRT 插件和解释器(Caffe 和 ONNX),还有一些演示 TensorRT 平台的使用和功能的示例应用。

浏览 4
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑
举报