关于HB_ONNXRuntime是否可以设置在GPU上运行，从而提升推理速度的问题。

应用开发 算法工具链
1

1.芯片型号：J5

2.天工开物开发包OpenExplorer版本：J5_OE_1.1.62等

3.问题定位：HB_ONNXRuntime使用问题

4.问题具体描述：修改官方例程中目标检测yoloV5X来计算量化后的yolov8m_quantized.onnx(已量化)的map等指标。但是在使用HB_ONNXRuntime对量化后的模型进行推理时速度很慢，yolov8_quantized通过HB_ONNXRuntime输出1000张图片的结果需要2.5小时。而对于原始模型（yolov8_original_onnx），只需要5分钟。查看yolov8_quantized通过HB_ONNXRuntime输出结果时系统资源使用情况，似乎是在通过使用CPU单核推理，没有在GPU上推理，是否支持ONNXRuntime-GPU那样在GPU上推理呢？从而提高速度，不然每次都要等很久(囧)。我没有找到相关的说明，在（https://developer.horizon.cc/forumDetail/173442425216488452）中也只找到使用例程。如果有HB\_ONNXRuntime相关使用说明，能否分享一份呢？谢谢！！！

2

你好，由于gpu版本未经过系统性的全量测试，因此并未在手册和文章中体现，如果有相关加速需求的话，可以尝试如下操作：

在docker中安装horizon-nn-gpu版本(ddk/package/host/ai_toolchain/horizon_nn_gpu-0.20.1-cp38-cp38-linux_x86_64.whl)，在代码中添加

sess = HB_ONNXRuntime(model_file=model)

sess.set_providers([‘CUDAExecutionProvider’])

尝试加速

3

好的，谢谢，我试试。

4

我试了还是不行呢