当前位置 : 主页 > 网络编程 > 其它编程 >

在ubuntu20.04上安装onnxruntimeCUDA

来源:互联网 收集:自由互联 发布时间:2023-07-02
onnxruntime可以加速模型的部署同时可以跨框架例如源码项目位置https:github.commicrosoftonnxru onnxruntime 可以加速模型的部署同时可以跨框架例如 源码项目位置https://github.com/microsoft/onnxruntime 里
onnxruntime可以加速模型的部署同时可以跨框架例如源码项目位置https:github.commicrosoftonnxru

onnxruntime 可以加速模型的部署同时可以跨框架例如 源码项目位置https://github.com/microsoft/onnxruntime

里面有一些依赖这里直接打包提供百度网盘的下载

链接https://pan.baidu.com/s/1sTryvfX0sLKIoHm8aMm4Sg 提取码be9o

解压后 执行命令

git initgit submodule syncgit submodule update --init --recursive

1.然后进行编译使用CUDA

./build.sh --skip_tests --use_cuda --config Release --build_shared_lib --parallel --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda

2.如果不使用CUDA用默认的CPU

./build.sh --skip_tests --config Release --build_shared_lib --parallel

3.使用TensorRT:

./build.sh --build_shared_lib --skip_tests --config Release --use_cuda --cudnn_home /usr/local/cuda/ --cuda_home /usr/local/cuda --use_tensorrt --tensorrt_home /home/TensorRT-version/

安装成功。    

因为微软没用提供find_package()的用法所以这里CMAKE写法

#onnxruntimeset(ONNXRUNTIME_ROOT_PATH your_path_to_onnxruntime_source_dir)set(ONNXRUNTIME_INCLUDE_DIRS ${ONNXRUNTIME_ROOT_PATH}/include/onnxruntime${ONNXRUNTIME_ROOT_PATH}/onnxruntime${ONNXRUNTIME_ROOT_PATH}/include/onnxruntime/core/session/)set(ONNXRUNTIME_LIB ${ONNXRUNTIME_ROOT_PATH}/build/Linux/Release/libonnxruntime.so)include_directories(${ONNXRUNTIME_INCLUDE_DIRS})target_link_libraries(${PROJECT_NAME} ${ONNXRUNTIME_LIB})

在C里面头文件

#include #include #include

另外可以编译tensorRT版本的加速模型推理。

上一篇:菜单的下拉列表
下一篇:没有了
网友评论