onnxruntime 可以加速模型的部署同时可以跨框架例如 源码项目位置https://github.com/microsoft/onnxruntime
里面有一些依赖这里直接打包提供百度网盘的下载
链接https://pan.baidu.com/s/1sTryvfX0sLKIoHm8aMm4Sg 提取码be9o
解压后 执行命令
git initgit submodule syncgit submodule update --init --recursive
1.然后进行编译使用CUDA
./build.sh --skip_tests --use_cuda --config Release --build_shared_lib --parallel --cuda_home /usr/local/cuda --cudnn_home /usr/local/cuda
2.如果不使用CUDA用默认的CPU
./build.sh --skip_tests --config Release --build_shared_lib --parallel
3.使用TensorRT:
./build.sh --build_shared_lib --skip_tests --config Release --use_cuda --cudnn_home /usr/local/cuda/ --cuda_home /usr/local/cuda --use_tensorrt --tensorrt_home /home/TensorRT-version/
安装成功。
因为微软没用提供find_package()的用法所以这里CMAKE写法
#onnxruntimeset(ONNXRUNTIME_ROOT_PATH your_path_to_onnxruntime_source_dir)set(ONNXRUNTIME_INCLUDE_DIRS ${ONNXRUNTIME_ROOT_PATH}/include/onnxruntime${ONNXRUNTIME_ROOT_PATH}/onnxruntime${ONNXRUNTIME_ROOT_PATH}/include/onnxruntime/core/session/)set(ONNXRUNTIME_LIB ${ONNXRUNTIME_ROOT_PATH}/build/Linux/Release/libonnxruntime.so)include_directories(${ONNXRUNTIME_INCLUDE_DIRS})target_link_libraries(${PROJECT_NAME} ${ONNXRUNTIME_LIB})
在C里面头文件
#include #include #include
另外可以编译tensorRT版本的加速模型推理。