前言
本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式,然后将其加载到Caffe2中。需要安装好onnx和Caffe2。
PyTorch及ONNX环境准备
为了正常运行ONNX,我们需要安装最新的Pytorch,你可以选择源码安装:
git clone --recursive https://github.com/pytorch/pytorch cd pytorch mkdir build && cd build sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF make install export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build
其中 "/opt/pytorch/build"是前面build pytorch的目。
or conda安装
conda install pytorch torchvision -c pytorch
安装ONNX的库
conda install -c conda-forge onnx
onnx-caffe2 安装
pip3 install onnx-caffe2
Pytorch模型转onnx
在PyTorch中导出模型通过跟踪工作。要导出模型,请调用torch.onnx.export()函数。这将执行模型,记录运算符用于计算输出的轨迹。因为_export运行模型,我们需要提供输入张量x。
这个张量的值并不重要; 它可以是图像或随机张量,只要它是正确的大小。更多详细信息,请查看torch.onnx documentation文档。
# 输入模型 example = torch.randn(batch_size, 1, 224, 224, requires_grad=True) # 导出模型 torch_out = torch_out = torch.onnx.export(model, # model being run example, # model input (or a tuple for multiple inputs) "peleeNet.onnx", verbose=False, # store the trained parameter weights inside the model file training=False, do_constant_folding=True, input_names=['input'], output_names=['output'])
其中torch_out是执行模型后的输出,通常以忽略此输出。转换得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet进行模型加载推理了。
还可以进一步将onnx模型转换为ncnn进而部署到移动端。这就需要ncnn的onnx2ncnn工具了.
编译ncnn源码,生成 onnx2ncnn。
其中onnx转换模型时有一些冗余,可以使用用工具简化一些onnx模型。
pip3 install onnx-simplifier
简化onnx模型
python3 -m onnxsim pnet.onnx pnet-sim.onnx
转换成ncnn
onnx2ncnn pnet-sim.onnx pnet.param pnet.bin
ncnn 加载模型做推理
Pytorch模型转torch script
pytorch 加入libtorch前端处理,集体步骤为:
以mtcnn pnet为例
# convert pytorch model to torch script # An example input you would normally provide to your model's forward() method. example = torch.rand(1, 3, 12, 12).to(device) # Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing. traced_script_module = torch.jit.trace(pnet, example) # Save traced model traced_script_module.save("pnet_model_final.pth")
C++调用如下所示:
#include <torch/script.h> // One-stop header. #include <iostream> #include <memory> int main(int argc, const char* argv[]) { if (argc != 2) { std::cerr << "usage: example-app <path-to-exported-script-module>\n"; return -1; } // Deserialize the ScriptModule from a file using torch::jit::load(). std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]); assert(module != nullptr); std::cout << "ok\n"; }
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- PatriciaPaay-Playmate(ExpandedEditionRemastered2024)[24Bit-96kHz]FLAC
- 蒋志光韦绮姗.2014-传奇巨声【环星】【WAV+CUE】
- 关淑怡.2008-演唱会+无尽经典3CD【环球】【WAV+CUE】
- 伍佰.2002-冬之火九重天演唱会特选录音专辑2CD【滚石】【WAV+CUE】
- 李宗盛1996《李宗盛的凡人歌2CD》滚石[WAV+CUE][1G]
- 刘德华 《天意》1:1直刻黑胶LPCD[WAV+CUE][1.1G]
- 刘德丽2024《赤的疑惑HQCD》头版限量编号MQA[低速原抓WAV+CUE]
- 英雄联盟万圣节有什么皮肤返场 2024万圣节皮肤返场一览
- lol万圣节赠礼活动什么时候开始 2024万圣节活动时间介绍
- 2024全球总决赛blg是全华班吗 全球总决赛blg选手所属国家介绍
- 《LOL》S14半决赛:T1战胜GEN晋级决赛!对决BLG
- 《完蛋美女前传》白白演员抱怨:都没人玩我的线
- 玩家热议OLED屏对画面提升巨大:比PS5 Pro值得买
- PatriciaPaay-TheLadyIsAChamp(ExpandedEdition)(2024)[24Bit-96kHz]FLAC
- 尚士达.2024-莫回头【智慧小狗】【DTS-WAV分轨】