最新 最热

使用bRPC和ONNX Runtime把Bert模型服务化

在上文《实践演练Pytorch Bert模型转ONNX模型及预测》中,我们将Bert的Pytorch模型转换成ONNX模型,并使用onnxruntime-gpu完成了python版的ONNX模型预测。今天我们来把预测搬到C++上,模拟一下模型的部署。...

2022-11-20
1

实践演练Pytorch Bert模型转ONNX模型及预测

在之前的文章 《GPU服务器初体验:从零搭建Pytorch GPU开发环境》 中,我通过Github上一个给新闻标题做分类的Bert项目,演示了Pytorch模型训练与预测的过程。我其实也不是机器学习的专业人士,对于模型的结构、训练细节所知...

2022-11-12
3