深度学习中，我们一直在训练模型，通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型。同样，如果我们不训练，仅仅随机初始化权重，同样能够得到一个同样大小的模型。虽然两者大小一样，不过两者其中的权重信息分...
本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节，不过有一...
可以看到很多层被融合了，比如conv1.weight + QuantizeLinear_7_quantize_scale_node + Conv_9 + Relu_11这个部分。也有没有被融合的，比如MaxPool_12。另外QuantizeLinear这个量化算子，可能有些童鞋没有见过，大家可以把它...
今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：
本文紧接上一篇《实践torch.fx第一篇——基于Pytorch的模型优化量化神器》继续说，主要讲如何利用FX进行模型量化。
作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。
前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。
有时候断句还不是很精确，导致自动配音的时候会有些突兀。如果在断句不正确的情况下可以手动调整就更好了。
本篇文章主要内容为在使用OpenVino时的一些注意点，方便带大家快速入门。OpenVino相比TVM和libtorch在intelx86的CPU端还是有很大优势的，可以说在X86上推断速度没有什么框架可以媲美OpenVino。实际测试中OpenVino确实出...
