标签：Novel Shot 模型 论文 Quantization ZeroQ 量化 bit 精度

论文地址：ZeroQ
论文地址：https://github.com/amirgholami/ZeroQ

论文总结

  本文的方法是一种后量化方法，是不用finetune的一种方法。

  本文的贡献主要有两点：（1）提出了一种方法，从模型的分析中生成更为接近训练数据的数据，用于得到activation的范围和计算每一层的量化损失。（作者称他生成数据的方式，叫做蒸馏，distilled，数据）（2）提出使用Pareto frontier方法去选择目标模型大小的一个混合精度。

  本文的混合精度的选择，是在目标量化模型大小（比如6bit或4bit下对应的模型大小）的限制下，选择每一层量化Bit数。每一层的bit数不一样，有利于去恢复精度。因为不同层对于量化的损失是不一样的。但这种混合精度的方式，能不能真正应用在终端上进行加速，暂时还不了解这种不同layer采用不同Bit数如何进行计算。其目标是目标量化bit对应的模型大小下的混合bit模型的最优精度模型。

  另外，论文中介绍的，应用的时候，其认为不同层的量化bit数不相互打扰，是相互独立的。

论文介绍

标签：Novel,Shot,模型,论文,Quantization,ZeroQ,量化,bit,精度
来源： https://blog.csdn.net/qq_19784349/article/details/111005639

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。