标签：Count Sketch 函数 Efficient Communication Sketching 索引 哈希 散列

摘要

提出了一种FetchSGD算法来克服通信瓶颈，使用 Count Sketch 技术压缩模型更新，并且利用sketches的可并堆性的优点来合并模型更新。由于 Count Sketch 是线性的，动量和误差的累积计算可以从客户端迁移至中央聚合器，克服了稀疏客户端参与的挑战，同时保持了高压缩率和良好的收敛性。

Count Sketch 算法：基本原理是数组每个单元维持一个计数器，当数据流的元素哈希索引到数组的某个位置，此位置计算器加一。查询某个元素的出现频率只需哈希索引到对应计数器即可。很明显，由于不同元素可能索引到同一个位置，这种方法得到的计数值一般是偏大的。
hash 函数：即散列函数，或叫哈希函数。它可以将不定长的输入，通过散列算法转换成一个定长的输出，这个输出就是hash值（散列值）。需要注意的是，不同的输入通过散列函数，也可能会得到同一个散列值。同样的对象，必须生产同样的hashCode，而equals就是用来比较对象是否相同，因此，这两个函数方法是强相关的。

标签：Count,Sketch,函数,Efficient,Communication,Sketching,索引,哈希,散列
来源： https://www.cnblogs.com/iscanghai/p/15413742.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。