局部加权回归
本篇中考虑的方法类似于最近邻值的输出的线性组合。但我们没有那么残酷，不会只关注 K 个最近邻值而消除所有其他值的影响。这是一种平滑的变化：我们根据和被预测的实例之间的距离来逐渐减少实例对预测的影响，而不是选择一组 K 个胜者。
通过加权得到的整体相关性可能会相当复杂。当模型需要在不同的点进行评估时，线性回归仍然可以使用，只不过该评价点附近的评估点被认为比远处的“更重要”。这里遇到了一个非常普遍的原则：在（自然的或自动的）学习中，相似的实例通常被认为比那些相差甚远的更相关。
局部加权回归（Locally Weighted Regression）是一种懒惰的基于存储的技术，这意味着所有点和评估值都被存储了，而只有查询特定的某点的时候才会基于请求建立特定的模型。
为了预测一个点 q（称为查询点）的评估结果，我们对训练点应用线性回归。为了确保在确定回归参数过程中的局部性（相近的点更相关），给每个样本点分配一个权重，这个权重会随着与查询点距离的增加而减小。值得注意的是，在神经网络业内，术语“权重”一般情况下指由训练算法计算得到的模型参数，然而在这种情况下，权重度量每个训练样本的重要性。
为了避免混淆，我们用术语重要性和符号
s
i
s_i
si（下面所用的对角矩阵记为
S
S
S）来表示这一特定用法。
加权后的最小二乘拟合的目标是最小化下面的加权误差：
样本点不同的权重分布对应于使用不同弹性常数，为了最小化上式 ，可以令其关于 w 的梯度等于 0，得到如下
解：
根据储存样本到查询点的距离，可以使用以下函数来描述它们的重要性：
标签：加权,权重,回归,样本,查询,订制,评估,个性化 来源： https://blog.csdn.net/weixin_43327597/article/details/110004433
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。