从零开始的机器学习--支持向量机

2022-01-02 23:02:36 阅读：139 来源： 互联网

标签：obj -- 从零开始 X2 end X1 Data 向量 size

本文参考机器学习周志华
基础内容如下
请添加图片描述
由上述原理，给出利用不使用核函数和软间隔的SVM处理用LAD降至2维的iris数据集的MATLAB源程序

main.m

tic
clear;clc
%导入数据
load matlab.mat
global D
D.X1 = D_new(1:48,:);
D.Y1 = ones(size(D.X1,1),1);
D.X2 = D_new(51:end-2,:);
D.Y2 = -ones(size(D.X2,1),1);
% 使用Matlab自带SVM对LDA处理后的iris数据二分类
% svmModel = fitcsvm([D.X1;D.X2],[D.Y1;D.Y2],'kernelFunction','rbf');
% Y_pred = predict(svmModel,[D_new(49:50,:);D_new(end-1:end,:)]);
%% 使用自己求解SVM对LDA处理后的iris数据二分类
D.Label = [D.Y1;D.Y2];
D.Data = [D.X1;D.X2];
figure(1)
hold on
scatter(D.X1(:,1),D.X1(:,2),'r');
scatter(D.X2(:,1),D.X2(:,2),'g');
ITER = 100;
objf = +inf;
for Times = 1:ITER
    x0 = rand(size(D.X1,1)+size(D.X2,1),1);
    obj = 0;
    for i = 1:size(D.Data,1)
    for j = 1:size(D.Data,1)
        obj = obj+1/2*(x0(i)*x0(j)*D.Label(i)*D.Label(j)*D.Data(i)*D.Data(j)');
    end
    obj = obj-x0(i);
    end
    if obj<objf
        objf = obj;
        bestx0 = x0;
    end
end

[alpha,val] = fmincon(@obj_fun,bestx0,[],[],[D.Label'],0,zeros(size(D.X1,1)+size(D.X2,1),1),[],[],[]);

% h = [];
% for i = 1:size(D.Data,1)
%     for j = 1:size(D.Data,1)
%         h(i,j) = D.Data(i,:)*D.Data(j,:)'*D.Label(i)*D.Label(j);
%     end
% end
% f = -1*ones(size(D.Data,1),1);
% [alpha,val] = quadprog(h,f,[],[],D.Label',0,zeros(size(D.Data,1),1),[]);
alpha(alpha<1e-3) = 0;
w = zeros(1,size(D.Data,2));
for i = 1:size(D.Label,1)
    w = w+alpha(i).*D.Label(i).*D.Data(i,:);
end
[row,~] = find(alpha~=0);
b = D.Label(row(1))-w*D.Data(row(1),:)';
plot([0,-b/w(1)],[-b/w(2),0])
toc

Obj_fun

function f = obj_fun(x)
global D
Data = [D.X1;D.X2];
Label = [D.Y1;D.Y2];
sum = 0;
for i = 1:size(Data,1)
    for j = 1:size(Data,1)
        sum = sum+1/2*(x(i)*x(j)*Label(i)*Label(j)*Data(i)*Data(j)');
    end
    sum = sum-x(i);
end
f = sum;

其中注释段代码为使用二次规划求解，直接运行是先由100次蒙特卡洛模拟生成初始解，再将初始解代入非线性规划求得的，二者在运行时间上差了5倍，但为非二次规划问题提供思路。
值得注意的是，如果将两类的标签置为0和1则不能得到正确的结果，只有将标签置为1和-1时才能得到正确的SVM二分类结果
积累：是否可以不定义全局变量global D，而使用其他手段定义目标函数Obj_fun

标签：obj,--,从零开始,X2,end,X1,Data,向量,size
来源： https://blog.csdn.net/m0_57014316/article/details/122282164

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

从零开始的机器学习--支持向量机