首页 > 编程语言> 文章详细

神经网络与深度学习（邱锡鹏）编程练习 3 Logistic回归、softmax回归、支持向量机(SVM)

2022-05-31 16:33:23 阅读：115 来源： 互联网

标签：SVM 函数回归 softmax 使用填空 txt

Logistic回归以及softmax回归

问题描述

完成 logistic_regression-exercise.ipnb中的填空

填空一：实现sigmoid的交叉熵损失函数(不使用tf内置的loss 函数)

完成 softmax_regression-exercise.ipnb中的填空

填空一：在__init__构造函数中建立模型所需的参数
填空二：实现softmax的交叉熵损失函数(不使用tf内置的loss 函数)

支持向量机(SVM)

问题描述：

本次作业分为三个部分：

使用基于某种核函数（线性，多项式或高斯核函数）的SVM 解决非线性可分的二分类问题，数
据集为train_kernel.txt 及test_kernel.txt。
分别使用线性分类器（squared error）、logistic 回归（cross entropy error）以及SVM（hinge error) 解
决线性二分类问题，并比较三种模型的效果。数据集为train_linear.txt 及test_linear.txt。
三种误差函数定义如下（Bishop P327）：

$E_{linear}=\sum_{n=1}^{N}(y_{n} -t_{n})^{2}+\lambda \left \| \mathbf{w} \right \|^{2}$

$E_{logistic}=\sum_{n=1}^{N}log(1+exp(-y_{n}t_{n})) + \lambda\left \| \mathbf{w} \right \|^{2}$

$E_{SVM}=\sum_{n=1}^{N}[1-y_{n}t_{n}]+\lambda \left \| \mathbf{w} \right \|^{2}$

其中 $y_{n}=\mathbf{w}^{T}x_{n}+b$ , $t_{n}$ 为类别标签。

使用多分类SVM 解决三分类问题。数据集为train_multi.txt 及test_multi.txt。（5%）

数据集:

MNIST数据集包括60000张训练图片和10000张测试图片。图片样本的数量已经足够训练一个很复杂的模型（例如 CNN的深层神经网络）。它经常被用来作为一个新 的模式识别模型的测试用例。而且它也是一个方便学生和研究者们执行用例的数据集。除此之外，MNIST数据集是一个相对较小的数据集，可以在你的笔记本CPUs上面直接执行

题目要求：

请使用代码模板rbm.py，补全缺失部分，尽量不改动主体部分。
推荐使用python 及numpy 编写主要逻辑代码，适度使用框架。

标签：SVM,函数,回归,softmax,使用,填空,txt
来源： https://www.cnblogs.com/hbuwyg/p/16330936.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。