标签：MINIST 梯度 感知机 使用 TensorFlow 隐藏 fn 器来

TensorFlow实现多层感知机MINIST分类

TensorFlow 支持自动求导，可以使用 TensorFlow 优化器来计算和使用梯度。使用梯度自动更新用变量定义的张量。本文将使用 TensorFlow 优化器来训练网络。

前面定义了层、权重、损失、梯度以及通过梯度更新权重。用公式实现可以帮助我们更好地理解，但随着网络层数的增加，这可能非常麻烦。

使用 TensorFlow 的一些强大功能，如 Contrib（层）来定义神经网络层及使用 TensorFlow 自带的优化器来计算和使用梯度。

通过前面的学习，已经知道如何使用 TensorFlow 的优化器。Contrib 可以用来添加各种层到神经网络模型，如添加构建块。这里使用的一个方法是 tf.contrib.layers.fully_connected，在 TensorFlow 文档中定义如下：

这样就添加了一个全连接层。

提示：上面那段代码创建了一个称为权重的变量，表示全连接的权重矩阵，该矩阵与输入相乘产生隐藏层单元的张量。如果提供了 normalizer_fn（比如batch_norm），那么就会归一化。否则，如果 normalizer_fn 是 None，并且设置了 biases_initializer，则会创建一个偏置变量并将其添加到隐藏层单元中。最后，如果 activation_fn 不是 None，它也会被应用到隐藏层单元。

具体做法

第一步是改变损失函数，尽管对于分类任务，最好使用交叉熵损失函数。这里继续使用均方误差（MSE）：

接下来，使用 GradientDescentOptimizer：

 对于同一组超参数，只有这两处改变，在测试数据集上的准确率只有 61.3%。增加 max_epoch，可以提高准确性，但不能有效地发挥 TensorFlow 的能力。

这是一个分类问题，所以最好使用交叉熵损失，隐藏层使用 ReLU 激活函数，输出层使用 softmax 函数。做些必要的修改，完整代码如下所示：

解读分析

修改后的 MNIST MLP 分类器在测试数据集上只用了一个隐藏层，并且在 10 个 epoch 内，只需要几行代码，就可以得到 96% 的精度：

 由此可见 TensorFlow 的强大之处。

标签：MINIST,梯度,感知机,使用,TensorFlow,隐藏,fn,器来
来源： https://www.cnblogs.com/wujianming-110117/p/14370627.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。