加法进位实验 本题为填空题，填入内容： def call(self, num1, num2): num1_emb = self.embed_layer(num1) # shape(b_sz, len, emb_sz) num2_emb = self.embed_layer(num2) # shape(b_sz, len, emb_sz) inp_emb = tf.concat([num1_emb, num2_emb], axis=-1) rnn_out = self.rnn_layer
卷积神经网络(CNN) 问题描述： 利用卷积神经网络，实现对MNIST 数据集的分类问题。 数据集: MNIST数据集包括60000张训练图片和10000张测试图片。图片样本的数量已经足够训练一个很复杂的模型（例如 CNN的深层神经网络）。它经常被用来作为一个新 的模式识别模型的测试用例。而且它也是一
NN模型： ref：【人工智能导论：模型与算法】MOOC 8.3 误差后向传播(BP) 例题 【第三版】 - HBU_DAVID - 博客园 (cnblogs.com) 实验目标： 理解正向传播过程，熟悉numpy编程。 初始值： w1, w2, w3, w4, w5, w6, w7, w8 = 0.2, -0.4, 0.5, 0.6, 0.1, -0.5, -0.3, 0.8 x1, x2 = 0.5, 0
通过基函数对元素数据进行交换，从而将变量间的线性回归模型转换为非线性回归模型。 最小二乘法 + 多项式基函数 最小二乘法 + 高斯基函数 def identity_basis(x): ret = np.expand_dims(x, axis=1) return ret def multinomial_basis(x, feature_num=10): x = np.ex
实验结果： 源代码： import numpy as np import matplotlib.pyplot as plt def load_data(filename): # 载入数据 xys = [] with open(filename, 'r') as f: for line in f: xys.append(map(float, line.strip().split())) xs, ys
线性回归的参数优化： 先完成最小二乘法的优化 (参考书中第二章 2.3中的公式) 再完成梯度下降法的优化 (参考书中第二章 2.3中的公式) 不同的基函数实现： 多项式基函数 高斯基函数 函数： 载入数据：load_data(filename) 基函数： identity_basis(x) multinomial_basis(x, feature_nu
ref：李宏毅 邱锡鹏
7-1 明显地，埃尔法和K成正比 7-2 7-3 7-4(我透) 7-5（我透） 7-6 7-7[我不李姐] 从再参数化的角度来分析批量归一化中缩放和平移的意义 7-8 批归一化可以应用于RNN的堆栈之间，其中归一化是“垂直”应用（即每个RNN的输出）， 但是它不能“水平”应用（即在时间步之间），因为重复的rescaling会
6-1 三者都是典型的神经网络模型。 卷积神经网络是对前馈神经网络增加卷积层和池化层。 延时神经网络是对前馈神经网络增加延时器。 循环神经网络是对前馈神经网络增加自反馈的神经元。 延时神经网络和循环神经网络是给网络增加短期记忆能力的两种重要方法。 卷积神经网络和循环神
2-1 视角1： 一般平方损失函数的公式如下图所示： h表示的是你的预测结果，y表示对应的标签，J就可以理解为用二范数的方式将预测和标签的差距表示出来， 模型学习的过程就是优化权重参数，使得J达到近似最小值。 理论上这个损失函数是很有效果的，但是在实践中却又些问题。 它这个h是激活函数
神经网络与深度学习（更新至第6讲 循环神经网络）_哔哩哔哩_bilibili 注解： 1.非线性的问题加入用线性方程去拟合，那会出现欠拟合的情况。 2.解决办法就是用Ф(X)代替X，如下图： 注解： 1.依然可以把多项式回归模型写成线性的形式，此时可以利用线性回归的最小二乘
神经网络与深度学习（更新至第6讲 循环神经网络）_哔哩哔哩_bilibili 注解： 1.在假定的空间中建立一个最优的模型，利用这个模型建立x和y之间的关系。 2.需要有一个准则来判断学习到的模型是好是坏。 注解： 1.左边是线性模型，右边是非线性模型。 注解： 1.函数的预测值f
注解： 1.随机变量和随机事件不等价，一个随机事件可以定义很多随机变量。 2.随机变量是定义在一个随机事件里面的变量，可以有很多种定义方法，比如可以定义出现某一个值的概率，也可以定义出现奇数的概率。 3.概率分布就是所定义的一个随机变量取所有可能值的概率的一个
自 2017 年 6 月谷歌发布论文《Attention is All You Need》后，Transformer 架构为整个 NLP 领域带来了极大的惊喜。在诞生至今仅仅四年的时间里，Transformer 已经成为自然语言处理领域的主流模型，基于 Transformer 的预训练语言模型更是成为主流。 随着时间的推移，Transformer 还开
