标签:45 nn 16 流程 torch mask speech Wenet 梳理
asr_model
-
encoder
input: speech(16,80,183)# 183属于batch中最大元素决定 speech_length text (16,6)# 6由batch最大值决定 text_length
-
make_pad_mask
mask :(16,183)
-
subsampling
input(speech,mask)
-
conv(speech)
torch.nn.Conv2d(1, odim, 3, 2), torch.nn.ReLU(), torch.nn.Conv2d(odim, odim, 3, 2), torch.nn.ReLU() # output (16,256,45,19)
-
self.out: linear
torch.nn.Linear(odim * (((idim - 1) // 2 - 1) // 2), odim)) # output (16,45,256)
-
self.pos_enc
pos_emb (1,45,256) # output # speech = torch.nn.Dropout(speech) (16,45,256) # pos_emb = torch.nn.Dropout(pos_emb) (1,45,256)
-
-
$subsampling
#output: speech , pos_emb , mask(16,1,45) #x_mask[:, :, :-2:2][:, :, :-2:2]
-
add_optional_chunk_mask
add_optional_chunk_mask
-
标签:45,nn,16,流程,torch,mask,speech,Wenet,梳理 来源: https://www.cnblogs.com/lhx9527/p/16138419.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。