首页 > 其他分享> 文章详细

代码写作套路【2】实验进行中

2021-09-22 15:04:43 阅读：140 来源： 互联网

标签：套路代码 args pdb 实验写作 model 模型

实验中的代码写作至关重要，好的写作习惯有助于项目的推进，从而帮助实验者减少花费在实验上的时间。

实验代码分类

实验代码可以分成三大类：

模型训练代码
模型测试代码
数据处理代码：更改数据表现形式

实验中关注的问题

模型存储与加载

实验中核心代码产生的实验结果应该以全局唯一方式命名，下面介绍最简单的一种实验结果命名方式：时间戳。

# timestamp 
import datetime
id_ = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")

timestamp可以产生精确到秒的时间戳，当实验结果文件命名中包含时间戳时则自动保证了文件命名的全局唯一性。

# model_name
# pytorch
torch.save(model,'model'+id)
# tensorflow
model.save('model'+id_+'.h5')

model_name中展示了在模型分别使用pytorch和tensorflow训练时，模型存储的不同语法。这里模型的命名都符合model+id_的格式。

统一的模型命名格式可以帮助实验者快速准确地找到自己想要使用的模型。

# model_load
# pytorch
model = torch.load(model_path)
# tensorflow
model = tensorflow.keras.models.load_model(model_path)

model_load分别展示了模型在pytorch和tensorflow格式下加载的方式。

参数

模型训练与测试所需要的参数众多。以模型测试实验的参数为例，模型测试实验中的参数包括，所选择的模型，测试数据，测试规模等等。使用常规的方法每次测试都要向测试代码中输入参数较为麻烦。使用argparse包可以简化每次训练的过程。

# parse
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--test_query_size", help="number of query for test model", type=int, default=100)
parser.add_argument("--original_data", help="the csv file we play ce on",type=str, default='forest10.csv')
parser.add_argument("--model", help = 'the model you want to test')
args = parser.parse_args()

test_query_size = args.test_query_size
data = pd.read_csv(args.original_data)
model = tf.keras.models.load_model(args.model)

parse展示了实验案例

pdb调试

pdb调试工具可以帮助我们快速解决bug。

# pdb
import pdb
'''your code'''
pdb.set_trace()
'''your code'''

模型结构查看

这部分可以参考代码阅读套路【1】中的内容，先将模型加载出来（或是训练出来），然后调用下面语句，查看这个模型的可选属性有哪些。

print(model.__dict__)

实验跑得很慢怎么办

有时候实验跑的太慢也会成为阻碍实验继续进行的一个因素，这时候可以考虑以下几个解决方案

从cpu换到gpu
从一个device到另一个device
不使用虚拟环境

标签：套路,代码,args,pdb,实验,写作,model,模型
来源： https://blog.csdn.net/kullollo/article/details/119758073

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9