ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

如何在云端运行机器学习超参数优化——第 3 部分

2022-11-18 18:34:37  阅读:197  来源: 互联网

标签:


  选项3:代管HPT服务

  一些CSP将包含专用HPTAPI作为其代理培训服务商品的一部分。AmazonSageMaker通过自动模型进行调整API适用HPT。采用我们的SageMakerHPT调整脚本,我们应该修改训练脚本(train.py)的入口点,

  在下面的代码块中,我们展示了如何配置和操作SageMakerHPT工作。为使用HPT操作与我们以前的例子一致,我们将应用程序最近宣布的SageMakerHPT适用于配置相似的HyperBand算法。遗憾的是,截至写本文时,SageMakerSDK(版本2.114.0)不包括操作HyperBand内置适用于调整操作。在下面的代码块中,我们展示了如何通过扩展来扩展SageMakerSession类去解决这个限制。

  优势与劣势

  这种方法的重要特点是方便。如果你已经用过了。AmazonSageMaker训练可以增强你的代码以适用于只使用几个额外的代码SageMakerAPI进行超参数调整。特别是,您不需要选择和集成专用专用。HPT框架(比如RayTune)。

  主要缺点是它是对的HPT该算法的适用性有限。SageMakerHPTAPI定义了一组封闭的算法,您可以从中选择。这些不一定包对你的问题的优秀(SOTA)或者最理想的算法相关实例,请参见此处)。

  请注意,我们可以在同一节点上运行顺序实验,基本没有延迟时间HPT方式相反,SageMakerHPT中顺序操作可能包括一些启动时间成本。最近,相同(热)培训案例的应用程序可以集成到后续实验中,成本显著降低了20倍(!!)。这避免了请求(和等待)的可用案例(来自AmazonEC2)费用及其取得所需的费用docker印象成本。然而,每个实验中仍有一些启动过程,如下载源代码和输入数据。

标签:
来源:

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有