ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

jenkins+ rclone定时同步sftp数据到s3

2020-10-23 13:32:14  阅读:363  来源: 互联网

标签:rclone s3 sftp 任务 使用 jenkins 定时 copy


一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持 
多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron) 
使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性

参考图

 

 

操作流程说明

因为rclone的配置是可以复用的,所以配置好一个同时copy jenkins 的agent 就行了,具体创建的jenkins job 就是一个执行rclone shell 命令 
的自由job了,对于定时任务,我们可以使用jenkins 自带的定时触发机制,随意调整任务的构建了

说明

rclone 对于同步包含了copy 以及sync 命令,如果是打算源以及目的是一样的,直接使用sync就可以,对于目的可能会变,但是不像被删除的话 
可以使用copy

参考资料

https://github.com/rclone/rclone 
https://rclone.org/

标签:rclone,s3,sftp,任务,使用,jenkins,定时,copy
来源: https://www.cnblogs.com/rongfengliang/p/13863664.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有