ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

python流式Pipeline串联处理数据流程

2022-03-08 11:00:43  阅读:171  来源: 互联网

标签:Pipeline fastcore python 流程 流式 处理 AOP


最近需要清洗一批数据,涉及到好几个流程,以前的方式是所有数据处理完一步后再进行下一步,这种方式也能很好的完成需求。

最近发现了一个python的PipeLine库 fastcore  

里面有个pipeline模块,正好满足我的需求

from fastcore.transform import Pipeline

 

通过以上方式的改写,处理流程改为了串联,一个词同步方法1 2 3 4 处理完后输出最终结果,每一个词都经过了这自定义的4个步骤处理,感觉这种

处理方式类似面向切面编程AOP,一个请求经过多个AOP处理后又回到了主管道,输出最终结果

参考 https://zhuanlan.zhihu.com/p/359299883?ivk_sa=1024320u

标签:Pipeline,fastcore,python,流程,流式,处理,AOP
来源: https://www.cnblogs.com/fly-kaka/p/15979517.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有