标签：回写 join 数据文件 文件 parquet 增量 action 清洗

背景

需要对埋点数据进行增量清洗，增量更新parquet数据文件，步骤如下：

• 首次清洗历史所有数据
• 后续每次取增量数据和上次清洗结果做合并

问题

1、如何判断为首次任务，实现方案：

• 方案1:判断指定目录下是否存在数据文件
• 方案2:默认按照增量处理，首次不存在数据文件，通过异常捕获机制全量清洗

2、增量后回写文件失败

It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running ‘REFRESH TABLE tableName’ command in SQL or by recreating the Dataset/DataFrame involved

spark file not exists

原因分析：回写文件时才触发action，真正去读上一次生成的数据文件，而此时由于覆盖写原文件被删除掉，导致文件读取失败。

解决方案：回写文件前触发action，把结果缓存后再用于回写文件即可

标签：回写,join,数据文件,文件,parquet,增量,action,清洗
来源： https://www.cnblogs.com/sheung/p/14864017.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。