标签：dremio 格式化 format DROP 插件 CTAS java

dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展

可修改存储扩展接口定义

从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了
不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的

 

 

s3 CTAS 处理简单说明

对于实现了MutablePlugin的类，都会包含一个writer，可以实现数据的写入，但是官方是有一个限制，只能基于格式化插件进行调用
（可能是特定场景的问题）

 

 @Override

  public Writer getWriter(PhysicalOperator child, String location, WriterOptions options, OpProps props) throws IOException {

    throw new IllegalStateException("The ctas entry for a file system plugin should invoke get writer on the format plugin directly.");

  }

格式化插件方法签名(包含了数据的读以及写操作定义)

 

 

目前官方对于parquet 周边已经包含了不少format 插件，同时dremio 也延续了apache drill 的easyformat 处理,进行了不少的包装，同时简化format 插件的开发，后变应该会介绍下，格式化插件是直接在文件系统的基于类型获取的
比如文件系统的

 

 // 获取格式化插件，基于formatCreator 创建

public FormatPlugin getFormatPlugin(String name) {

  return formatCreator.getFormatPluginByName(name);

}

所以我们可以自己扩展自己的格式化插件，同时创建以及存储系统，就能和dremio 集成了

说明

dremio 的扩展行是很强大的，支持因为dremio 的半开源玩法，造成周边社区并不是很好，我们可以通过阅读源码学习深入了解

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemPlugin.java
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FormatCreator.java
https://drill.apache.org/docs/excel-format-plugin/
https://learning.oreilly.com/library/view/learning-apache-drill/9781492032786/ch12.html#idm140692990133520

标签：dremio,格式化,format,DROP,插件,CTAS,java
来源： https://www.cnblogs.com/rongfengliang/p/15954623.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。