dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展 可修改存储扩展接口定义 从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了 不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的 s3 CTAS 处理
内容来自官方文档，可以了解dremio对于job 的处理 参考图 流程图 说明 上图还是比较有意义的，可以了解dremio内部的一些处理机制，以及状态转换，同时官方文档也包含了job的性能参数 参考资料 https://docs.dremio.com/cloud/querying-data/jobs/
最近dremio 官方网站调整了，ui 看着舒服多了，同时也提供了cloud的介绍 参考架构 从机制上与snowflake 比较类似 dremio cloud 包含的对象 一个tree ，维护dremio 的基础数据以及vds，datasource 说明 dremio cloud 看着还是很强大的，一个入口解决查询调度问题，实现了控制面板
以下只列出部分关于sql 处理的调用链，方便学习以及开发自己的扩展 sql 查询流程 这个是一个关于后台反射的处理过程 schema 获取的 参考开发处理 比如我们需要自己开发一个支持jdbc 驱动的arp 扩展，参考流程 （以下几个函数是我们需要实现的）很多时候不见得就必须通过info
dremio 的pdfs 在系统中是一个比较重要的东西，dremio 的加速，上传，下载，查询结果，scratch 空间都是存储在这个里边的，没有配置的话，默认是在 paths.local 中, 同时官方支持多种文件存储（nas，hdfs，mapr-fs，s3，azure data lake，azure storage）而且dremio 基于s3 以及hdfs 也扩展了自己的hdfs 文件
lakefs 提供了专门的存储adapter，所以支持各类还是比较方便的，官方已经内置了不少存储适配 以下是简单的集成minio 环境准备 docker-compose文件 注意集成了dremio，dremio 添加了jprofiler扩展 version: '3' services: lakefs: image: dalongrong/lakefs
dremio 默认官方使用的是maridb 的jdbc 驱动，在链接doris 以及starrocks 的时候是会有问题的当然链接singlestore也是有问题的 ，解决方法使用mysql 驱动进行替换，我已经开发了相关的arp目前也已经支持了20版本的，而且经过测试是可行，没有问题的(同时也合并可20 版本mysql 驱动的一些修
dremio rbac 功能是企业版的特性，但是如果我们想自己扩展dremio 的权限模式社区版也是可以支持的只是我们需要自己扩展设计(还是有难度的)，推荐还是阅读下，这样如果自己需要扩展dremio 权限的话才能设计的比较完备，后续会进行详细说明的 参考资料 https://docs.dremio.com/security/rb
参考配置 dremio.jobs.new.ui 效果 说明 目前的测试官方18.1 分钟级别的元数据刷新也是支持了 参考资料 https://docs.dremio.com/advanced-administration/support-settings/
这个问题在dremio 社区中有人提到，而且最近也发现了类似的问题，经过大致分析，主要是以前引起的 原因 mysql arp mysql 数据类型与apache calcite 不一致 主要问题的mysql 定义无符号的int 类型时候，解决方法可以通过修改arp yaml 文件中定义的数据类型映射 说明 目前dremio 官方文
就在昨天官方提供了dremio 18 版本的社区版软件包，运行之后发现整体的ui 还是没有变动，对于混合类型的处理的确和官方的说法一致，当然实际运行之后与发布文档还是有区分的，肯定是有点问题 说明 对于官方的s3 以及ui 分钟级别的反射开启jar 包我也已经编译好了，可以直接使用，推荐暂时还是
目前官方文档不是很全，好多support key 是没有包含的，以下是从官方代码支持的 可以方便进行dremio 的管理（比如一些官方暂时没有说明的key。。。） 参考 代码路径: sabot/kernel/src/main/java/com/dremio/exec/planner/physical/PlannerSettings.java kernel @Options
问题 默认dremio 社区版支持的数据反射最小是1小时，实际中很多是不太方便的，官方提供了配置参数 accelerator.enable.subhour.policies 但是不太好的是官方文档没有写，同时oss 版本的ui 是写死的 配置。。。 解决方法 添加支持key 同时修改ui，ui 的修改可以直接修改dremio-dac-ui-<
混合类型在dremio17 是一个比较费事问题，增加了代码处理，实际上官方有说明 参考解决方法 禁用 基于support keystore.disable.mixed_types 参考 解决ui 界面进行混合类型的单一化（目前ui是有一些bug 的，但是还是可以使用的） 说明 dremio 18 也即将发布，而且混合类型即将废弃，所
dremio 官方提供了不只是基于ui 的反射操作，同时也提供了基于类似sql 的命令方便进行反射操作 创建反射 原始 ALTER DATASET <DATASET_PATH> CREATE RAW REFLECTION <REFLECTION_NAME> USING DISPLAY ( field1, field2, field3 ) [PARTITION BY (fiel
外部查询 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_HR_PSCNL')) 引号的处理 注意不是双引号，而且两个单引号 SELECT * FROM table(mdm_oracle.external_query('select * from mdm.ITMD_CUST where ts > ''2
参考配置 // for jdbc alter session set limits.single_field_size_bytes = 99000; // for system alter system set limits.single_field_size_bytes = 99000; 参考资料 https://community.dremio.com/t/how-to-handle-dremio-limit-32000-bytes-of-a
dremio 提供了几个方便的sql 命令，可以管理虚拟数据集以及物理数据源，还有就是进行数据集元数据的刷新，反射数据的处理 创建虚拟数据集 CREATE VDS <VIRTUAL-DATASET-PATH> AS <SQL-QUERY> 开启数据反射 ALTER VDS <dataset> SET ENABLE_DEFAULT_REFLECTI
dremio 最近发布了15.7 版本，同时删除了16版本（16问题挺多，maven 依赖没有私服，同时代码结构上有变动）打算直接安装一个15.7 版本的，同时按照官方的操作进行upgrade 然后升级kv 存储，发现实际上并不是这样的，不能直接进行升级方法降级（代码强制判断的） 解决方法 还好15.7 的依赖已经发布私服
主要是为了实现类似数据联邦的功能的 参考图 代码 package com.dalong.dremio; import com.dremio.common.AutoCloseables; import com.dremio.common.util.CloseableIterator; import com.dremio.exec.catalog.conf.DisplayMetadata; import com.drem
将dremio 串联到dremio 可以扩展dremio 的能力提供一种联邦的能力，扩展数据查询以及数据虚拟层的能力 参考图 说明 就是类似一种联邦的模式，dremio 可以串联dremio，核心方法是开发一个dremio 的arp connector，具体的开发方式与cratedb 的模式是一样的schema 的处理是核心与crat
以前有介绍过如何基于arp模式开发一个dremio cratedb 的connector，但是当时的开发还是有点问题的 以下是一个参考官方jdbc plugin 开发的cratedb connector （支持schema 获取） 参考源码 package com.dremio.exec.store.jdbc.conf; import com.dremio.common.AutoCl
因为官方文档对于配置文件的介绍太简单了,比如默认zk 注册的时候会有主机名称的问题，不然我们就需要自己配置 hosts，以下是来自官方代码仓库的一个参考配置，方便使用(注意此配置主要是核心组件的，还有其他组件自己的配置) 配置文件 文件位置 源码的common resources dremio-refere
dremio 提供了基于prometheus 的监控，同时也提供了opentracing 的支持（缺少文档说明） 对于prometheus 的支持也是需要进行编译的 编译扩展 clone 代码 git clone https://github.com/dremio-hub/dremio-prometheus-exporter 修改 修改为自己的版本
如果学习dremio 的话，会发现一些与drill 相似的地方，但是也有好多不同的地方，以下是一些区别，参考了网上以及一些自己的理解 dremio 基于apache arrow 更多的push down 能力 支持数据反射（加速数据访问） 提供了数据治理，数据审编，数据血缘，数据访问控制，数据虚拟化 自服务的数据提供 dremio
