标签：jdbc java 处理 castled connector 源码 Castled poller

connector 属于Castled 一个比较核心的东西，包含了核心部分的datawarehouse数据poll 处理，同时也包含了对于不同外部服务集成的处理
当然才代码中我们也可以看到一部分基于stream 的处理（文件，jdbc，s3.。。。），auth部分基于了oauth目前更多是关注认证，但是没有授权的处理
以下主要说明下关于jdbc 的处理以及数据poll的处理，关于外部集成部分后边单独介绍（属于一个重点）

代码结构

 

├── LICENSE.md

├── javadoc

│   └── README.md

├── pom.xml

└── src

    ├── main

    │   └── java

    │       └── io

    │           └── castled

    │               ├── OptionsReferences.java

    │               ├── apps

    │               ├── cache

    │               ├── commons // 异常以及模型，同时包含了stream 的处理（主要处理csv以及json格式的）

    │               ├── constants

    │               ├── dtos

    │               ├── exceptions

    │               ├── filestorage // 基于对象存储的处理（目前主要是aws 以及gcs）

    │               ├── jdbc  // jdbc 访问处理，包含链接管理以及ssh tunnel 的集成

    │               ├── models  

    │               ├── oauth

    │               ├── optionsfetchers

    │               ├── services

    │               ├── utils

    │               └── warehouses // 包含了关于基于pg datawarehouse 的处理，核心

    └── test

        └── java

            └── io

                └── castled

                    ├── AppTest.java

                    └── warehouses

 

代码说明

• 核心组件
  包含了connector 以及poller

connector 组件关系

 

 

poller

 

 

poller 依赖的RecordInputStream
RecordInputStream类继承关系

 

 

说明

以上主要简单介绍关于connector以及poller说明，后边会详细说明下内部实现细节

参考资料

https://github.com/castledio/castled
https://oss-docs.castled.io/getting-started/Pipelines/overview

标签：jdbc,java,处理,castled,connector,源码,Castled,poller
来源： https://www.cnblogs.com/rongfengliang/p/15858632.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。