标签：String final connector 源码 static Castled SNAPSHOT public uuid

Castled 的connector利用了schema 以及中间表进行数据存储（包含的已经提交的，未提交的）
官方使用了一个属于snapshot(快照)，对于数据的处理，官方使用了excep sql 函数，基于不同
时间的snapshot 利用excep 就可以知道数据的变动

几个提供的中间表

主要在ConnectorExecutionConstants 中定义

 

public class ConnectorExecutionConstants {

 

    public static final String CASTLED_CONTAINER = "castled";

    public static final String UNCOMMITTED_SNAPSHOT = "uncommitted_snapshot";

    public static final String COMMITTED_SNAPSHOT = "committed_snapshot";

    public static final String COMMITTED_SNAPSHOT_BACKUP = "committed_snapshot_bkp";

    public static final String FAILED_RECORDS = "failed_records";

 

    public static final Path WAREHOUSE_UNLOAD_DIR_PATH = Paths.get("warehouse_unloads");

    public static final Path FAILURE_RECORDS_DIR = Paths.get("pipeline_failed_records");

    public static final Path APP_UPLOADS_PATH = Paths.get("app_uploads");

   

    public static String getQualifiedCommittedSnapshot(String uuid) {

        return String.format("%s.%s_%s", CASTLED_CONTAINER, uuid, COMMITTED_SNAPSHOT);

    }

 

    public static String getFailedRecordsTable(String uuid) {

        return String.format("%s_%s", uuid, FAILED_RECORDS);

    }

 

    public static String getQualifiedUncommittedSnapshot(String uuid) {

        return String.format("%s.%s_%s", CASTLED_CONTAINER, uuid, UNCOMMITTED_SNAPSHOT);

    }

 

    public static String getCommittedSnapshot(String uuid) {

        return String.format("%s_%s", uuid, COMMITTED_SNAPSHOT);

    }

 

    public static String getUncommittedSnapshot(String uuid) {

        return String.format("%s_%s", uuid, UNCOMMITTED_SNAPSHOT);

    }

 

    public static String getQualifiedCommittedSnapshotBkp(String uuid) {

        return String.format("%s.%s_%s", CASTLED_CONTAINER, uuid, COMMITTED_SNAPSHOT_BACKUP);

    }

 

    public static String getCommittedSnapshotBackup(String uuid) {

        return String.format("%s_%s", uuid, COMMITTED_SNAPSHOT_BACKUP);

    }

 

}

说明

以上几个定义的中间表是比较重要的，如果运行Castled的话，就会看到类似的表在datawarehouse中，而且不同poller就是利用上边的定义进行数据处理的

参考资料

https://github.com/castledio/castled

标签：String,final,connector,源码,static,Castled,SNAPSHOT,public,uuid
来源： https://www.cnblogs.com/rongfengliang/p/15858718.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。