ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

Canal Admin

2020-06-09 20:08:22  阅读:432  来源: 互联网

标签:Canal canal Admin server admin properties


一、Canal Admin 安装与配置

1.1 下载

wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
tar zxvf canal.admin-$version.tar.gz

1.2 配置

conf/application.yml

server:
  port: 8089
spring:
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss
    time-zone: GMT+8

spring.datasource:
  address: 192.168.137.1:3306
  database: canal_manager
  username: canal
  password: canal
  driver-class-name: com.mysql.jdbc.Driver
  url: jdbc:mysql://${spring.datasource.address}/${spring.datasource.database}?useUnicode=true&characterEncoding=UTF-8&useSSL=false
  hikari:
    maximum-pool-size: 30
    minimum-idle: 1

canal:
  adminUser: admin
  adminPasswd: admin

1.3 初始化元数据库

数据库脚本位于 conf/canal_manager.sql

1.4 启动

sh bin/stop.sh

如果启动成功,可以通过 IP:8089 访问,默认密码:admin/123456

二、canal 配置

canal.properties 添加配置:

# canal admin config
canal.admin.manager = 127.0.0.1:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster =

重启 canal

或者不修改 canal.properties 配置,直接使用下面命令启动(使用 canal_local.properties 的配置):

sh bin/startup.sh local

或者删除 canal.properties 将 canal_local.properties 重命名为 canal.properties, 重启 canal

注意:需要确保配置的 MySQL 账户具有 canal_manager 库的插入权限,否则报错:

ERROR com.alibaba.otter.canal.deployer.CanalLauncher - ## Something goes wrong when starting up the canal Server:
com.alibaba.otter.canal.common.CanalException: load manager config failed.
Caused by: com.alibaba.otter.canal.common.CanalException: requestGet for canal config error: Error[INSERT command denied to user 'canal'@'192.168.137.101' for table 'canal_node_server']

直接 canal.properties 添加配置的话,默认的 example 实例会失效:

com.alibaba.otter.canal.common.CanalException: instance : example config is not found

需要在 Canal Admin 手动添加实例

三、更进一步

3.1 Canal Admin 设计理念:

canal-admin的核心模型主要有:

  1. instance,对应 canal-server 里的 instance,一个最小的订阅 MySQL 的队列
  2. server,对应 canal-server,一个 server 里可以包含多个 instance
  3. 集群,对应一组 canal-server,组合在一起面向高可用 HA 的运维

instance 因为是最原始的业务订阅诉求,它会和 server/集群 这两个面向资源服务属性的进行关联,比如 instance A 绑定到 server A 上或者集群 A 上

有了任务和资源的绑定关系后,对应的资源服务就会接收到这个任务配置,在对应的资源上动态加载 instance,并提供服务(动态加载的过程,有点类似于之前的 autoScan 机制,只不过基于 canal-admin 之后可就以变为远程的 web 操作,而不需要在机器上运维配置文件)

将 server 抽象成资源之后,原本 canal-server 运行所需要的 canal.properties/instance.properties 配置文件就需要在 web ui 上进行统一运维,每个 server 只需要以最基本的启动配置 (比如知道一下 canal-admin 的 manager 地址,以及访问配置的账号、密码即可)

3.2 面向 user/passwd 的安全 ACL 机制

canal.properties 中的 canal.admin.passwd 对应的是 application.yml 中的 canal.adminPasswd,使用 MySQL 的 password 方法加密(记得去掉第一个首字母的星号):

select password('admin')

+-------------------------------------------+
| password('admin')                         |
+-------------------------------------------+
| *4ACFE3202A5FF5CF467898FC58AAB1D615029441 |
+-------------------------------------------+

canal.admin.user/canal.admin.passwd,这是一个双向认证,canal-server 会以这个密文和 canal-admin做请求,同时canal-admin 也会以密码原文生成加密串后和 canal-server 进行 admin 端口链接,所以这里一定要确保这两个密码内容的一致性

Canal Admin 后台登录密码也是使用 MySQL 的 password 方法加密的,用户名密码存储在 canal_manager 库的 canal_user 表

参考

  1. Canal Admin QuickStart
  2. Canal Admin安装和使用
  3. Canal Admin Guide
  4. Canal Admin ServerGuide

标签:Canal,canal,Admin,server,admin,properties
来源: https://www.cnblogs.com/victorbu/p/13080168.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有