标签：Canal 同步 adapter 索引 字段 MySQL id ES

学习Canal同步MySQL数据至ES，在学习或测试过程中遇到的问题如下:

1.ES索引问题

1.必须先在ES创建好对应索引的Mapping。否则，会没有识别索引，会报写入错误。
2.索引字段必须和adapter select字段一致，否则会同步出错

2.ES版本问题

官网给出canal-1.1.4支持6.x.x以上，当测试同步时，ES7.x版本死活同步不了，询问社区才发现canal1.1.4只支持6.x，7.x需要修改代码重新编译才能支持

3.ES同步规则文件名问题

文件名必须以以.yml结尾，否则配置不生效

4.修改adapter配置问题

默认情况下，当修改完deploy、adapter配置后会自动加载配置，日志中也可以看到加载成功，但是实际并不会生效，需要重启deploy或adapter

5.destination黑名单问题

测试时设置的黑名单参数canal.instance.filter.black.regex=.\..。导致所有的库表都被过滤，所以adapter订阅不到任何数据，但是binlog日志位点仍然在改变，设置为canal.instance.filter.black.regex=即可解决

6.增量同步的记录中缺少id字段

增量同步的记录中缺少id字段，原因是adapter同步规则中select语句未加id字段导致

7.ES中的_id问题

sql语句部分，指定对应库表id为ES中的_id，否则会报错。pk字段设置后不生效

8.其他

1.所有配置一切正常，但仍然同步失败，删除表后重建表再重新同步成功（原因未查明）

标签：Canal,同步,adapter,索引,字段,MySQL,id,ES
来源： https://blog.51cto.com/wenbinli/2703509

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。