首页 > 数据库> 文章详细

go-mysql-elasticsearch安装部署

2021-10-23 14:00:07 阅读：191 来源： 互联网

标签：binlog github elasticsearch mysql go com

1.go-mysql-elasticsearch简介

go-mysql-elasticsearch是一个将MySQL数据自动同步到Elasticsearch的服务。

它首先使用mysqldump获取原始数据，然后用binlog增量地同步数据。

github地址：https://github.com/siddontang/go-mysql-elasticsearch

这里有几点注意事项：

1.Mysql的binlog必须是ROW模式，不然启动会报错。
2.连接Mysql的用户权限需要大一些。

2.安装

2.1 安装go

安装go

yum install -y go

安装godep

go get github.com/tools/godep

下载go-mysql-elastisearch插件

go get github.com/siddontang/go-mysql-elasticsearch

进入对应目录，比如我使用的如下目录/root/go/src/github.com/siddontang/go-mysql-elasticsearch

cd /root/go/src/github.com/siddontang/go-mysql-elasticsearch

编译

make

2.2 Mysql开启binlog

接下来需要在mysql中开启binlog，首先查询一下是否开启了binlog。

进入mysql

mysql -uroot -p

输入密码，然后输入如下命令查看binlog开启状态

show variables like '%log_bin%';

如图所示，ON为开启了，如果没有开启的话为OFF。

如果没有开启的话，需要在my.cnf配置中添加如下配置(其中server-id可以根据情况设置，这里设置为1，log-bin为日志位置，一定要给日志写的权限，不然会报错，binlog_format为模式，这里必须为ROW)：

server-id=1
log-bin=/usr/local/mysql-log/mysql-bin.log
binlog_format="ROW"

设置完成后重启mysql.

service mysqld restart

3.配置go-mysql-elasticsearch

需要配置一下go-mysql-elasticsearch，样例在：https://github.com/siddontang/go-mysql-elasticsearch/blob/master/etc/river.toml

本文测试的配置文件内容如下：

# MySQL 配置：地址，用户名，密码
my_addr = "ip:3306"     
my_user = "root"
my_pass = "***"

# Elasticsearch地址
es_addr = "ip:端口"
    
# 存储数据的位置
data_dir = "./var"
    
# Inner Http status address
stat_addr = "127.0.0.1:12800"
    
# pseudo server id like a slave
server_id = 1001
    
# mysql or mariadb
flavor = "mysql"
    
# mysql备份文件，如果不设置或设置为空，则跳过
mysqldump = "mysqldump"
    
# minimal items to be inserted in one bulk
bulk_size = 128
    
# force flush the pending requests if we don't have enough items >= bulk_size
flush_bulk_time = "200ms"
    
# Ignore table without primary key
skip_no_pk_table = false
    
# MySQL数据源，schema：数据库，tables：表
[[source]]
schema = "test"
tables = ["link_info"]

[[rule]]
schema = "test"
table = "link_info"
index = "test_mysql2"
type = "link_info"

4.运行go-mysql-elasticsearch

配置完成后，运行go-mysql-elasticsearch

bin/go-mysql-elasticsearch -config=river.toml

5.总结

由于没上过生产，所以只对我个人测试使用进行评价，安装上和数据同步感觉很友好，因为结合binlog的原因，可以实现同步增删改。对于网上说的日志很少和不成熟等说法，这里不评价。

标签：binlog,github,elasticsearch,mysql,go,com
来源： https://www.cnblogs.com/baiye125/p/15443055.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9