失效链接处理 |
MySQL数据实时同步到ES轻松配置 PDF 下载
本站整理下载:
提取码:fsr5
相关截图:
主要内容:
1. 基本概述
本文介绍采用灵蜂数据集成软件 BeeDI 将 MySQL 数据实时同步到 ElasticSearch 的配置
操作过程。BeeDI 支持时间戳、触发器、日志解析、差异比对等多种同步模式,对于实
时同步需要采用日志解析模式。
2. 环境配置
2.1 创建用户
在主库创建同步用户,以用户 sync 为例,创建用户及权限分配语句如下:
CREATE USER 'sync'@'%' IDENTIFIED BY 'xxxxx';
GRANT SELECT,PROCESS,SUPER, REPLICATION CLIENT,REPLICATION SLAVE ON *.*
TO 'sync'@'%';
2.2 启用 BinLog
查询主库日志开启状态及日志记录格式:
show variables like 'log_bin';
show variables like "%binlog_format%";
如果日志状态为 OFF 或日志记录格式不为 ROW,则编辑 my.ini 文件,设置以下项
目内容:
log-bin="xxxxxx" --开启日志
binlog_format="ROW" --日志记录格式
3. BeeDI 同步操作
3.1 创建同步作业
在 BeeDI 新建 ETL 作业,作业名称指定 mysql_es,类型指定 ETL 模板,然后在模
板中依次设置 MySQL 和 ES 连接,操作如下:
MySQL 接口设置:
ElasticSearch 接口设置:
从 MySQL 资源窗口拖拽要同步的表节点到 ElasticSearch 窗口释放,弹出新建表对
话框,如下图:
|