首页
登录 | 注册

Maxwell+Kafka+ELK 实现数据库日志分析(一)

产品正式上线有一段时间了,用户量越来越多,对产品进行深入的商业分析这件事逐渐被提上了日程。此时,就需要搭建一套系统能够实现对数据的采集,处理和展示。

系统架构

做了一些调研,最后决定用ElasticStack架构,也就是 Kafka+ELK 的架构。架构实现参照文章  【 ES 私房菜 】系统运维数据分析平台架构

系统主要架构如图所示:

Maxwell+Kafka+ELK 实现数据库日志分析(一)

具体实现为:

1. Maxwell 链接数据库,读取Mysql数据库中的BinLog文件,并将内容转化为json格式发送给 Kafka。

2. Kafka接收消息并实现转发

3. Logstash 从Kafka 读取转发的消息,并经过一定的数据处理后存入Elastcisearch

4. Elasticsearch按照一定的数据结构存储数据

5. Kibana展示Elastcisearch存储的数据

组件搭建

Maxwell

Maxwell 能够读取MySQL 数据库的 binlogs,并将binlog中的更新以JSON的格式转发给Kafka,Kinesis,RabbitMQ, Google Cloud Pub/Sub 或者Redis 等第三方数据存储或转发工具。

数据库配置

在数据库连接Maxwell之前,需要先对数据库做一些配置。

1. 配置MySQL的binlogs 格式为row

$ vi my.cnf

[mysqld]

server-id=1

log-bin=master

binlog_format=row

2. MySQL数据库新建一个用户 maxwell,并为其配置相关权限

mysql> GRANT ALL on maxwell.* to 'maxwell'@'%' identified by 'XXXXXX';

mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%'; 

Maxwell docker搭建

1. 调试maxwell和MySQL的连接,可将producer定义为输出

docker run -ti --rm zendesk/maxwell bin/maxwell --user='maxwell' --password='XXXXXX' --host='mysql_host' --producer=stdout

若连接正常,则一旦MySQL中的binlog文件有更新,maxwell会接收文件更新,并打印输出。

2. Maxwell连接kafka,将mysql消息发送到kafka

搭建好kafka后(后文会介绍如何docker搭建kafka),maxwell可以将producer设置为kafka,此时maxwell能够将MySQL中的数据更新发送给kafka。

docker run -ti --rm zendesk/maxwell bin/maxwell --user='maxwell' --password='XXXXXX' --host='mysql_host' --producer=kafka --kafka.bootstrap.servers=kafka_host:9092 --log_level=debug

配置 log_level 的环境变量值为debug可以查看maxwell运行时更加详细的log输出。不配置次环境变量时默认为 info。

若一切正常,kafka 的 maxwell 的topic的consumer能够收到MySQL的binlog数据更新,格式为json。

 

以上为maxwell 的docker搭建和配置。后文会继续介绍 kafka, elk等的docker搭建。



作者:双向贝贝
链接:https://www.jianshu.com/p/afc4dcc9ffb6
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。



2020 jeepxie.net webmaster#jeepxie.net
10 q. 0.008 s.
京ICP备10005923号