数据库表记录变更监控方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1172 天前的主题，其中的信息可能已经有所发展或是发生改变。

目前有个需求，需要 Java 程序中，监控到某几张表的数据变更

比如，A 表新增了一条记录，然后我这边 Java 能收到通知，有没有比较轻量级的方案呢？

目前是用的 canal 订阅 binlog 来实现的，但是遇到 canal 线上服务器 CPU 100%，而且不太稳定。

canal

Java

变更

binlog

13 条回复 • 2021-09-16 19:18:16 +08:00

Morriaty

2021-09-15 11:48:57 +08:00

where update_time >= xxxx 呗

Kymair

2021-09-15 11:49:43 +08:00

还是订阅 binlog 比较靠谱。

https://maxwells-daemon.io/

zealinux

2021-09-15 11:57:35 +08:00

A 表新增记录后，发一条通知到 MQ 。
Java 应用订阅这个

Geekerstar

2021-09-15 12:12:43 +08:00

@Morriaty 这是个思路，谢谢

Geekerstar

2021-09-15 12:13:16 +08:00

要求是不改造原有业务

Geekerstar

2021-09-15 12:14:24 +08:00

@Kymair maxwell 这个是不是比 canal 要轻量一些呢

leorealman

2021-09-15 14:33:50 +08:00

https://github.com/zendesk/maxwell

taowen

2021-09-15 15:16:51 +08:00

https://debezium.io/

xio

2021-09-15 15:22:46 +08:00

Postgres 的话可以 pg_notify 来做 pub/sub，不确定其他数据库有么有类似的功能

mmdsun

2021-09-15 19:15:14 +08:00 via Android

一个开源工具 mysql-binlog-connector-java，用来监控 binlog，Java 语言。

https://github.com/shyiko/mysql-binlog-connector-java

beginor

2021-09-15 19:29:09 +08:00 via Android

做个 trigger，在 trigger 里面发 http 请求？

azkaban

2021-09-15 20:34:08 +08:00

从库 binlog，flink cdc，里面写逻辑就行了

bthulu

2021-09-16 19:18:16 +08:00

不要用 canal 啊，手写 binlog 解析器就好了