Kafka

cover

文章列表

Maxwell + Kafka + Bireme 同步实战

完整实战指南:从 MySQL binlog 配置到 Maxwell 实时采集 JSON、Kafka 消息队列传输、最终通过 Bireme 落地 Greenplum/HashData 的端到端数据同步方案。深度解析 bootstrap 全量初始化、分区倾斜优化、acks 可靠性配置、JavaScript 过滤器、多实例部署等核心技术点,附带 MissingTableMap、权限缺失、时区偏差等常见异常的排查思路与解决方案。

more...
Canal 从原理到实战:单机部署、Kafka、HA 与 canal-admin

本文介绍 Canal 的核心原理与部署使用流程:从 MySQL Binlog/主从复制机制出发,说明 Canal 的工作方式;给出 MySQL 环境与权限配置、单机 Canal 部署与 Canal Client 示例;进一步讲解对接 Kafka 的关键参数、消费示例与位点保存;最后补充 HA 架构与 canal-admin 的安装与注册要点,帮助快速搭建可用于生产的增量订阅链路。

more...