Data Engineering2021-02-122037 字6 分钟Maxwell + Kafka + Bireme 同步实战完整实战指南:从 MySQL binlog 配置到 Maxwell 实时采集 JSON、Kafka 消息队列传输、最终通过 Bireme 落地 Greenplum/HashData 的端到端数据同步方案。深度解析 bootstrap 全量初始化、分区倾斜优化、acks 可靠性配置、JavaScript 过滤器、多实例部署等核心技术点,附带 MissingTableMap、权限缺失、时区偏差等常见异常的排查思路与解决方案。 ETL Data Warehouse Big Data Maxwell Kafkamore...
Data Engineering2020-04-114611 字12 分钟Apache Flink实战:从5分钟快速入门到高可用集群的完整部署指南本文全面介绍Apache Flink流处理框架的部署与开发实践,涵盖Flink核心概念、与Spark的对比分析、单机及集群部署方案、高可用配置、以及完整的Kafka到PostgreSQL的开发案例。通过实战演示,帮助开发者快速掌握Flink的部署架构与编程模式。 Flink Kafka Infrastructuremore...
Database2021-04-034205 字11 分钟Canal 从原理到实战:单机部署、Kafka、HA 与 canal-admin本文介绍 Canal 的核心原理与部署使用流程:从 MySQL Binlog/主从复制机制出发,说明 Canal 的工作方式;给出 MySQL 环境与权限配置、单机 Canal 部署与 Canal Client 示例;进一步讲解对接 Kafka 的关键参数、消费示例与位点保存;最后补充 HA 架构与 canal-admin 的安装与注册要点,帮助快速搭建可用于生产的增量订阅链路。 MySQL Kafka Big Datamore...