KafkaConnect如何实现同步RDSbinlog数据

Kafka Connect如何实现同步RDS binlog数据，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

我们提供的服务有：网站制作、网站建设、微信公众号开发、网站优化、网站认证、藤县ssl等。为成百上千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的藤县网站制作公司

下面介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

　　1. 背景

在我们的业务开发中，往往会碰到下面这个场景：

业务更新数据写到数据库中

业务更新数据需要实时传递给下游依赖处理

所以传统的处理架构可能会这样：

本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。

　2. 环境准备

实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2.1 准备一个测试RDS数据库

创建一个RDS实例，版本选择5.7。这里不赘述如何创建RDS，详细流程请参考RDS文档。创建完如图：

注意：RDS实例和E-MapReduce Kafka集群最好在同一个VPC中，否则需要打通两个VPC之间的网络。

　　3. Kafka Connect

3.1 Connector

Kafka Connect是一个用于Kafka和其他数据系统之间进行数据传输的工具，它可以实现基于Kafka的数据管道，打通上下游数据源。我们需要做的就是在Kafka Connect服务上运行一个Connector，这个Connector是具体实现如何从/向数据源中读/写数据。Confluent提供了很多Connector实现，你可以在这里下载。不过今天我们使用Debezium提供的一个MySQL Connector插件，下载地址。

下载这个插件，并将解压出来的jar包全部拷贝到kafka lib目录下。注意：需要将这些jar包拷贝到Kafka集群所有机器上。

在Kafka集群的服务列表中重启Kafka Connect组件。

登录到Kafka集群，配置并创建一个connector，命令如下：

3.3 注意事项

server_id是多少?：你可以在RDS执行"SELECT @@server_id;"查到。

创建connector时可能会出现连接失败，请确保RDS的白名单已经授权了Kafka集群机器访问。

　　4 测试

4.1 创建一张表

　　插入几条数据

结果如图所示：

看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。