使用EMR-Kafka Connect进行数据迁移( 三 )
本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移 , 使用distributed模式 。
2.环境准备
创建两个EMR集群 , 集群类型为Kafka 。 EMR Kafka Connect安装在task节点上 , 进行数据迁移的目的Kafka集群需要创建task节点 。 集群创建好后 , task节点上EMR Kafka Connect服务会默认启动 , 端口号为8083 。
注意要保证两个集群的网路互通 , 详细的创建流程见创建集群 。
3.数据迁移
3.1准备工作
EMR Kafka Connect的配置文件路径为/etc/ecm/kafka-conf/connect-distributed.properties 。
在源Kafka集群创建需要同步的topic , 例如
另外 , Kafka Connect会将offsets configs和任务状态保存在topic中 , topic名对应配置文件中的offset.storage.topic、config.storage.topic 和status.storage.topic三个配置项 。 默认的 , Kafka Connect会自动的使用默认的partition和replication factor创建这三个topic 。
推荐阅读
- 金铲铲之战|金铲铲之战新赛季最强阵容:学院名流永恩,低分段玩家谨慎使用
- 激战2|MMORPG集体放大招?魔兽、FF14、激战2均使用End迎来主线剧情终章!
- 拉克罗斯|《宝可梦》使用虫系精灵的馆主阿笔,常用精灵不少都能Mega?
- 光环|梦幻西游:使用第三种打造方式,武器和衣服是可以拥有三加属性的
- adc|英雄联盟手游:为何会玩的小炮能5杀?学一学3技能的使用吧
- 史诗之路|DNF:别接盘时间结晶!史诗之路无限门票解析,两个角色可使用
- 卡牌|哈利波特:能力独特的4张卡,对手使用强度爆表,自己用却很垃圾
- 原神|原神:一个月卡低练度党的托马使用感想
- 剑道|易大师的第四次攻击会暴击,主动使用后,下次攻击必定暴击
- 王者荣耀|王者荣耀钥匙口令使用方法 王者荣耀钥匙口令怎么用