近期 ， UCloud 优刻得UDTS在数据传输的基础上 ， 上线了数据集成服务 ， 可实现多个数据源合并 ， 打通数据孤岛以获得数据的统一视图 ， 方便业务进行数据分析决策; 助力企业灵活调整业务架构 ， 优化现有的数据库服务; 快速实现分库分表合并、自定义冲突处理策略、方便业务构建数据看板 。
文章图片
背景出于不同业务的数据存储和应用需求不同 ， 企业通常会将不同业务产生的数据分别存储在独立的数据库中 。 随着业务架构的不断调整 ， 以及受开发过程的影响 ， 原先分开存储的数据库逐渐暴露出一些问题：
→数据分散在不同的数据库实例上 ， 形成独立的数据孤岛 ， 难以实现数据的聚合分析 。 传统的通过MySQL主从关系同步数据的方式 ， 在MySQL5.7版本之前无法建立多对一的增量同步关系 。 MySQL5.7版本虽然推出了多源复制功能 ， 但功能单一 ， 无法进行不同库表间的映射 ， 且配置过程复杂 ， 当源数量较多时容易出错 。
→数据库分库分表之后存在多个数据库实例 ， 难以再合并到统一的库表中 。 传统的数据库迁移工具无法处理合并过程中产生的数据冲突问题 。
→数据量越来越大 ， 在不影响业务的前提下很难调整数据库架构 。 在线修改字段类型或者字段名 ， 要么受限于数据库功能 ， 要么可能给业务带来较大影响而难以调整 。
UCloud优刻得一站式数据集成解决方案 多源数据聚合
针对数据库分散 ， 难以聚合的问题 。 UCloud优刻得UDTS推出数据集成服务 ， 可轻松帮助用户完成多源聚合 。 单个任务可支持多达 10 个数据源聚合 ， 同时可支持不同类型网络环境下的数据源 ， 包括外网、内网以及专线 。
举例: 假设现在有两个数据源 ， 分别是 10.10.10.100:3306 和 10.10.10.120:3306， 聚合模式如下图所示 ：
文章图片
考虑到大多数据源都承载着在线业务 ， 为了避免多源聚合对线上业务的影响 ， UCloud优刻得UDTS数据集成服务还支持针对每个数据源独立限速 。
数据库合库合表
数据库合库合表通常存在以下难点:
→数据库实例分散
→数据可能存在冲突
→对不同的数据库需要不同的数据冲突解决方法
针对以上这些问题 ， UCloud优刻得UDTS数据集成服务在多源聚合的基础上 ， 提供以下方式解决：
1. 自定义基础数据
→对于每个数据源 ， 都可指定“是否保留目标库的原数据” ， 如果选择“是” ， 在导入数据表时 ， 会保留原有数据库表定义及数据 。
→而如果选择了不保留数据 ， 则在导入数据时 ， 会根据映射规则先清理对应的表及其数据 。
文章图片
2. 自动解决数据冲突
在创建任务时可对每个数据源独立定义数据冲突解决策略 ， 在数据集成时 ， 可根据自己的数据冲突解决策略来处理冲突数据 。 当前提供“保留”与“替换”两种策略 。
→保留: 当数据发生冲突时 ， 保留目标库中的原数据 ， 而丢弃当前数据 。
当使用保留规则时 ， 导入数据使用 INSERT IGNORE INTO , 比如 INSERT IGNORE INTO table VALUES(1, "name", 18)， 当有重复数据时 ， 保留原有的数据 ， 新插入的数据会被忽略 。
→替换: 当发生数据冲突时 ， 使用新的数据替换目标库中原来的数据 。
当使用替换规则时 ， 导入数据使用 REPLACE INTO， 比如 REPLACE INTO table VALUES(1, "name", 18)， 老的数据将会被新数据覆盖 ， 集成任务中有多个子任务(多个源往同一个目标数据库同步)时 ， 需要注意顺序 。
文章图片
数据库架构调整
在开发的过程中 ， 难免会遇到数据库改名、表变更等问题 ， 但等到数据库架构要调整的时候 ， 才发现累积了一堆“陈年旧债” 。通过UCloud优刻得UDTS数据集成服务的全量+增量 ， 不仅可以将全量数据按映射规则迁移到目标库中 ， 还可动态实现增量数据的库表名称的映射 。
文章图片
避免用户对数据源锁库锁表的担忧 ， UCloud优刻得UDTS数据集成服务还提供了No Lock模式 ， 在此模式下数据集成服务运行的过程中不会对源库表进行任何的锁操作 。
数据集成服务案例 1、数据脱敏
某教育企业 ， 使用UCloud优刻得UDTS数据集成服务 ， 将数据脱敏处理后 ， 再交由内部其它部?进行数据分析 ， 提取数据的有效价值 。 既避免了敏感数据泄漏风险 ， 又帮助企业更快、更精准的决策 。
文章图片
2、数据合并
某金融企业使用UCloud优刻得UDTS数据集成服务 ， 将前期拆分后的数据库合并 ， 方便进行后续的业务开发和分析 。
文章图片
3、架构调整
某交友软件为了适应新的架构 ， 通过UCloud优刻得UDTS数据集成服务对数据库 db 和 table 进行了重新调整 ， 适应了新的环境 。
架构的调整不仅仅是对现有数据库的改名 ， 还依赖于存量数据的变更、增量数据的同步、业务的回滚等 。
【上线|UCloud优刻得UDTS数据集成服务上线，汇聚多源数据帮助企业高效分析决策】
文章图片
总结总的来说 ， UCloud优刻得UDTS数据集成服务带给企业的价值主要体现在以下三个方面：
→多源数据聚合 ， 数据合并 ， 构建 BI数据看板 ， 提取数据价值；
→同构数据整合 ， 自动处理数据冲突 。
→数据库架构在线调整 ， 提升业务整体性能 。
UCloud优刻得UDTS数据集成服务目前正在免费公测期 ， 欢迎前往控制台开启体验～
推荐阅读
- IT|95306铁路货运电子商务平台升级上线 可24小时办理货运业务
- 上海|上海供水热线与城投水务官网合并上线，一站式服务更便民
- 问答|紧追B站加码知识类内容，抖音上线“学习频道”
- 吴祖榕|上线 2 周年，用户数破 2 亿，腾讯会议和我们聊了聊背后的产品法则
- 硬件|上线两年用户破两亿，腾讯会议还能做什么？
- 词条|百度百科上线2500万词条，超750万用户参与共创科普知识内容
- 国际|第23届高交会线上线下共享科技盛宴
- IT|新能源车专属保险上线，保费却贵了？业内人士回应
- Baidu|百度网盘青春版正式上线 只能传3次文件被吐槽是“一次性App”
- 青春|百度网盘青春版正式上线：免费空间 10GB，支持无差别速率下载