易坊好文馆

  1. 首页 > 玩科技 >

能力|星环科技 TDS 联邦计算能力，让企业异构数据源数据合作畅通无阻( 二 )

科技 企业 平台 消息资讯 能力 数据 数据库 数据源 联邦 集成 统一 星环 异构 数仓


数据仓库的扩展：企业部署数据仓库后存在问题 ， 一方面 ， 整个企业不太可能只使用单一数仓；另一方面 ， 企业仍然有大量的数据未存入任何数仓 ， 需要构建统一视角 。 而数据联邦和联邦计算能在无需转换格式和移动数据的情况下 ， 提供所有企业数仓和零散数据的统一视角 ， 降低了数据移动转换的成本 。
异构数据源的处理
企业数据治理：联邦后的数据构成数据治理的底座 ， 对异构数据库或数据平台提供统一管理 ， 形成统一的数据治理流程和规则 。 经过治理后 ， 企业可以构建出完整的数据信息资产列表 ， 如企业数据资源 ， 或者完整的客户信息视图等 ， 可对这些资产进行共享交换 。
异构平台迁移：在异构平台迁移过程中使用联邦计算 ， 能使迁移过程更平滑 ， 无需考虑数据的迁移和异构平台语法不兼容等问题 ， 保证应用对数据的使用不受影响 ， 且能在迁移完成后在不影响新应用的前提下更改数据源配置 。
异构数据分析：企业可以利用数据联邦的能力 ， 实现跨结构化数据、非结构化或者半结构化数据的分析 。
星环科技自研的联邦计算平台 ， 联邦多个同构或异构的自治数据源
联邦计算的关键点即实现基于统一的SQL查询引擎 。 星环自研的联邦计算平台可以联邦多个同构或异构的自治数据源 ， 用户可以随意查询在联邦系统中任意位置的数据 ， 而不必关心数据的存放位置、实际数据源系统的SQL语言种类或存储能力 。 其架构如下图所示 ， 主要实现了对以下两方面的统一：
1.统一的元数据管理
构建各个同构、异构数据源的抽象整体视图 ， 提供统一数据源连接管理、统一的元信息管理 。
数据源连接层：通过联邦计算平台 ， 开发者可以构建跨数据库实例的虚拟连接 ， 从而在当前数据库中实现跨库访问 。 该层负责管理接入数据源 ， 既支持传统数据源的连接 ， 也支持大数据平台的连接；既支持结构性数据 ， 也支持非结构数据接入 。
元信息管理层：从各数据源获取元信息并集中管理 ， 通过对数据源的查询来获取和维护最新的元信息 ， 从而保证元数据在各个平台之间的一致性 ， 在构建、运行、维护的整个联邦计算的生命周期中起到关键支撑作用 。
2.统一的查询加工接口
为联邦的数据提供数据加工、数据查询的统一接口 ， 用统一的标准SQL语句实现跨平台的数据加工 。
联邦查询SQL引擎层：作为统一的语法解析层 ， 解析SQL指令 。 其核心是SQL编译器、优化器和事务管理单元 ， 它是保证可以给开发者提供比较好的数据库体验 ， 无需基于底层不同平台且有差异化API来做业务开发 ， 同时会经过优化器来生成最佳的执行计划 ， 最终将执行计划推送给计算引擎层 。

推荐阅读


上一篇：网络|首期4.7万起买舒阔四房，畅享智慧科技生活

下一篇：数据|道路设计BIM软件，首选OpenRoads Designer ！