联邦查询计算引擎层：作为支持多平台的统一计算引擎 。 星环选择了基于DAG的计算模式 ， 而且在它的基础上深度优化执行性能 ， 既能支持更多样化的数据计算需求 ， 也能够获得极致的性能 。 同时通过量化执行引擎技术来加速数据处理 ， 对于列式数据有明显的加速效果 。
Cache层：用于加速的缓存层 。
联邦平台访问层：支持标准的JDBC/ODBC/REST接口 。
除了有基础架构作为支撑 ， 联邦计算的落地还需要有上层的数据开发工具的支持 ， 与数据联邦配合实现从数据获取、加工、到价值变现的完整过程 ， 同时跨数据源的数据安全也应该得到保证 。
开发管理运维工具：统一的数据开发、管理、运维工具平台 ， 使企业可以更有效率的利用联邦计算构建企业内部的数据服务层 ， 以及数据业务价值层 。
安全层：负责认证、审计、授权 ， 提供数据加密、脱敏 ， 以及密级分类等功能 ， 保证数据在存储、传输、加工过程的安全 。
文章图片
数据联邦和联邦计算的实现
?
数据联邦和联邦计算的价值在于为数据集成和集成后的加工提供了便利的实现方式 ， 对于企业而言 ， 相关的完整解决方案以及可视化的操作 ， 是保障内部推广落地的关键 。 星环科技研发的数据治理平台Transwarp Data Studio（TDS） ， 作为企业级的数据加工平台 ， 联邦计算/数据联邦是TDS的核心能力之一 ， 除此之外还提供数据集成、存储、治理、建模、分析、挖掘和服务等数据处理全生命周期的企业级管理能力 。
文章图片
从应用层面的角度 ， 数据联邦要打通异构数据源 ， 实现系统性的数据共享、发布 ， 从而支撑应用 ， 为此开发平台应该提供元数据管理、数据资产列表、以及服务发布等保证数据视图统一的功能 ， 在TDS中通过以下模块实现：
统一数据资产目录（Transwarp Data Catalog）：一方面 ， Catalog同时支持接入主流关系型数据库、分布式数据库、NoSQL数据库和BI等数据源 ， 满足异构多数据源连接的需求 。 另一方面 ， Catalog通过数据库直连方式获取所有异构数据库或平台的技术元数据 ， 结合外部API方式补充异构数据库的数据血缘数据 ， 实现平台的数据管控和追踪 ， 满足数据联邦的元数据收集管理需求 。
统一数据门户商城（Transwarp Foresight）：能够整合各个平台上的数据产品并作为技术与业务的核心交换门户 ， 用较低开发和运维成本提供高性能的全数据平台的数据产品的共享交换服务 。
统一数据服务（Transwarp Midgard）：可通过数据库直连方式 ， 将各类数据库的数据发布为数据服务 ， 同时提供统一的安全管控和流量统计、控制 。
推荐阅读
- bleu|字节跳动火山翻译上新 38 个稀有语种，翻译能力再升级
- 产品|泰晶科技与紫光展锐联合实验室揭牌
- 空间|（科技）科普：詹姆斯·韦布空间望远镜——探索宇宙历史的“深空巨镜”
- 相关|科思科技：无人机地面控制站相关设备产品开始逐步发力
- 机身重量|黑科技眼控对焦23年后回归，升级！ 江一白解读EOS R3
- 公司|科思科技：正在加速推进智能无线电基带处理芯片的研发
- 项目|常德市二中2021青少年科技创新大赛再获佳绩
- 视点·观察|科技巨头纷纷发力元宇宙：这是否是所有人的未来？
- 技术|聚光科技旗下临床质谱仪获批医疗器械注册证
- 视点·观察|科技股连年上涨势头难以持续：或已透支未来涨幅