易坊好文馆

  1. 首页 > 玩科技 >

FastData|一站式云原生数据智能，滴普科技 FastData 湖仓一体实践分析

作者 | 宋慧
出品 | CSDN（ID：CSDNnews）
【FastData|一站式云原生数据智能，滴普科技 FastData 湖仓一体实践分析】继土地、劳动力、资本、技术之后 ， 数据已经成为第五大生产要素 ， 数据越来越重要了 。 随着企业数据量爆发式增长 ， 5G 和 AI 深入应用和快速创新 ， 也让数据库技术不停向前发展 。 在这样的契机下 ， CSDN 在一年一度重磅的 1024 程序员节大会上、以及新一期的《程序员》杂志中 ， 都重点探讨了新数据库时代的话题和内容 。
业界意识到 ， 出现了几十年的传统关系型数据库 ， 已经无法满足现代非结构化数据管理、实时性分析、快速扩展等等新需求 。 也因此 ， 数据仓库和数据湖应运而生 。 不过 ， 在企业中 ， 往往是数据仓库、数据湖 ， 多套系统共存 ， 运维复杂度之外 ， 数据延迟仍然存在 。 而湖仓一体提出了兼具统一数据存储和数据处理的概念 ， 成为了技术界目前一个重要的发展方向 。
近日 ， CSDN 专访了数据智能服务商滴普科技 FastData 产品线总裁杨磊 。 滴普科技推出的云原生数据智能服务平台 FastData ， 就是服务于企业建立流批一体和湖仓一体的新一代数据存储计算平台和数据科学分析平台 。 通过采访 ， 让我们窥见湖仓一体的一线技术厂商对于数据管理应用与发展的真知灼见 。
湖仓一体的前世今生
作为数据平台厂商 ， 在杨磊看来 ， 现在数据的体量已经足够大 ， 大规模数据统一实时处理的需求愈加被重视 ， 是湖仓一体被广泛关注的主要原因 。 另一个促成湖仓一体发展的 ， 是 AI 机器学习的大规模普及 ， 各行各业都急需用机器学习算法支撑数据的管理与创新 。 因此 ， 兼具了数仓 （Data Warehouse） 和数据湖 （Data Lakes） 两者特性和性价比的湖仓一体也就应运而生了 。
杨磊对 CSDN 介绍 ， 在中国 ， 高端制造业、零售业等数据密集型的行业 ， 五六年前使用商业化的大数据平台如 CDH 等 ， 现在这些行业也是湖仓一体最早和最快的接受者 。 但同时 ， 也仍有很多企业用户的数据管理应用成熟度不高 ， 对于湖仓一体仍持观望态度 。
湖仓一体的应用 ， 也并不是从零开始 。 头部客户对数据的管理应用 ， 往往都会经历 Oracle、SAP、CDH 等阶段 ， 数据仓库和大数据平台甚至长期（烟囱式）并存 。 现在 ， 企业可以用湖仓一体取代 CDH ， 或是在 CDH 之外用湖仓一体升级/替换已有的多个传统数据仓库 。
滴普科技 FastData ， “全栈式”的数据智能平台
为了满足上述的数据管理需求 ， 杨磊表示 ， 湖仓一体的技术核心 ， 第一就是实现 统一的存储与元数据管理 ， 及表引擎统一 ， 以保证湖仓中的数据统一和读写的一致性 。 同样重要的是 多样化的计算引擎 ， 例如流批交互分析引擎、机器学习计算引擎等 。 另外 ， 湖仓一体的服务 ， 需要实现 用户的统一使用体验 ， 改变以往各种数据分析处理使用不同语言（以往 Python、Java 甚至更多语言并存）的技术复杂性 ， 以及实现图形化界面等 。

推荐阅读


上一篇：员工|流动的互联网，铁打的阿里：千禧一代和Z世代为何都爱去阿里工作？

下一篇：快照|中国天眼取得系列重要科学成果