Lambda plus: 云上大数据解决方案_：Lambdaplus:云上大数据解决方案本文

科技频道提示您本文原始标题是：Lambda plus: 云上大数据解决方案

本文会简述大数据分析场景需要解决的技术挑战，讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。

大数据处理的挑战

现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种IOT场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。

抽象来看，支撑这些场景需求的分析系统，面临的都是大致相同的技术挑战：

业务分析的数据范围横跨实时数据和历史数据，既需求低延迟的实时数据分析，也需求对PB级的历史数据进行探索性的数据分析；可靠性和可扩展性问题，用户可能会存储海量的历史数据，同时数据规模有持续增长的趋势，需要引入分布式存储系统来满足可靠性和可扩展性需求，同时保证成本可控；技术栈深，需要组合流式组件、存储系统、计算组件和；可运维性要求高，复杂的大数据架构难以维护和管控；简述大数据架构发展