撑千万级,大型电商分布式架构解析(11)

大数据存储层:支持应用层和服务层的日志数据收集 , 关系数据库和 NOSQL 数据库的结构化和半结构化数据收集;

大数据处理层:通过 Mapreduce 进行离线数据分析或 Storm 实时数据分析 , 并将处理后的数据存入关系型数据库 。 (实际使用中 , 离线数据和实时数据会按照业务要求进行分类处理 , 并存入不同的数据库中 , 供应用层或服务层使用) 。

2. 电商网站架构案例

2.1. 网站初级架构

一般网站 , 刚开始的做法 , 是三台服务器 , 一台部署应用 , 一台部署数据库 , 一台部署 NFS 文件系统 。

这是前几年比较传统的做法 , 之前见到一个网站 10 万多会员 , 垂直服装设计门户 , N 多图片 。 使用了一台服务器部署了应用 , 数据库以及图片存储 。 出现了很多性能问题 。

如下图:

但是 , 目前主流的网站架构已经发生了翻天覆地的变化 。 一般都会采用集群的方式 , 进行高可用设计 。 至少是下面这个样子 。

推荐阅读