面试一线互联网大厂?那这道题目你必须得会!( 四 )

建议大家可以去研究Kafka底层的文件存储原理,那是非常经典的高性能高并发消息中间件存储架构的实现。

可以参考一下RabbitMQ和Kafka的官网,研究一下不同中间件的消费模型是怎么做的。

面试一线互联网大厂?那这道题目你必须得会!

支撑TB级数据写入的分布式架构

接着考虑第二个大的问题,消息中间件肯定会遇到每天TB级海量数据高并发高吞吐写入的场景。那么消息中间件的架构如何支撑呢?

这里就要考虑一下,数据是不是要分布式的存储?

比如说假如一天写入几百TB的数据,那不可能都放在一台机器上吧?所以数据的分布式存储是不是你要考虑的另外一个很重要的问题?

是不是要考虑把一个大的数据集合做分片存储,比如说分成N片数据,每个数据分片放在一台机器上,这样就可以充分利用多台机器的资源来承载TB级的大量数据了。

推荐阅读