flume部署安装以及案例运行(20)

2020-01-07

一些配置说明

问题：hdfs上的文件一般数据文件大小要大，而且文件数量是要少

hdfs.rollInterval = 600 (这个地方最好还是设置一个时间)

hdfs.rollSize = 1048576 （1M ， 134217728-》128M）

hdfs.rollCount = 0

hdfs.minBlockReplicas = 1 (这个不设置的话，上面的参数有可能不会生效)

在hdfs文件上设置时间格式分层年月日/时每小时生成一个文件

hdfs.useLocalTimeStamp = true

hdfs.round = true

hdfs.roundValue\t= 1

hdfs.roundUnit = hour

将准备好的jar上传到flume/lib中

推荐阅读

上一篇：马云投50亿，京东砸300亿，华为也来凑热闹，这个城市有何魅力？

下一篇：荣耀20终于沦为“冰点价”？不少机友感慨：还是晚了