flume部署安装以及案例运行(25)
3.Memory Channel是一个不稳定的channel , 它在内存中存储所有事件 ,
如果进程异常停止 , 内存中的数据将不能让恢复 , 而且受内存大小的限制 。
4.flie channel:是一个持久化的channel , 数据安全并且只要磁盘空间足够 , 它就可以将数据存储到磁盘上
5.checkpointDir:检查数据完整性 , 存放检查点目录 , 可以检测出哪些数据已被抽取 , 哪些还没有
6.dataDirs:存放数据的目录 , dataDirs可以是多个目录 , 以逗号隔开 , 用独立的多个磁盘上的多个目录可以提高file channel的性能 。
7.hdfs上数据默认是二进制的文件类型:bin/hdfs dfs -text /
8.可以修改hdfs.fileType 改为DataStream(数据流)hdfs.writeFormat = Text 改为文本格式
9.当使用DataStream时候 , 文件不会被压缩 , 不需要设置hdfs.codeC;当使用CompressedStream时候 , 必须设置一个正确的hdfs.codeC值;hdfs.codeC压缩编码解码器 --》snappy压缩
推荐阅读
- 辐射3|《辐射3》正式移除GFWL服务,游戏安装终于不再是技术活
- playstation5|PS5升级安装固态硬盘的个人心得,PS5国行光驱今日行情4468元
- 赛博朋克2077|用了一个月,终于把《赛博朋克2077》的安装文件下载完了
- ag战队|AG取消一诺的队长职位,月光宣布秋季赛部署:两人固定首发,“上中野”轮换
- 手机游戏|DNF手游开启预下载?玩家安装后发现是老版本,上线遥遥无期
- 软件|UEFI+GPT和Legacy+MBR两种模式安装的系统有什么区别
- 浏览器|维修师傅重装系统后,为什么要“帮你”安装2345?内行人说出实情
- 路由器|家里安装200M宽带,为什么网络还是容易卡顿?你可能没做到这2点
- |tomcat部署项目的几种方式
- 卫星|“卫星锅”被禁止安装,用它能看到什么“猫腻”?专家说出实情