flume部署安装以及案例运行(24)

(1)recursiveDirectorySearch  是否监视子目录以查找要读取的新文件

(2)includePattern 正则表达式 , 指定要包含的文件  (只.csv数据文件 , 是正则匹配)

(3)ignorePattern 正则表达式 , 指定要忽略的文件   (不抽取.csv数据文件 , 是正则匹配)

(4)缺点:不能对目录文件进行修改 , 如果有追加内容的文本文件 , 是不允许的(有可能不会被抽取 , 有可能会有错误)

2.flume监控目录 , 支持文件修改 , 并记录文件状态

(1)source:taildir  (类似exec + spooldir的组合)

(2)filegroups :设置source组 可设置多个  filegroups = f1

(3)filegroups.<filegroupName>:设置组员的监控目录和监控文件类型使用正则表示只能监控文件

(4)positionFile:设置定位文件的位置 , 以JSON格式写入给定位置文件上每个文件的最后读取位置

推荐阅读