1、案例需求 使用 Flume-1 监控文件变动,Flume-1 将变动内容传递给 Flume-2,Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3,Flume-3 负责输出到 Local FileSystem。 2)
2、需求分析: 3、实现步骤: 准备工作 在/opt/module/flume/job 目录下创建 group1 文件夹 在/opt/module/datas/目录下创建 flume3 文件夹 创建 flume-file-flume.conf 配置 1 个接收日志文件的 source 和两个 channel、两个 sink,分别输送给 flume-flume-hdfs 和 flume-flume-dir。
编辑配置文件 添加如下内容 2.创建 flume-flume-hdfs.conf 配置上级 Flume 输出的 Source,输出是到 HDFS 的 Sink。 编辑配置文件 添加如下内容 3.创建 flume-flume-dir.conf 配置上级 Flume 输出的 Source,输出是到本地目录的 Sink。 编辑配置文件 添加如下内容 提示:输出的本地目录必须是已经存在的目录,如果该目录不存在,并不会创建新的目录。
4.执行配置文件 分别启动对应的 flume 进程:flume-flume-dir,flume-flume-hdfs,flume-file-flume。 5.启动 Hadoop 和 Hive 6.检查 HDFS 上数据 7.检查/opt/module/datas/flume3 目录中数据