1、案例需求 hadoop102 上的 Flume-1 监控文件/opt/module/data/group.log, hadoop103 上的 Flume-2 监控某一个端口的数据流, Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3,Flume-3 将最终数据打印到控 制台。
2、需求分析 3、实现步骤: 准备工作,分发 Flume 在 hadoop102、hadoop103 以及 hadoop104 的/opt/module/flume/job 目录下创建一个 group3 文件夹。 创建 flume1-logger-flume.conf 配置 Source 用于监控 hive.log 文件,配置 Sink 输出数据到下一级 Flume。 在 hadoop102 上编辑配置文件 添加如下内容 2.创建 flume2-netcat-flume.conf 配置 Source 监控端口 44444 数据流,配置 Sink 数据到下一级 Flume: 在 hadoop103 上编辑配置文件 添加如下内容 3.创建 flume3-flume-logger.conf 配置 source 用于接收 flume1 与 flume2 发送过来的数据流,最终合并后 sink 到控制台。 在 hadoop104 上编辑配置文件 添加如下内容 4.执行配置文件 分别开启对应配置文件:flume3-flume-logger.conf,flume2-netcat-flume.conf,flume1- logger-flume.conf。 5.在 hadoop103 上向/opt/module 目录下的 group.log 追加内容 6.在 hadoop102 上向 44444 端口发送数据 7.检查 hadoop104 上数据