Flume企业案例 负载均衡和故障转移

    科技2022-07-21  114

    1、案例需求 使用 Flume1 监控一个端口,其 sink 组中的 sink 分别对接 Flume2 和 Flume3,采用 FailoverSinkProcessor,实现故障转移的功能。

    2、需求分析 3、实现步骤 0.准备工作 FailoverSinkProcessor 在/opt/module/flume/job 目录下创建 group2 文件夹 创建 flume-netcat-flume.conf

    配置 1 个 netcat source 和 1 个 channel、1 个 sink group(2 个 sink),分别输送给 flume-flume-console1 和 flume-flume-console2。

    编辑配置文件 添加如下内容 2.创建 flume-flume-console1.conf 配置上级 Flume 输出的 Source,输出是到本地控制台。 编辑配置文件 添加如下内容 3.创建 flume-flume-console2.conf 配置上级 Flume 输出的 Source,输出是到本地控制台。 编辑配置文件 添加如下内容 4.执行配置文件 分别开启对应配置文件:flume-flume-console2,flume-flume-console1,flume-netcat- flume。 5.使用 netcat 工具向本机的 44444 端口发送内容 6.查看 Flume2 及 Flume3 的控制台打印日志 7.将 Flume2 kill,观察 Flume3 的控制台打印情况。 注:使用 jps -ml 查看 Flume 进程。

    Processed: 0.010, SQL: 8