基于Flink的互联网直播平台日志分析

项目功能需求

接入的数据类型就是日志

离线：Flume ==> HDFS

实时：Kafka ==> 流处理引擎 ==> ES ==> Kibana

项目功能

统计一分钟内每个域名访问产生的流量

Flink接收Kafka的进行处理

统计一分钟内每个用户产生的流量

域名和用户是有对应关系的

Flink接收Kafka的进行 + Flink读取域名和用户的配置数据进行处理

数据源

Mock 产生: 务必要掌握的

数据敏感多团队协作，你依赖了其他团队提供的服务或者接口 项目架构

mock数据

kafka生产者代码开发

通过mock的方式往Kafka的broker里面发送数据

Java/Scala Code: producer

kafka 控制台消费者: consumer

a Code: producer

kafka 控制台消费者: consumer