广告点击数实时统计:Spark StructuredStreaming + Redis Streams

云hbase+spark 2019-05-23

redis 实时系统 数据处理 spark aliyun stream 数据结构 jedis 存储 流处理 流数据 StructuredStreaming

实时统计广告点击数:Spark StructuredStreaming + Redis Stream

业务场景介绍

某广告公司在网页上投递动态图片广告,广告的展现形式是根据热点图片动态生成的。为了收入的最大化,需要统计每个广告的点击数来决定哪些广告可以投放的更长时间,哪些需要及时更换。大部分的广告生命周期很短,实时获取广告的点击数可以让我们快速确定哪些广告对业务是关键的。所以我们理想的解决方案是有流处理数据的能力,可以统计所有广告的点击量以及统计实时的点击量。

业务数据流

来看下我们业务数据链路。
_1

广告点击数据通过手机或者电脑的网页传递到“数据提取”,提取后的数据经过“数据处理”计算实时的点击数,最后存储到数据库,使用“数据查询”用于统计分析,统计每个广告的点击总数。
根据我们的数据特点,整个数据链路的数据输入输出如下:

输入

针对每个点击事件我

登录 后评论
下一篇
冒顿单于
5302人浏览
2019-08-28
相关推荐
X-Pack Spark用户手册
1198人浏览
2019-06-18 16:56:25
大数据开发必备技能
1387人浏览
2019-04-19 15:50:14
大数据最佳学习路线
487人浏览
2019-04-14 13:00:22
2
10
1
2857