双11就要来了,实时大屏准备好了吗?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 以往大家做实时大屏,最常用的方法可能是将数据存在消息日志/数据库中,通过实时计算(Flink)去实时处理数据,将数据初步聚合后写入到数据库中,再对接实时大屏。整个链路中,数据存储和高并发的查询是最需要解决的问题,而市面上满足存储要求的产品并不能提供多元化的查询服务,满足查询要求的产品又需要维护多套存储系统,开发、运维的成本都只升不降.

双11就要来了,实时大屏准备好了吗?

双11马上就要到了,是不是还在为如何用最短的代码做出最酷炫的实时大屏而苦苦挣扎?运营mm要大屏实时刷新,最好秒级返回关键指标数据;研发gg不想熬夜学习多套系统,只想用一套代码就解决存储、查询、对接BI工具等多种问题......

以往大家做实时大屏,最常用的方法可能是将数据存在消息日志/数据库中,通过实时计算(Flink)去实时处理数据,将数据初步聚合后写入到数据库中,再对接实时大屏。整个链路中,数据存储和高并发的查询是最需要解决的问题,而市面上满足存储要求的产品并不能提供多元化的查询服务,满足查询要求的产品又需要维护多套存储系统,开发、运维的成本都只升不降....

就在大家为各种问题争分夺秒苦苦挣扎时,小编带着《交互式分析六脉神剑》来了。六脉神剑的第4剑是指右手小指—少阴—心经—少冲剑,其特点是轻灵迅速。而交互式分析的另一核心功能是能够直接对接实时计算(Flink),实现实时数据实时写入实时查询,秒级交互式响应。同时还兼容PostgreSQL生态,能将查询到的实时数据直接对接BI分析工具,快速实现数据的可视化展现和分析。整个链路图展示如下;

image.png
今天小编将通过做一个双11交易实时大屏的案例,来讲述如何实现从数据采集--数据处理--数据服务--实时大屏的完整链路。
案例背景:某手机专营店想利用实时大屏实时展示当前类目的交易数据。
数据处理平台:实时计算
数据服务平台:HoloStudio(有关HoloStudio的介绍可参见HoloStudio简介
实时大屏:DataV

前提准备

1.开通交互式分析服务,请参见开通实例
2.开通实时计算服务,请参见开通服务和创建项目
3.开通DataV服务,请参见开通DataV服务

操作步骤

因涉及业务敏感数据,本案例只展示如何使用实时计算将数据进行初步聚合,再由交互式分析实时查询数据并对接到实时大屏DataV,关于如何采集数据在此不做阐述。

实时计算实时清洗数据

在实时计算里面将采集到的数据做初步的清洗聚合,将表数据连接到交互式分析,示例SQL如下:

create table holo_sink (id BIGINT, user_id BIGINT, item_name VARCHAR, number INT, cost FLOAT, province VARCHAR, city VARCHAR, salltime TIMESTAMP) with (
  type = 'custom',
  tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
  `endpoint` = '交互式分析vpc网络地址',
  `userName` = '当前账号的Access ID',
  `password` = '当前账号的Access Key',
  `dbName` = '连接的交互式分析数据库',
  `tableName` = '要映射的交互式分析表'
);

将作业发布到生产环境:
image.png

交互式分析实时写入查询

在交互式分析中可直接将实时计算里面的数据实时写入实时查询,达到秒级返回。本案例中使用HoloStudio来执行查询,关于Holostudio的介绍,可以参见HoloStudio简介
整张表查询出来的部分数据如下:
image.png

DataV实时大屏

在交互式分析中查询完数据后,可使用交互式分析对接DataV,制作实时大屏,具体操作步骤如下:

1.添加数据源

在DataV首页选择PostgreSQL数据源,并填写配置信息
image.png

配置项 说明
类型 PostgresSQL数据源
名称 自定义
域名 交互式分析的公共网络地址
用户名 当前账号的Access ID
密码 当前账号的Access Key
端口 交互式分析的公共网络端口
数据库 可选择表所在的数据库

2.创建实时大屏

根据大屏想要显示的内容,选择需要的插件。本案例中选择了基本柱状、轮播、基础平面地图、数字翻牌器等。并给每个插件按照展示内容配置数据源信息。
示例配置轮播列表数据源
image.png
并给轮播列表配置标题、边框、字体、颜色等信息,最终展示如下:
image.png

3.展示实时大屏

给大屏的各个插件配置完数据源之后,可根据自行对每个插件进行美化,并适当添加装饰元素,最终的实时大屏如下:

  • 左侧实时显示每个城市的交易额,以及top1城市交易的类目占比
  • 地图实时刷新每一笔交易订单的位置,并实时显示总的销售额
  • 右侧实时显示单品的交易额,以及实时交易情况

image.png
完成以上步骤,就说明你已经学会如何使用交互式分析对接实时计算并生成实时大屏了,交互式分析能够做到实时数据实时写入与查询,秒级交互式响应,双11马上就要到了,实时大屏赶紧准备起来吧!
关于《交互式分析六脉神剑》往期记录,传送门:

  1.  5分钟学会交互式分析?!
  2. 《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
  3. 《交互式分析六脉神剑》之真正的秒级交互式响应

若大家有任何关于交互式分析的问题,欢迎大家进钉钉群开撩小编哦
image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3 )前置知识要求   课程大纲 第一章 了解数据仓库概念 初步了解数据仓库是干什么的 第二章 按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章 数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章 采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章 用户行为数据仓库 严格按照企业的标准开发 第六章 搭建业务数仓理论基础和对表的分类同步 第七章 业务数仓的搭建  业务行为数仓效果图  
相关文章
|
4月前
|
存储 监控 数据可视化
京东618实时数据大屏核心技术解密
京东618实时数据大屏核心技术解密
40 0
京东618实时数据大屏核心技术解密
|
9月前
|
监控 BI 定位技术
直播程序源码开发建设:洞察全局,数据统计与分析功能
数据统计与分析功能不管是对直播程序源码平台的主播或运营者都会有极大的帮助,是了解观众需求、优化用户体验成为直播平台发展的关键功能,这也是开发搭建直播程序源码平台的必备功能之一。
直播程序源码开发建设:洞察全局,数据统计与分析功能
|
监控 数据可视化 安全
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
422 0
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
|
大数据 Apache 双11
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
330 0
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(二)
|
人工智能 搜索推荐 大数据
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
192 0
女朋友问阿里双十一实时大屏如何实现,我惊呆一会,马上手把手教她背后的大数据技术(一)
|
存储 消息中间件 数据采集
美团酒旅实时数据规则引擎应用实践
美团酒旅实时数据规则引擎应用实践
358 0
美团酒旅实时数据规则引擎应用实践
|
运维 监控 数据可视化
高德打车构建可观测性系统实践
互联网工程的高速发展,分布式、微服务、容器化架构的流行,互联网已全面进入云原生时代。构建系统的方式由最初的单体大应用演变为分布式架构,一台服务器可能仅存几小时甚至几分钟,这种复杂性大大增加了把系统运行状态可视化的难度。
高德打车构建可观测性系统实践
|
人工智能 边缘计算 文字识别
跨境电商直播实时字幕,如何做到 “实时”?
2020 的双 11 狂潮已然提早,年度氪金剁手大会已吹响号角。
跨境电商直播实时字幕,如何做到 “实时”?
|
供应链 算法 数据可视化
2020双11数据大屏设计:全球数据博物馆
如果说以往的双11数据大屏展现的是一场大型财经盛典,那今年可是融入了新元素:数据脱口秀。因为我们相信,双11既是件国计民生的大事,也是每个人的事。这一点与以往任何一届双11媒体中心晚会都不同,脱口秀作为一种新兴的艺术化形式,让数据与每个人都产生连接。
8583 0
2020双11数据大屏设计:全球数据博物馆
|
SQL 分布式计算 监控
实时计算案例:阿里巴巴双11大屏
每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。
实时计算案例:阿里巴巴双11大屏