学会这个,实时数据(Blink)实时查询实时写入!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。

交互式分析的核心功能是:实时处理离线数据(MaxCompute)和实时数据(Blink)。为了让大家更好的理解交互式分析和更加快捷的掌握核心功能,小编为大家整理了如何使用HoloStudio来完成数据的开发,往期精彩传送门:
MaxCompute直接查询:在吗?0代码加速查询MaxCompute请查收!
MaxCompute导入查询:来了,2行代码秒级查询MaxCompute!
简单实时大屏最佳实践:双11就要来了,实时大屏准备好了吗?

随着业务的不断拓展,数据的实时性变得越来越重要,对实时数据的快速查询、分析、决策并为业务赋能是大数据生态中的一重大突破点。以往的解决方案通常是:实时计算(Blink)将消息队列中的数据进行初步加工清洗,存储到数据存储系统,之后再进行数据查询,并对接第三方工具来可视化分析。这种解决方案的痛点在于,业务场景的复杂度不同,所需的存储和查询服务也会不一样,这就需要开发人员维护多套系统,增加运维难度,同时高性能、高并发的数据服务也得不到及时响应。
交互式分析的另一核心功能是能够对实时数据实时写入实时查询,既能存储实时计算初步聚合后的数据,又能实现高并发的简单、复杂查询,同时也有JDBC/ODBC接口,轻松对接第三方工具,只需要一套代码维护一套系统,就能完美满足业务的实时查询、分析要求。
在小编为大家讲解过如何通过实时计算、交互式分析做一个实时大屏,但当时的讲解主要侧重于场景实现,中间的操作步骤对于新手还是比较陌生,今天小编就为大家讲解使用HoloStudio实时查询实时数据的具体操作步骤。

前提条件

1.开通实时计算服务
2.开通交互式分析实例
注意:一定要确保这2个计算服务在同一region。

操作步骤

本次案例演示如何在实时计算里随机生成随机数,并在交互式分析中实时查询数据。(本次演示的所有内容大家都可以参考文档:实时数据实时写入查询
使用平台:实时计算平台、HoloStudio
注意事项:本案例侧重于操作步骤的演示,数据为随机生成的数据,实际业务请根据实际场景数据来做处理)

1.交互式分析建表

登录HoloStudio,并创建一张接收数据的内部表,示例建表语句如下:

create table test(a int, b text, c text, d float8, e int8);

2.实时计算准备实时作业

登录实时计算平台,新建作业开发,并填写作业。在作业中主要是建立实时计算与交互式分析的连接,并导入数据。示例SQL如下:

//模拟消息队列随机生成数据
create table randomSource (a int, b VARCHAR  , c VARCHAR , d DOUBLE, e BIGINT) with (type = 'random');

//建立实时计算与交互式分析的连接表信息,下面的连接串信息为必填内容
create table blink_test_demo (
  a INT ,
  b VARCHAR  ,
  c VARCHAR  ,
  d DOUBLE,
  e BIGINT,
  PRIMARY KEY (a)
) with (
  type = 'custom',
  tableFactoryClass = 'com.alibaba.blink.connectors.hologres.HologresTableFactory',
  `endpoint` = '交互式分析实例VPC网络地址:交互式分析实例VPC网络端口',
  `userName` = '当前账号的Access ID',
  `password` = '当前账号的Access Key',
  `dbName` = '要连接的交互式分析数据库名',
  `tableName` = '交互式分析中用于接收数据的表'
);

//将数据导入至连接表中    
insert
  into blink_test_demo
select
  a,b,c,d,e
from
  randomSource;

作业填写完成后,在实时计算左侧菜单栏处选择资源引用,并引用资源包(资源包可以在交互分析文档中下载)
image.png

说明:资源包一定要引用,其提供了实时计算与交互式的接口连接。

3.上线实时作业

资源包引用成功后,可保存作业并进行语法检查,语法检查成功后,可将作业进行上线。并按照上线步骤填写上线信息配置。
image.png
作业上线成功后,需要将作业提交到生产环境运行。单击左上角运维,手工启动作业。(作业启动并有输出信息需要1-2分钟,请耐心等待)
image.png
可以看到当前数据的输出信息
image.png

4.交互式分析实时读取数据

实时计算有了输出数据之后,可以前往HoloStudio进行数据实时查询
image.png
可以看到,只要查询就能实时产生数据,在数据开发中执行该条语句,通过DataWorks调度进行周期性查询作业,提高业务效率。

成功操作完以上步骤,就说明你已成功掌握交互式分析查询实时查询实时计算数据的操作步骤了,赶紧用起来吧!
若大家对交互式分析想要了解更多信息或者技术咨询,欢迎大家进钉钉群交流。
image.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
消息中间件 SQL 关系型数据库
离线实时消息统计
离线实时消息统计
25 0
|
4月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
52 0
|
4月前
|
存储 SQL 缓存
实时数仓宽表加工解决方案
实时数仓宽表加工解决方案
69 0
实时数仓宽表加工解决方案
|
6月前
|
运维 大数据 网络安全
大厂案例 - 实时分析引擎
大厂案例 - 实时分析引擎
30 0
|
消息中间件 自然语言处理 容灾
实时或者准实时的说法
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。本文从个人理解出发,探探实时或者准实时搜索。
1494 0
|
7月前
|
消息中间件 存储 Java
kafkaStream处理实时流式计算
kafkaStream处理实时流式计算
116 0
|
3月前
|
存储 数据采集 数据可视化
实时报表与多维分析,如何实现
实时报表与多维分析,如何实现
|
消息中间件 存储 SQL
【实时数仓篇】(04)利用 Flink 实现实时状态复用场景
【实时数仓篇】(04)利用 Flink 实现实时状态复用场景
311 0
【实时数仓篇】(04)利用 Flink 实现实时状态复用场景
|
消息中间件 机器学习/深度学习 分布式计算
什么是实时流式计算?
实时流式计算,也就是RealTime,Streaming,Analyse,在不同的领域有不同的定义,这里我们说的是大数据领域的实时流式计算。 实时流式计算,或者是实时计算,流式计算,在大数据领域都是差不多的概念。那么,到底什么是实时流式计算呢?
827 1
什么是实时流式计算?
|
缓存 自然语言处理 NoSQL
实时引擎平台化总结
假期重新把之前在新浪博客里面的文字梳理了下,搬到这里。
174 0