实时计算Flink > 快速入门 —— 步骤二:注册上下游存储

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 本页目录 登录阿里云账号 注册上游存储 注册下游存储 注册上下游存储操作步骤如下。 登录阿里云账号 登录阿里云账号。 注册上游存储 登录DataHub 登录DataHub控制台。 创建DataHub源表 为简化问题,我们将源源不断的数据抽象简化为如下二维表。

本页目录

注册上下游存储操作步骤如下。

登录阿里云账号

登录阿里云账号

登录页面

注册上游存储

登录DataHub

登录DataHub控制台

创建DataHub源表

为简化问题,我们将源源不断的数据抽象简化为如下二维表。datahub_IpPlace

字段名 类型 注释
name varchar 名字
place varchar 地址
324 datahub创建项目

创建的schema示意图如下。

datahub创建

上传DataHub测试数据

为了方便用户测试作业我们提供测试数据,点击下载后利用DataHub的文件上传工具即可完成数据采集。

上传DATAHUB源表的数据。

8

注册下游存储

注册RDS

如果还没有RDS实例,请参阅RDS购买流程

注意: 请选择经典网络进行测试。

45252

创建数据库账号。

4 34678 玩儿 56刚刚

登录数据库。

RDS第三部

RDS维表创建

测试维表名称:rds_dim

字段名 类型 注释
name varchar 名字
Place varchar 地址

创建的维表schema示意图如下:

6

上传dim表测试数据。

9
 
  1. INSERT INTO `rds_dim`(`name` ,`Place` )VALUES('test01','beijing')

说明:实际生产应用中,我们很少有机会利用文件上传工具进行数据采集工作。更多数据采集工具的使用请参数据采集

RDS结果表创建

测试结果表名称:rds_IpPlace

字段名 类型 注释
name varchar 名字
Place varchar 地址

创建的结果表schema示意图如下。

7


本文转自实时计算——步骤二:注册上下游存储

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
8月前
|
存储 SQL 分布式计算
阿里云全托管flink-vvp平台hudi connector实践(基于emr集群oss-hdfs存储)
阿里云全托管flink-vvp平台hudi sink connector实践,本文数据湖hudi基于阿里云E-MapReduce产品,以云对象存储oss-hdfs作为存储
|
3月前
|
流计算
Flink CDC 中,Sink: clean_commits 步骤的并行度
【1月更文挑战第24天】【1月更文挑战第118篇】Flink CDC 中,Sink: clean_commits 步骤的并行度
33 1
|
4月前
|
消息中间件 资源调度 Kafka
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
2021年最新最全Flink系列教程_Flink快速入门(概述,安装部署)(一)(JianYi收藏)
59 0
|
4月前
|
消息中间件 分布式计算 Hadoop
Flink(一)【WordCount 快速入门】
Flink(一)【WordCount 快速入门】
|
分布式计算 Java Hadoop
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
flink hadoop 从0~1分布式计算与大数据项目实战(4)zookeeper内部原理流程简介以及java curator client操作集群注册,读取
|
存储 流计算
|
存储 分布式计算 NoSQL
Flink / Scala - 使用 RedisSink 存储数据
现在有一批流数据想要存储到 Redis 中,离线可以使用 Spark + foreach 搞定,由于是多流 join 且带状态,所以 SparkStreaming + foreach 也无法实现,而 Flink 不支持 foreach 操作触发 execute,这里采用 RedisSink 代替实现 foreach 逻辑。
739 0
Flink / Scala - 使用 RedisSink 存储数据
|
分布式计算 资源调度 Hadoop
Flink快速入门--安装与示例运行
flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。
1886 0
Flink快速入门--安装与示例运行
|
存储 消息中间件 Cloud Native
解构流存储 — Pravega,与 Flink 构建端到端的大数据流水处理线
Pravega 中国社区创始人、戴尔科技集团软件工程技术总监滕昱在 FFA 2021 主会场的演讲
解构流存储 — Pravega,与 Flink 构建端到端的大数据流水处理线
|
存储 SQL 分布式计算
基于Tablestore的一站式物联网存储解决方案-Flink 实时计算
## 需求分析 在共享充电宝场景中,会有一些对实时性要求较高的计算场景。例如大屏展示每个省份、每个机柜的营收情况。这类场景不同于离线计算类的场景,需要实时地根据订单数据的变化来统计营业额,并不能采用前文中介绍的Spark近实时流批计算来实现。整个场景需求链路为根据订单增量变化,触发计算逻辑,计算结果写入Tablestore表中,提供给大屏展示。大致可以归纳成**增量写入-实时
540 0
基于Tablestore的一站式物联网存储解决方案-Flink 实时计算