实时计算Flink > 独享模式 > Batch(试用) > 创建源表 —— 创建OSS源表

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本页目录 创建OSS源表 OSS With参数 创建OSS源表 OSS 阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。

创建OSS源表

OSS

阿里云对象存储服务(Object Storage Service),简称OSS。为您提供基于网络的数据存取服务。使用OSS,您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种非结构化数据文件。

Flink可以读取OSS上的各种结构化及非结构化文件进行计算,例如,

 
  
  1. create table oss_csv_source(
  2. a VARCHAR
  3. ) with (
  4. type = 'csv',
  5. path='oss://ossbucket/test.csv?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  6. )

With参数

OSS作为源表或目标表进行计算时,需要根据不同的文件类型指定参数。跟OSS相关的参数为pathfilePath。OSS文件路径格式为

oss://${osspath}/${ossFile}?accessKeyId=${accessID}&accessKeySecret=${accessKey}&endpoint=http%3a%2f%2f${OSSEndpoint}

读取OSS上Parquet文件示例如下。

 
  
  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.parquet?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

读取OSS上ORC文件示例如下。

 
  
  1. create table oss_parquet_source(
  2. x varchar,
  3. y varchar,
  4. z varchar
  5. ) with (
  6. type='parquet',
  7. filePath='oss://ossbucket/test.orc?accessKeyId=xxx&accessKeySecret=xxx&endpoint=http%3a%2f%2foss-cn-shanghai-internal.aliyuncs.com'
  8. );

本文转自实时计算——创建OSS源表

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
2月前
|
定位技术 流计算
在Flink CEP中,可以通过定义带有时间约束的模式来匹配事件的持续时间
在Flink CEP中,可以通过定义带有时间约束的模式来匹配事件的持续时间
24 2
|
1月前
|
API 数据库 流计算
有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
【2月更文挑战第27天】有大佬知道在使用flink cdc实现数据同步,如何实现如果服务停止了对数据源表的某个数据进行删除操作,重启服务之后目标表能进行对源表删除的数据进行删除吗?
52 3
|
1月前
|
定位技术 流计算
在Flink CEP中,可以通过定义带有时间约束的模式来匹配事件的持续时间
【2月更文挑战第12天】在Flink CEP中,可以通过定义带有时间约束的模式来匹配事件的持续时间
35 3
|
2月前
|
Java 流计算
在Flink实时任务中,POJO(Plain Old Java Object)对象的模式演进可能会引起不兼容的问题
【2月更文挑战第6天】在Flink实时任务中,POJO(Plain Old Java Object)对象的模式演进可能会引起不兼容的问题
19 3
|
2月前
|
消息中间件 SQL Java
flink问题之Application 模式下启动失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
49 0
|
2月前
|
资源调度 Kubernetes Java
Flink--day02、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
Flink--day022、Flink部署(Yarn集群搭建下的会话模式部署、单作业模式部署、应用模式部署)
134 5
|
2月前
|
消息中间件 SQL 关系型数据库
Flink数据源问题合集之设置成批量模式如何解决
Flink数据源是指Apache Flink用于读取外部系统数据的接口或组件;本合集将探讨Flink数据源的类型、配置方法和最佳实践,以及在使用数据源时可能遇到的错误和解决方案。
31 2
|
1月前
|
Java API 开发工具
如何用阿里云 oss 下载文件
阿里云对象存储服务(OSS)提供了多种方式下载文件,以下讲解下各种方式的下载方法
836 1
|
1月前
|
存储 安全 对象存储
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
本文详细介绍了怎样帮助新手小白从注册,购买阿里云OSS,到一步一步配置OSS做为图床,和PicGo、Typora软件连接,配置好关联之后,在使用Typora写文章时,如果需要插入图片,只需要将图片复制粘贴到Typora的编辑区域,就会自动通过PicGo上传到指定图床,自动复制外网能访问的URL并展示,简直不要太方便,极大的解决了编辑文章时复制处理图片链接的痛点。
170 2
手把手教你搭建阿里云图床(PicGo+Typora+阿里云OSS),新手小白一看就会
|
2月前
|
对象存储
minio临时凭证直传切换到阿里云oss
minio临时凭证直传切换到阿里云oss
176 1