当需要低成本存储时序数据以及快速查询和分析时序数据时,您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作,请参见 创建时序模型实例。已初始化...
使用之前,请确保您已经开通了文件存储NAS服务并已了解文件存储NAS的 API概览 及各API的请求参数、返回参数等信息。前提条件 已安装阿里云CLI。具体操作,请参见以下文档:在Windows上安装阿里云CLI 在Linux上安装阿里云CLI 在macOS上安装...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...
当需要低成本存储时序数据以及快速查询和分析时序数据时,您可以使用CreateTimeseriesAnalyticalStore接口为已有时序表创建分析存储。前提条件 已通过控制台创建了开启分析存储的实例。具体操作,请参见 创建时序模型实例。已初始化...
NAS与阿里云人工智能平台PAI(Platform For AI)无缝集成,您可以在PAI的服务上配置NAS作为数据集持久化存储部署、训练过程中的数据。本文介绍如何在控制台为PAI-DSW实例快速部署NAS。前提条件 已开通PAI并创建默认工作空间。具体操作,请...
在前文的方案与架构基础上,本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统,并主要使用Timeline模型、基于推模式进行同步。表格存储消息(Timeline)模型是针对...
已开通表格存储服务。具体操作,请参见 开通表格存储服务。注意事项 4.0.0以上版本SDK支持数据多版本和生命周期,但是该版本SDK不兼容2.x.x系列的SDK。数据版本和生命周期 主键列自增 SDK下载 下载SDK安装包,具体下载路径请参见 aliyun-...
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群并且所有集群节点已安装JDK,JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文档中使用的Hadoop...
已开通表格存储服务。具体操作,请参见 开通表格存储服务。SDK下载 从NuGet下载SDK安装包,具体下载路径请参见.NET SDK 6.0.0 。从Github下载源码,具体下载路径请参见 GitHub。关于SDK历史版本迭代的更多信息,请参见.NET SDK历史迭代版本...
本文介绍如何通过 开源大数据平台 EMR(E-MapReduce)控制台,快速创建一个 EMR 集群并使用Spark3读取 表格存储 的数据。前提条件 已使用阿里云账号对 EMR 服务授权。具体操作,请参见 角色授权。已创建 表格存储 数据表。具体操作,请参见...
方式三:使用已有的NAS文件系统创建CNFS 使用CNFS配置已有的NAS文件系统,并使用NAS静态存储卷或NAS动态存储卷挂载已有的NAS文件系统,然后将创建的NAS静态存储卷或NAS动态存储卷绑定到工作负载Deployment中。方式一:使用CNFS创建默认NAS...
前提条件 已开通 文件存储HDFS版 服务。具体操作,请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏选择要创建文件系统实例的区域。例如 华东1(杭州)。在 概览 页面,单击 创建文件系统。说明 单个文件...
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK,且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2,本文使用的Hadoop版本...
当您希望按实际业务场景对上传至存储空间(Bucket)下的文件(Object)进行合理归类时,您需要先创建目录,然后将目标文件存放至指定目录。本文介绍如何使用 mkdir 命令创建目录。注意事项 要创建目录,您必须具有 oss:GetObject 和 oss:...
您可以通过NAS控制台查看已转储至低频存储或归档存储中的文件、低频存储或归档存储使用量以及该文件最近一次被访问的时间等信息。查看低频/归档存储文件使用量 登录 NAS控制台。在左侧导航栏,选择 生命周期管理>低频/归档存储文件管理。在...
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK...
异常处理示例 以下代码展示了创建一个已存在的存储空间时的异常处理,并打印出错误信息(Message)。try {$ossClient->createBucket($bucket);} catch(OssException$e){ print("Exception:".$e->getMessage()."");} 您还可以获取以下信息:...
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不...
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件,...
表格存储 提供了控制台、命令行工具和Tablestore SDK三种访问方式。通过控制台使用时序模型(TimeSeries)时,您需要开通表格存储服务,然后使用控制台进行创建实例、创建时序表、读写时序表中数据以及使用SQL查询数据的操作。前提条件 已...
为了防止由于误删、恶意篡改等导致重要数据不可用,您可以使用 表格存储 数据备份功能备份实例中宽表数据,并在数据丢失或受损时及时恢复。背景信息 云备份(Cloud Backup)作为阿里云统一灾备平台,是一种简单易用、敏捷高效、安全可靠的...
本文介绍如何在 开源大数据平台 EMR(E-MapReduce)集群上,使用Spark3将 表格存储 中一张表的数据复制到另一张表中,全程使用SQL语句实现表的创建以及数据的复制操作。前提条件 已创建 EMR 集群。具体操作,请参见 创建EMR集群。重要 创建...
可以,中国内地通用资源包和各地域资源包的种类是一样的,都分为:标准-本地冗余存储包、低频-本地冗余存储包、归档-本地冗余存储包、标准-同城冗余存储包、低频-同城冗余存储包、下行流量包、回源流量包。具体请参见 计量项和计费项概述。...
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型,全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务,能够支持频繁的数据访问。适用于...
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK,且JDK版本不...
当您需要监控文件存储CPFS文件系统资源的使用情况时,可以创建报警规则。如果资源的监控指标达到报警条件,云监控自动发送报警通知,帮助您及时得知异常监控数据,并快速处理。前提条件 已创建文件存储CPFS文件系统。具体操作,请参见 创建...
在进行顺序读与随机读的测试之前需要确保 文件存储 HDFS 版 之上已有指定的待测数据,如果没有待测数据请使用顺序写先生成待测数据再进行顺序读与随机读的测试。测试环境 配置名称 配置说明 计算VM配置 CPU核数:4核 内存:16 GB 机器数量...
前提条件 已导出 表格存储 全量数据到MaxCompute,且已配置同步 表格存储 增量数据到MaxCompute。具体操作,请分别参见 全量导出 和 增量同步。已下载merge_udf.jar包。具体下载路径请参见 merge_udf.jar。注意事项 字段名称大小写敏感,请...
使用Spark的DataFrame方式访问表格存储,并在本地和集群上分别进行运行调试。前提条件 了解Spark访问表格存储的依赖包,并在使用时通过Maven方式引入项目中。Spark相关:spark-core、spark-sql、spark-hive Spark Tablestore connector:...
NAS提供了共享存储和持久化存储的服务,满足您需要多个Pod共享数据的应用场景。本文介绍如何使用NAS实现共享存储和持久化存储。前提条件 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。已在文件存储控制台创建...
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷,以及如何实现持久化存储与共享存储。前提条件 已创建ACS集群。具体操作,请参见 创建ACS集群。已开通NAS并创建NAS文件系统...
表格存储的时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景,支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据,能提供高并发写入和查询...
容器服务 Kubernetes 版 支持以NAS共享存储卷的方式挂载和使用CNFS。通过CNFS管理NAS共享存储卷,您可以在多个应用或Pod之间挂载同一个NAS文件系统的相同目录,以解决Pod之间共享数据的问题。本文以StatefulSet类型应用为例介绍如何使用...
在多租户环境或其他需要数据隔离的场景中,您可以 通过CNFS管理NAS隔离存储卷,在多个应用或Pod之间挂载同一个NAS文件系统的不同目录,使得 每个目录均对应一个存储卷,存储卷之间是相互独立的、相互隔离的。本文以StatefulSet类型应用为例...
归档直读是指在对象存储OSS中,直接访问归档存储类型的文件,而无需先对其解冻。归档直读适用于实时读取极低频访问数据的场景。本文介绍如何开启并使用归档直读。前提条件 已创建有地域属性的Bucket。具体操作,请参见 创建存储空间。RAM...
通过表格存储控制台创建投递任务,将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket,详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
OSS提供标准、低频访问、归档、冷归档和深度冷归档多种存储类型,全面覆盖从热到冷的各种数据存储场景。本文主要介绍如何转换文件(Object)的存储类型。注意事项 本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他...
低频-本地冗余存储包 抵扣低频-本地冗余存储类型的OSS文件的存储费用 归档-本地冗余存储包 抵扣归档-本地冗余存储类型的OSS文件的存储费用 冷归档-本地冗余存储包 抵扣冷归档-本地冗余存储类型的OSS文件的存储费用 标准-同城冗余存储包 ...
准备工作 已开通 阿里云表格存储服务 并创建表格存储实例。具体操作,请参见 开通表格存储服务 和 创建实例。SDK汇总 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型。不同模型可用的语言SDK存在差异。具体说明请参见下表。...