文件数据存储

_相关内容

管理文件元数据

对象存储OSS存储文件(Object)信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述,包括HTTP标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略,例如文件...

DescribeDataFlowTasks-查询数据流动任务列表

Evict:释放 CPFS 上文件的数据块,释放后文件在 CPFS 上只保留元数据,您仍能查询该文件,但文件数据块已清除,不占用 CPFS 上的存储容量。当访问该文件数据时,将再从源端存储按需加载。Inventory:获取 CPFS 上数据流动管理的文件清单,...

管理数据流动

如果多个CPFS智算版文件系统的数据流动,或者同一个CPFS智算版文件系统的多个数据流动的源端存储是同一个OSS Bucket,为了防止多个数据流动向同一个OSS Bucket导出数据时产生数据冲突,需要该OSS Bucket开启版本控制。更多信息,请参见 ...

容灾备份

文件存储NAS服务中,保障数据安全性和业务连续性十分重要。本文列举了NAS文件备份的最佳实践及数据保护方案。阿里云NFS NAS数据保护实战 HBR云上统一备份 阿里云SMB NAS数据保护实战

创建数据取回任务

如果您需要频繁访问低频介质中存储文件,建议您创建数据取回任务,将指定文件或目录中的数据取回至通用型NAS存储空间,避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时,NAS会根据目标文件...

元数据性能测试

注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据,请先使用create_open创建待测数据。测试环境 配置名称 配置说明 计算VM配置 CPU核数:4核 内存:16 GB 机器数量:6台 ...

快速入门(Linux)

通常情况下,当您要访问NAS文件系统数据时,需要先创建NAS文件系统并完成挂载操作。本文介绍如何在NAS控制台创建通用型NAS NFS文件系统,并使用控制台一键挂载功能将NFS文件系统挂载至ECS实例(CentOS 7.9)上,从而实现数据上传与下载。...

查看CPFS容量监控

通过容量监控功能,您可以实时查看CPFS文件系统的存储空间使用状况和文件数信息。本文介绍如何查看CPFS文件系统的容量监控数据。前提条件 已开通云监控服务。您可以登录 云监控产品详情页,根据页面提示开通服务。已创建文件系统。具体操作...

管理文件元数据

对象存储OSS存储文件(Object)信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述,包括HTTP标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略,例如文件...

查看NAS容量监控

通过容量监控功能,您可以实时查看通用型NAS存储空间中通用型NAS数据量和低频介质数据量以及低频读写数据流量和文件数。本文介绍如何查看通用型NAS的容量监控数据。前提条件 已创建NAS文件系统。具体操作,请参见 创建文件系统。已开通云...

从OSS迁移数据

本章节介绍如何将对象存储OSS上的数据迁移到文件引擎。准备工作 开通文件引擎,详情请参见 开通指南。搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.3,本文档中使用的Hadoop版本为Apache Hadoop 2.7.3,修改Hadoop 配置信息,详情参见...

通过VPN网关实现本地数据中心访问阿里云NAS

本文介绍如何通过VPN网关的设置,实现本地数据中心访问阿里云文件存储NAS。背景信息 对于一个地域(例如华东1杭州)内创建的文件系统(NFS或者SMB),只支持挂载到同一地域内的ECS上。您在其他地域(例如华北1青岛)内的ECS或者本地数据...

功能特性

数据文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据文件存储实施加密,可以确保数据文件...

NFS文件系统传输加密

本文介绍如何使用NAS客户端工具挂载文件系统实现数据传输加密。工作原理 NAS客户端工具定义了一个网络文件系统类型alinas,与标准 mount 命令兼容。在ECS实例挂载alinas类型文件系统时,如果指定 tls 参数,NAS客户端工具会启动一个Stunnel...

数据安全性

上传文件数据完整性校验 由于移动端网络环境的复杂性,数据在客户端和服务器之间传输时有可能会出错。OSS提供了基于MD5和CRC64的端到端的数据完整性验证功能。MD5校验 需要在上传文件时提供文件的Content-MD5值,OSS服务器会帮助用户进行...

获取文件元数据

默认情况下,在已开启版本控制的存储空间(Bucket)中调用HeadObject接口只能获取文件(Object)当前版本的元数据。通过指定文件的版本ID(versionId),您可以获取文件指定版本的元数据。说明 如果文件的当前版本为删除标记,则返回404 ...

查看NAS性能监控

文件存储 NAS 已与云监控无缝集成。通过性能监控功能,您可以实时查看文件系统的IOPS、吞吐、延迟等性能概况。本文介绍如何查看 NAS 文件系统的性能监控数据。前提条件 已创建 NAS 文件系统。具体操作,请参见 创建文件系统。已开通云监控...

查看CPFS性能监控

本文介绍如何查看CPFS文件系统的性能监控数据。前提条件 已开通云监控服务。您可以登录 云监控产品详情页,根据页面提示开通服务。已创建文件系统。具体操作,请参见 创建文件系统。使用文件存储控制台 登录 NAS控制台。在左侧导航栏中,...

取消数据取回任务

说明 执行取消操作后会立刻停止数据取回任务,已经取回的数据将按照通用型存储容量(容量型/性能型/高级型)计费。更多信息,请参见 通用型NAS计费。使用NAS控制台 登录 NAS控制台。在左侧导航栏,选择 生命周期管理>数据取回任务列表。在...

使用rsync工具迁移数据

本文介绍如何使用rsync工具实现阿里云文件存储NAS NFS协议文件系统之间的数据迁移。前提条件 已拥有一个存有数据的NFS协议文件系统,并且拥有一个专有网络类型挂载点。费用说明 NAS与NAS之间的迁移,会涉及如下费用:使用ECS作为数据传输的...

一般性问题

1.数据文件存储DBFS是什么,适合什么场景?数据文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于:OLTP及OLAP数据库场景:例如,MySQL、PostgreSQL等。NoSQL数据库场景:例如,MongoDB、RocksDB等。2...

数据索引

如果您希望在查询结果中对数据进行分类统计,例如统计所有文件大小、去重统计文件存储类型等,请添加数据聚合方式。使用阿里云SDK 仅Java SDK、Python SDK以及Go SDK支持通过数据索引功能查询满足指定条件的Object。使用数据索引功能前,您...

数据流动概述

CPFS智算版文件系统与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS智算版文件系统中的目录与OSS Bucket创建数据流动后,通过创建数据流动任务,可以完成数据的高速传输。传输完成后...

计费常见问题

当您在 文件存储 HDFS 版 中写入文件数据产生实际存储容量,则开始计费。文件存储 HDFS 版 服务如何停止计费?如果您确实不再使用 文件存储 HDFS 版 服务,可以删除数据,并删除挂载点,再删除文件系统,即可在下一个账期不产生扣费。删除...

DescribeDataFlows-查询数据流动列表

查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键(Filters)中,FsetIds、DataFlowlds、SourceStorage、...

使用Robocopy工具迁移数据

本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统,并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令,该功能可以创建...

挂载问题

1.挂载数据文件存储(DBFS)的约束?数据文件存储(DBFS)默认会在“/mnt/dbfs”目录下创建挂载点(例如,“/mnt/dbfs/xxxxxx”)。数据文件存储(DBFS)要求挂载点为空,即“/mnt/dbfs/xxxxxx”目录为空,不能在挂载点下存在文件...

什么是文件存储 HDFS 版

文件存储 HDFS 版和对象存储OSS双向数据迁移 文件存储 HDFS 版和数据库MySQL双向数据迁移 迁移开源HDFS的数据文件存储 HDFS 版 产品定价 文件存储 HDFS 版 计量项包括标准吞吐、预置吞吐,计费方式支持按量付费方式。详细的计费规则,请...

存储格式与SerDe

DLA内置了处理各类数据文件的Serialize/Deserilize(简称SerDe,用于序列化和反序列化),您无需编写程序,直接选用一款或多款SerDe来匹配OSS上的数据文件格式。通过SerDe,DLA可以对OSS上的多种格式的文件进行查询分析,包括纯文本文件...

服务协议

自2021年1月31日起,新版数据文件存储(DBFS)服务条款生效。请参考《阿里云数据文件存储服务协议》。

新功能发布记录

2022-02-11 华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)数据文件存储DBFS产品详情页 表 2.2020年06月 功能名称 功能概述 发布时间 支持地域 相关文档 数据文件存储标准版公测发布 数据文件存储(DBFS)是一款针对...

功能特性

无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统(HDFS)中一样管理和访问数据文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...

申请与创建

本文主要说明如何创建阿里云数据文件存储服务DBFS。申请创建DBFS的步骤:进入“阿里云控制台”->“登录数据文件系统控制台”。如果未开通服务,需要先点击“立即开通”开通数据文件存储服务后,才能进入购买页面。单击“创建数据库...

文件存储CPFS(NFS协议)备份

您可以使用 云备份 备份文件存储CPFS(NFS协议)的数据,并在数据丢失或损坏时及时恢复。本文介绍使用本地NAS方式备份CPFS的操作方法。前提条件 已创建文件存储CPFS,并已获取挂载地址(例如 file-system-id.region.cpfs.aliyuncs....

删除文件系统

本文主要说明阿里云数据文件存储服务删除功能。进入“数据文件存储控制台”->“数据文件系统列表”。单击“更多”按钮,单击“删除”,弹出“删除数据文件系统”窗口。单击“我已知晓风险,确认删除”按钮后,提交删除申请。

集成概览

本文为您介绍数据文件存储DBFS支持的集成方案。OpenAPI集成 数据文件存储DBFS提供实例、快照、标签等功能的OpenAPI,您可在业务系统中进行集成。关于如何使用阿里云OpenAPI,请参见 使用OpenAPI。版本说明 版本说明 说明 2020-04-18 ...

应用场景

文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中,应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...

在线扩容

本文主要说明阿里云数据文件存储服务DBFS的在线扩容功能。进入“数据文件存储控制台”-》“数据文件系统列表”。单击“扩容”按钮,弹出“在线扩容数据文件系统”窗口。填写“扩容后容量”,单击“开始扩容”按钮后提交扩容申请。

ModifyDataFlow-修改数据流动

修改数据流动的属性。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。仅支持状态为 Running(正常)状态的数据流动修改属性。修改数据流动一般耗时 2~5 分钟,您可以通过 DescribeDataFlows 查询...

StartDataFlow-启用数据流动

启用一个数据流动。接口说明 该接口仅适用于中国站 CPFS 文件系统。仅 CPFS 2.2.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。只能启动 Stopped(停止)状态的数据流动。当 DryRun 为 true 时,可校验启动该...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用