数据文件存储

_相关内容

管理数据流动

本文介绍如何在文件存储控制台创建并管理CPFS智算版数据流动。前提条件 源端OSS Bucket已设置标签(key:cpfs-dataflow,value:true)。在数据流动的使用过程中,不能删除和修改该标签,否则CPFS智算版文件系统数据流动无法访问Bucket的数据...

CreateDataFlowTask-创建数据流动任务

Evict:释放 CPFS 上文件数据块,释放后文件在 CPFS 上只保留元数据,您仍能查询该文件,但文件数据块已清除,不占用 CPFS 上的存储容量。当访问该文件数据时,将再从源端存储按需加载。Inventory:获取 CPFS 上数据流动管理的文件清单,...

数据流动概述

文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后,CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...

查看CPFS容量监控

使用文件存储控制台 登录 NAS控制台。在左侧导航栏,选择 监控审计>容量监控。在顶部菜单栏,选择地域。在 容量监控 页面,执行以下操作,查看目标CPFS文件系统的容量监控详情。在 文件系统类型 下拉列表,选择 CPFS 或 CPFS智算版。在 ...

功能特性

数据文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写,需按4K,8K,16K对齐-共享读写 一份数据可共享式多点挂载并进行读写,读写可线性扩展-存储加密 通过对数据文件存储实施加密,可以确保数据文件...

快速入门(Linux)

前提条件 已开通文件存储NAS服务。首次登录 文件存储NAS产品详情页 时,按照页面引导开通服务。已购买华东1(杭州)地域ECS实例(CentOS 7.9)。更多信息,请参见 选购ECS实例。操作视频 步骤一:创建NFS文件系统 登录 NAS控制台。在 概览 ...

查看NAS容量监控

文件存储NAS已与云监控无缝集成。通过容量监控功能,您可以实时查看通用型NAS存储空间中通用型NAS数据量和低频介质数据量以及低频读写数据流量和文件数。本文介绍如何查看通用型NAS的容量监控数据。前提条件 已创建NAS文件系统。具体操作,...

创建数据取回任务

如果您需要频繁访问低频介质中存储文件,建议您创建数据取回任务,将指定文件或目录中的数据取回至通用型NAS存储空间,避免频繁访问产生读写流量费用。本文介绍如何创建数据取回任务。计费说明 在执行数据取回任务时,NAS会根据目标文件...

一般性问题

1.数据文件存储DBFS是什么,适合什么场景?数据文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于:OLTP及OLAP数据库场景:例如,MySQL、PostgreSQL等。NoSQL数据库场景:例如,MongoDB、RocksDB等。2...

查看NAS性能监控

文件存储 NAS 已与云监控无缝集成。通过性能监控功能,您可以实时查看文件系统的IOPS、吞吐、延迟等性能概况。本文介绍如何查看 NAS 文件系统的性能监控数据。前提条件 已创建 NAS 文件系统。具体操作,请参见 创建文件系统。已开通云监控...

查看CPFS性能监控

使用文件存储控制台 登录 NAS控制台。在左侧导航栏中,选择 监控审计>性能监控。在顶部菜单栏,选择地域。在 性能监控 页面,进行以下操作,查看指定文件系统的性能监控详情。在 文件系统类型 下拉列表,选择 CPFS 或 CPFS智算版。在 文件...

通过VPN网关实现本地数据中心访问阿里云NAS

本文介绍如何通过VPN网关的设置,实现本地数据中心访问阿里云文件存储NAS。背景信息 对于一个地域(例如华东1杭州)内创建的文件系统(NFS或者SMB),只支持挂载到同一地域内的ECS上。您在其他地域(例如华北1青岛)内的ECS或者本地数据...

挂载问题

1.挂载数据文件存储(DBFS)的约束?数据文件存储(DBFS)默认会在“/mnt/dbfs”目录下创建挂载点(例如,“/mnt/dbfs/xxxxxx”)。数据文件存储(DBFS)要求挂载点为空,即“/mnt/dbfs/xxxxxx”目录为空,不能在挂载点下存在文件...

NFS文件系统传输加密

挂载地址:您可以在文件存储NAS控制台 文件系统列表 页面,单击目标文件系统后的 管理,进入 挂载使用 页面获取挂载地址。更多信息,请参见 查看挂载点地址。NAS文件系统目录:NAS的根目录(/)或任意子目录(例如:/share),如果是子目录...

从OSS迁移数据

本章节介绍如何将对象存储OSS上的数据迁移到文件引擎。准备工作 开通文件引擎,详情请参见 开通指南。搭建Hadoop集群。建议您使用的Hadoop版本不低于2.7.3,本文档中使用的Hadoop版本为Apache Hadoop 2.7.3,修改Hadoop 配置信息,详情参见...

管理文件元数据

对象存储OSS存储文件(Object)信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述,包括HTTP标准属性(HTTP Header)和用户自定义元数据(User Meta)两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略,例如文件...

使用rsync工具迁移数据

本文介绍如何使用rsync工具实现阿里云文件存储NAS NFS协议文件系统之间的数据迁移。前提条件 已拥有一个存有数据的NFS协议文件系统,并且拥有一个专有网络类型挂载点。费用说明 NAS与NAS之间的迁移,会涉及如下费用:使用ECS作为数据传输的...

服务协议

自2021年1月31日起,新版数据文件存储(DBFS)服务条款生效。请参考《阿里云数据文件存储服务协议》。

什么是文件存储 HDFS 版

文件存储 HDFS 版和对象存储OSS双向数据迁移 文件存储 HDFS 版和数据库MySQL双向数据迁移 迁移开源HDFS的数据文件存储 HDFS 版 产品定价 文件存储 HDFS 版 计量项包括标准吞吐、预置吞吐,计费方式支持按量付费方式。详细的计费规则,请...

删除文件系统

本文主要说明阿里云数据文件存储服务删除功能。进入“数据文件存储控制台”->“数据库文件系统列表”。单击“更多”按钮,单击“删除”,弹出“删除数据库文件系统”窗口。单击“我已知晓风险,确认删除”按钮后,提交删除申请。

DescribeDataFlowTasks-查询数据流动任务列表

Executing ReportPath string 数据流动任务报告在 CPFS 文件系统中保存的路径。CPFS 的任务报告会生成在该 CPFS 的.dataflow_report 目录中。CPFS 智算版会返回一个 oss 下载链接,可以通过链接下载任务报告。path_in_cpfs/reportfile.cvs ...

取消数据取回任务

说明 执行取消操作后会立刻停止数据取回任务,已经取回的数据将按照通用型存储容量(容量型/性能型/高级型)计费。更多信息,请参见 通用型NAS计费。使用NAS控制台 登录 NAS控制台。在左侧导航栏,选择 生命周期管理>数据取回任务列表。在...

计费常见问题

本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后,就开始计费吗?文件存储 HDFS 版服务如何停止计费?删除存储数据后,为什么控制台显示的存储容量不变,账单没有减少?使用文件系统上传下载数据时,是否计费...

申请与创建

本文主要说明如何创建阿里云数据文件存储服务DBFS。申请创建DBFS的步骤:进入“阿里云控制台”->“登录数据库文件系统控制台”。如果未开通服务,需要先点击“立即开通”开通数据文件存储服务后,才能进入购买页面。单击“创建数据库...

新功能发布记录

2022-02-11 华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)数据文件存储DBFS产品详情页 表 2.2020年06月 功能名称 功能概述 发布时间 支持地域 相关文档 数据文件存储标准版公测发布 数据文件存储(DBFS)是一款针对...

在线扩容

本文主要说明阿里云数据文件存储服务DBFS的在线扩容功能。进入“数据文件存储控制台”-》“数据库文件系统列表”。单击“扩容”按钮,弹出“在线扩容数据库文件系统”窗口。填写“扩容后容量”,单击“开始扩容”按钮后提交扩容申请。

集成概览

本文为您介绍数据文件存储DBFS支持的集成方案。OpenAPI集成 数据文件存储DBFS提供实例、快照、标签等功能的OpenAPI,您可在业务系统中进行集成。关于如何使用阿里云OpenAPI,请参见 使用OpenAPI。版本说明 版本说明 说明 2020-04-18 ...

获取文件元数据

默认情况下,在已开启版本控制的存储空间(Bucket)中调用HeadObject接口只能获取文件(Object)当前版本的元数据。通过指定文件的版本ID(versionId),您可以获取文件指定版本的元数据。说明 如果文件的当前版本为删除标记,则返回404 ...

数据流动概述

同时,CPFS智算版支持通过文件存储控制台或OpenAPI将数据导出至OSS Bucket。目录级别的数据流动 您可以通过创建数据流动,建立从CPFS智算版文件系统任意子目录到OSS Bucket下任意prefix的映射,实现更细粒度的权限控制与更灵活的数据传输。...

使用Robocopy工具迁移数据

本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统,并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令,该功能可以创建...

应用场景

文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力,无需将数据迁移到计算资源本地,因此在该场景下推荐使用 文件存储 HDFS 版 存储数据。将数据存入 文件存储 HDFS 版,ECS实例或其他计算资源即可直接访问这些数据。将Hadoop或其他...

功能特性

文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用,包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员和用户熟知,您无需在迁移到云时学习新的存储范例。从传统HDFS迁移到 文件存储 HDFS 版,不会...

数据索引

如果您希望在查询结果中对数据进行分类统计,例如统计所有文件大小、去重统计文件存储类型等,请添加数据聚合方式。使用阿里云SDK 仅Java SDK、Python SDK以及Go SDK支持通过数据索引功能查询满足指定条件的Object。使用数据索引功能前,您...

文件存储CPFS(NFS协议)备份

您可以使用 云备份 备份文件存储CPFS(NFS协议)的数据,并在数据丢失或损坏时及时恢复。本文介绍使用本地NAS方式备份CPFS的操作方法。前提条件 已创建文件存储CPFS,并已获取挂载地址(例如 file-system-id.region.cpfs.aliyuncs....

数据安全性

上传文件数据完整性校验 由于移动端网络环境的复杂性,数据在客户端和服务器之间传输时有可能会出错。OSS提供了基于MD5和CRC64的端到端的数据完整性验证功能。MD5校验 需要在上传文件时提供文件的Content-MD5值,OSS服务器会帮助用户进行...

文件存储HDFS版

将Hadoop或其他机器学习应用部署在多个计算资源上,应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算,也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...

DescribeDataFlows-查询数据流动列表

查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键(Filters)中,FsetIds、DataFlowlds、SourceStorage、...

新功能发布记录

2021-10-27 全部 管理Fileset 数据流动 文件存储CPFS 2.0 文件存储CPFS 2.0版本支持更高的性能,更丰富的功能,为AI训练和HPC高性能计算提供高性能的并行文件存储服务。2020-09-30 全部 什么是文件存储CPFS 文件存储CPFS 1.0(商用)文件...

查看快照容量

您可以按照以下步骤在数据文件存储控制台查看某一个文件系统所有快照所占的容量。登录 数据文件存储控制台。在顶部菜单栏左上角处,选择地域。在左侧导航栏,选择 快照,然后单击 快照链 页签。在 快照链 页面,搜索的下拉列表选择文件...

ECS支持说明

支持挂载数据文件存储(DBFS)的ECS实例规格如下:存储增强通用型g7se 存储增强计算型c7se 存储增强内存型r7se
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用