文件集 API 标题 API概述 CreateFileset 创建文件集 创建一个Fileset。DeleteFileset 删除文件集 删除一个Fileset。ModifyFileset 修改文件集 修改一个Fileset信息。DescribeFilesets 查询文件集列表 查询已创建的Fileset列表信息。...
消费者ECS订阅消息队列,读到消息X(文件X生产完毕),此时,消费者ECS再去open这个文件,通过open返回的fd去读取这个文件,则一定能够读到文件X的所有内容。如果消费者ECS在生产者ECS生产完毕之前,就open了文件X,并且持有了fd,当收到...
单个文件系统最大文件或目录数量 CPFS 2.3.0以前版本:14亿个 CPFS 2.3.0及以后版本:40亿个 文件/目录数量随文件系统容量增长而增加。CPFS 2.3.0以前版本:每1200 GiB容量支持约1500万文件或目录,单个文件系统上限为14亿。CPFS 2.3.0及...
例如:单个进程可以在256个单独文件上获取一个或多个锁,或者8个进程中的每个进程均可以在32个文件上获取一个或多个锁。不推荐在Windows操作系统上使用NFS客户端访问NFS文件系统。文件和目录类型 极速NAS文件系统支持的文件和目录类型:REG...
Fileset是在CPFS文件系统中的一个小型文件系统,拥有独立的inode空间和管理能力。在执行数据流动任务前,需要在CPFS文件系统中指定目录作为数据流动的Fileset。同时,Fileset可用于导出数据,创建NFS挂载点挂载CPFS文件系统。相比普通目录...
在文件列表每行填写一个路径,且每一行只能以源备份路径最后一个文件夹开头。例如备份路径为/test/data,要恢复data文件夹下file.txt和abc,请按如下格式填写路径。data/file.txt/data/abc 在 恢复目的地 页签,选择该地域下的需要恢复的 ...
成本 一个NAS文件系统可以同时挂载到多个计算节点上,由这些节点共享访问,从而节约大量拷贝与同步成本。单个NAS文件系统的性能能够随存储容量线性扩展,使用户无需购买高端的文件存储设备,大幅降低硬件成本。使用NAS文件存储,您只需为...
如果多个 CPFS 的数据流动、或者同一个文件存储 CPFS 的多个数据流动的源端存储是同一个 OSS Bucket,为了防止多个文件存储 CPFS 向同一个源导出数据产生数据冲突,需要该 OSS Bucket 开启版本控制。不支持跨地域的 OSS 数据流动,OSS ...
如果多个 CPFS 的数据流动、或者同一个文件存储 CPFS 的多个数据流动的源端存储是同一个 OSS Bucket,为了防止多个文件存储 CPFS 向同一个源导出数据产生数据冲突,需要该 OSS Bucket 开启版本控制。不支持跨地域的 OSS 数据流动,OSS ...
问题描述 当您使用两个ECS实例挂载同一个NFS文件系统,在ECS A实例上追加写文件,在ECS B实例上使用 tail-f 命令查看文件内容的变化时,在ECS A实例上写完之后,在ECS B实例上查看文件内容变化会有10~30秒的延时。然而相同的场景下,如果...
NAME READY STATUS RESTARTS AGE nas-test-1-b75d5b6bc-vqwq9 1/1 Running 0 51s nas-test-2-b75d5b6bc-8k9vx 1/1 Running 0 44s 控制台 重复以下操作,分别创建2个Deployment并挂载同一PVC,使其共享同一个NAS文件系统的同一个子目录。...
您可以通过调整core-site.xml配置、...每一个小文件都会占用一个task,而task启动将耗费大量时间,造成作业的大部分时间都耗费在启动task和释放task上。将存储在 文件存储HDFS版 上的小文件聚合成大文件会对整体的分析性能有较大帮助。
说明 初始情况下,每个阿里云账号都会自动生成一个VPC默认权限组,允许同一VPC网络下的任何IP地址通过该挂载点访问文件系统。您也可以根据业务场景创建权限组。具体操作,请参见 创建权限组和规则。通用型NAS文件系统会自动生成一个挂载点...
NAS与函数计算无缝集成,您可以在函数计算的服务、应用上配置NAS,实时存储训练中的数据,也可以通过函数计算中的应用部署NAS浏览器,实现可视化管理NAS文件系统上的文件,包括上传文件/文件夹、下载文件/文件夹、增删改查等。本文介绍如何...
数据存储 功能集 功能 功能描述 参考文档 通用型NAS 容量型 通用型NAS的一个细分存储类型,适用于数据库备份、日志存储、Windows用户目录、Linux home目录等成本敏感型且对时延响应要求不高的文件共享业务。通用型NAS 高级型 通用型NAS的...
在多租户环境或其他需要数据隔离的场景中,您可以 通过CNFS管理NAS隔离存储卷,在多个应用或Pod之间挂载同一个NAS文件系统的不同目录,使得 每个目录均对应一个存储卷,存储卷之间是相互独立的、相互隔离的。本文以StatefulSet类型应用为例...
(可选)步骤二:创建Fileset Fileset是在CPFS文件系统中的一个小型文件系统,拥有独立的inode空间和管理能力,在文件系统目录结构中表现为一个目录。建议您创建Fileset用于导出数据,创建NFS挂载点。Fileset相比普通目录具备更强的功能,...
一个协议服务最多可以向两个VPC创建协议导出,每个VPC内会生成一个名为 cpfs-fsid-vpc-id-nfs-sg的 安全组。推荐使用Fileset导出,Fileset相比普通目录具备更强的功能,例如文件数量限制、数据流动等。创建导出时,请确保Fileset或目录已...
Fileset是文件系统中的一个小型文件系统,拥有独立的inode空间和管理能力。您可以将Fileset作为一个工作空间,为其设置对应的数据策略和配额。前提条件 已创建CPFS智算版文件系统。具体操作,请参见 创建文件系统。已申请Fileset使用白名单...
应用场景 NAS是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统,适用于共享数据,以及I/O要求较高的应用场景。您可以结合NAS费用、性能等选择合适的NAS类型和存储规格。更多信息,请参见 通用型NAS、极速型NAS 和 选型指导。...
每个在资源块中创建的基础设施资源都是通过其 resource_name 在 Terraform 状态中进行标识的,其对资源的管理流程大致如下:当第一次通过 terraform apply 应用 Terraform 配置时,会创建基础设施资源,同时自动生成一个状态文件,该文件...
nfs4_setfacl-m A:1001:rwaxTNcCy A:1001:rxtcy file1 修改文件 file1 上的其中一条ACE的权限。nfs4_getfacl file1|nfs4_setfacl-S-file2 将文件 file1 的ACL权限复制到文件 file2 上。nfs4_getfacl file1|grep@|nfs4_setfacl-S-file1 删除...
阿里云文件存储NAS是一种分布式的网络文件存储,为ECS、HPC、Docker、BatchCompute等提供安全、无限容量、高性能、高可靠、简单易用的文件存储服务。阿里云NAS支持与阿里云模型在线服务PAI-EAS无缝集成。这使您的模型服务可以像访问本地...
在ECS实例挂载alinas类型文件系统时,如果指定 tls 参数,NAS客户端工具会启动一个Stunnel监听进程,该进程转发并加密ECS实例对NAS服务器的访问,同时会触发一个后端进程 aliyun-alinas-mount-watchdog 保障Stunnel监听进程的可用性。...
适用于计算任务训练中模型多个Checkpoint文件持续性的写回与加载场景。说明 仅CPFS智算版2.6.0及以上版本支持流式任务。仅支持通过OpenAPI使用流式任务。2024-10-10 华北6(乌兰察布)华东2(上海)新加坡 数据流动任务 数据流动流式任务...
存储包 通用型NAS存储包是一种预付费的计费方式,只能抵扣已绑定存储包的文件系统的存储容量。存储包绑定文件系统后,不支持手动解绑,只有删除通用型NAS文件系统实例后,存储包才会自动解绑。如果您不再需要使用通用型NAS存储包,可以在...
通过CNFS管理NAS共享存储卷,您可以在多个应用或Pod之间挂载同一个NAS文件系统的相同目录,以解决Pod之间共享数据的问题。本文以StatefulSet类型应用为例介绍如何使用CNFS管理NAS共享存储卷。前提条件 已开通文件存储NAS服务。首次登录 ...
当 TaskAction 为 Export 时,列表中每个元素代表一个 CPFS 文件路径。["/path_in_cpfs/file1","/path_in_cpfs/file2"]DryRun boolean 否 是否对此次创建请求执行预检。预检操作会帮助您检查参数有效性、校验库存等,并不会实际创建实例,...
当 TaskAction 为 Export 时,列表中每个元素代表一个 CPFS 文件路径。["/path_in_cpfs/file1","/path_in_cpfs/file2"]DryRun boolean 否 是否对此次创建请求执行预检。预检操作会帮助您检查参数有效性、校验库存等,并不会实际创建实例,...
其它 一个 CPFS 文件系统只能创建一个协议服务。创建协议服务会消耗指定 vSwitch 上的 IP 地址(最多消耗 32 个 IP 地址),请确保目标 vSwitch IP 资源充足。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行...
本文为您演示如何通过Terraform创建一个NAS文件系统。说明 本教程所含示例代码支持一键运行,您可以直接运行代码。一键运行 前提条件 为了降低信息安全风险,建议使用最小权限的RAM用户完成此教程的操作。请参见 创建RAM用户 与 为RAM用户...
一个ECS实例可挂载多少个CPFS文件系统?挂载CPFS文件系统时,返回“unsupported OS for 'X86_64' architecture”错误该如何处理?挂载CPFS文件系统时,返回“make sure kernel-devel version is consistent with kernel”错误该如何处理?...
在线体验:模型体验 说明 一句话识别/翻译能够直接对一分钟内的音频流(无论是从外部设备如麦克风获取的音频流,还是从本地文件读取的音频流)进行识别或翻译,并实时输出结果。在识别或翻译一句话后将停止识别或翻译任务。音频时长不能...
在线体验:模型体验 说明 一句话识别/翻译能够直接对一分钟内的音频流(无论是从外部设备如麦克风获取的音频流,还是从本地文件读取的音频流)进行识别或翻译,并实时输出结果。在识别或翻译一句话后将停止识别或翻译任务。音频时长不能...
nas:BindStoragePackage-nas:CancelAutoSnapshotPolicy 取消一个或者多个文件系统的自动快照策略。nas:CancelLifecycleRetrieveJob 取消任务状态为运行中(active)的一个数据取回任务。nas:CancelRecycleBinJob 取消一个回收站中正在运行...
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键(Filters)中,FsetIds、DataFlowlds、SourceStorage、...
查询一个CPFS文件系统的数据流动信息。接口说明 仅 CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持数据流动。您可以在控制台文件系统详情页面查看版本信息。筛选键(Filters)中,FsetIds、DataFlowlds、SourceStorage、...
查询指定文件系统一个或多个快照的信息。接口说明 该功能免费公测中,公测期间不保障 文件存储 NAS 服务等级协议(SLA)。仅极速型 NAS 高级型支持该功能。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功...
例如:某文件为98列100万行,大小为80 MB,则需要拆成多个文件,以追加行的形式上传。文件名称请避免存在特殊字符,确保兼容性和可读性。上传的Excel 中请避免有 Excel 函数计算的内容,例如:vlookup,sumifs 函数等。单个空间最大数据源...
功能介绍 文档翻译,支持解析文档中的文本内容,并调用机器翻译引擎,将文本翻译成另一种语言,并将翻译结果重新生成和原始文档格式一样的文件。使用限制 文档语种支持:参考 语种code 文档类型支持:doc,docx,xls,xlsx,csv,ppt,pptx...