数据加速器-数据加速器文档介绍内容-移动阿里云

数据集加速器（DatasetAccelerator）

数据集加速器（DatasetAccelerator，简称DatasetAcc）依托于阿里云构建的PaaS服务，主要解决云上AI加速-数据集加速的场景。在机器学习训练场景下，通过对客户训练的数据集进行预分析和处理，为各种云原生的训练引擎提供统一的数据集访问...

在PAI平台使用数据集加速器

使用数据集加速器 您可以在创建DSW实例或提交DLC任务时使用数据集加速器。创建DSW实例时，存储配置选择开启加速功能的数据集即可，详情请参见创建及管理DSW实例。提交DLC任务时，数据集配置选择开启加速功能的数据集即可，详情请参见 ...

数据集加速器（DatasetAccelerator）计费说明

本文为您介绍数据集加速器的计费规则。计费项数据集加速器的计费项组成如下图所示：计费方式数据集加速器的计费方式如下。计费方式计费项计费主体计费规则停止计费预付费（包年包月）加速实例容量容量和购买时长。按容量和购买时长...

数据集加速器（DatasetAccelerator）

通过QAT加速器设备加速数据加解密和压缩解压缩

QAT加速器设备可以提升系统的加密处理能力，适用于高性能加解密能力的业务应用，例如Web服务器、数据库和其他需要大量安全通信的服务，在确保数据安全的同时，减轻CPU的负担，提升整体系统性能。您可以在 ACK托管集群Pro版中部署ack-qat-...

加速器监控

OSS加速器监控，通过使用带宽、使用 QPS、命中率和延迟四项监控数据，帮助您精准洞察加速器性能状态，及时提高缓存命中率，以保障高效、流畅的数据传输效果。如何提高OSS加速器缓存命中率？若命中率偏低，可考虑调整加速路径，让更多...

使用OSS加速器提升模型训练速度

使用OSS加速器可以显著提升数据集加载速度，从而提升整体的模型训练速度。本文基于大量性能测试对比了使用和未使用OSS加速器的加速效果，说明在GPU利用率尚未达到瓶颈的情况下，数据加载效率至关重要。此外，本文以预训练模型ResNet-18在...

性能指标

测试结果数据集构建方式数据集类型使用OSS内网域名启用OSS加速器预载数据，并使用加速域名访问 OSS Connector for AI/ML方式构建 OssIterableDataset 99920 img/s 123043 img/s OssMapDataset 56564 img/s 78264 img/s 测试结论从测试...

规格说明

公共云公共云公共云公共云本地部署数据可视化加速器 数据源接入限制支持如下数据源：静态文件 RDS for MySQL RDS for PostgreSQL RDS for SQLServer AnalyticDB for MySQL AnalyticDB for PostgreSQL API 数据集矢量地图数据服务宜...

加速器预热

OSS加速器预热功能可以异步地将OSS数据导入到高性能集群存储，在下次访问这部分数据时提供更低的延迟。本文将为您介绍如何通过预热功能在大量请求访问前进行数据的预热工作。前提条件已创建OSS加速器。具体操作，请参见创建、修改和删除...

创建及管理数据集加速实例

数据源类型支持进行数据加速的数据源类型。容量数据集加速实例支持分配的容量空间，取值范围：500~102400 GB。购买时长参考界面提示选择购买时长。单击立即购买。支付成功后，您可以在加速实例列表，查看已创建成功的加速实例。在页面...

API概览

本产品（人工智能平台 PAI-数据集加速器/2022-08-01）的OpenAPI采用 ROA 签名风格，签名细节参见签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不...

OSS加速器

您也可以根据经验配置一定大小的加速器空间，加速器会在数据读取时自动缓存文件至加速器高性能介质中，供下次读取时快速访问。加速器的空间可根据加速效果随时进行扩缩调整。如果您的推理程序需要通过本地目录方式访问OSS，您需要部署 ...

创建及管理数据集加速槽

在使用数据集加速器（DatasetAccelerator）前，您需要创建数据集加速槽来绑定数据源地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素，对关联的数据集进行预处理，以提高访问速度。本文为您介绍如何创建和管理数据集加速槽...

AI加速

PAI-AI加速器主要用于训练加速和推理加速，通过多种手段如数据集加速、计算加速等，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能简介 AI加速器支持的技术手段及对应...

使用硬件DSA进行数据流加速

在数据密集型的工作负载中，如需优化DRAM、持久内存和各种数据处理进程中常见的数据流拷贝和转换，推荐您使用英特尔®DSA（Data Streaming Accelerator）数据流加速器。DSA是一种高性能的数据拷贝和数据转换加速器，已集成在八代神龙SPR...

湖存储加速（LakeCache）

湖存储加速器将文件数据返回给客户端，并将目标文件缓存到湖存储加速器中。功能优势毫秒级延迟湖存储加速器的NVMe SSD介质可以为业务提供的毫秒级读延迟。高吞吐能力湖存储加速器的带宽随缓存空间大小线性增长，最大可提供数百Gb/s的...

创建、修改和删除加速器

同步预热同步预热开启后，通过OSS加速器域名向OSS写入数据时，可使数据同时写入OSS Bucket和OSS加速器空间，下次读取数据时可以通过OSS加速器域名访问OSS加速器空间以获得更低的延迟。普通OSS域名在同步预热模式下，只能访问OSS Bucket...

混合云加速

通过集成Fluid等数据加速引擎，ACK支持将PV存储卷的数据访问进行优化，提升数据读取和写入的性能，降低延迟并提高吞吐量。这种加速功能适用于大数据处理、AI训练等对存储性能要求较高的场景。您可以通过创建 Dataset 和 Runtime 资源，配置...

传输加速费用

数据加速上传和下载流量相对稳定、可预测业务遍布全球范围大量数据或大文件远距离（例如中国内地到非中国内地）频繁上传和下载支持情况以下是各计费项付费方式的支持情况：计费项按量付费资源包 AccM2MIn√地域为传输加速M2M的传输...

使用流程

EAIS实例作为加速器需要附加在ECS实例上进行使用，因此执行绑定操作，将EAIS实例绑定至对应的ECS实例上。启动EAIS实例。EAIS实例绑定到ECS实例后，您可以在需要使用EAIS实例时启动EAIS实例。说明启动EAIS实例后，EAIS实例开始计费。使用...

清除数据

常见问题 Q：为什么选择了执行时间为可维护时间内执行，实例的状态还是变成了过期数据加速清理中？A：实例不会提前删除过期数据，该状态不会影响实例提供服务。只有到了可维护时段，实例才会加速清理过期数据。Q：为什么在DMS中无法执行 ...

弹性加速计算实例FAQ

EAIS实例作为加速器需要附加在ECS实例上进行使用，您需要远程登录绑定的ECS实例，使用EAIS实例提供的AI推理进行加速。更多信息，请参见使用EAIS实例。EAIS有什么使用前提吗？EAIS只负责GPU实例，相关的CPU/内存需要开通ECS实例。

使用Fluid加速Lindorm S3协议兼容的数据访问

步骤二：创建Dataset和Runtime 说明为了方便管理数据，Fluid定义了数据集Dataset（数据集是逻辑上相关的一组数据的集合，会被计算引擎使用）和Runtime（实现数据集安全性、版本管理和数据加速等能力的执行引擎，定义了一系列生命周期的...

免费体验RDS PostgreSQL AP加速引擎（rds_duckdb）

该引擎适用于对在线数据有轻量级数据分析需求的场景，例如实时报表和ETL数据加速计算。具体优势包括：高性能：DuckDB 是当前热门的嵌入式AP数据库，凭借其列式存储、即时编译、向量化执行、高效的内存管理以及并行处理等技术，实现了更高的...

性能加速和管理概述

远距离数据传输加速，面向公网环境下的GB、TB级大文件上传与下载，以及动态或非热点数据的快速分发 OSS加速器将OSS中的热点文件缓存在NVMe SSD高性能存储介质上，提供毫秒级低延迟和高吞吐量的数据访问服务。支持读时预热、同步预热和异步...

性能测试

本文通过对比分析在使用OSS内网域名与启用OSS加速器的情况下，不同数据集构建方法（OssIterableDataset、OssMapDataset、结合Ossfs和ImageFolder）的性能差异，旨在为用户提供数据访问策略的优化指南。测试说明测试场景：通过在使用OSS...

数据导入方式介绍

离线数仓加速离线数据运行在 MaxCompute 等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源...