在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
离线数仓加速 离线数据运行在 MaxCompute 等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源...
IoT数据源-Kafka数据源-KingbaseES（人大金仓）数据源-Lindorm数据源-LogHub（SLS）数据源-MaxCompute数据源-MariaDB数据源-Maxgraph数据源-Memcache（OCS）数据源-MetaQ数据源-MongoDB数据源-MySQL数据源-OpenSearch数据源-Oracle数据源-...
本章节主要为您介绍基于表格存储的海量气象格点数据解决方案的模型及方案设计。标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time ...
搭建离线数据仓库：您可以将DBS备份数据作为数据湖存储，搭建离线数据仓库，实现湖仓一体，挖掘数据价值。应对审计需求：全量备份数据保存在DBS中，若有临时审计需求，可以快速过滤出需要的数据进行审计分析。快速定位数据：库-表-分区的新...
容量型云存储 15ms~3s 监控日志、历史订单、音视频归档、数据湖存储、离线计算等低频访问数据。说明 容量型云存储使用高密度磁盘存储阵列，提供极低成本存储能力，和高吞吐读写能力，但随机读能力较弱，适用于写多读少场景或大数据计算场景...
说明 项目存储及表占用的逻辑存储显示离线统计时间的用量，并且显示的为逻辑存储大小。项目存储量除表存储量外，还会计算包括资源存储量、回收站存储量及其它系统文件存储量等在内，因此会大于表存储量。表的存储计费计算的是表的逻辑存储...
阿里云提供了涵盖各种存储资源（块、文件和对象）的广泛而灵活的数据存储方案，可以让您随时在不同的存储类型之间转换。本文讨论了如何选择最适合您的阿里云存储服务，以最低成本满足您的数据存储需求，同时还讨论了如何优化这些服务，从而...
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
新建SelectDB数据源 创建Sap Table数据源 离线集成 将存储在计算引擎中的数据作为来源数据时支持展示数据分类分级信息。支持将离线管道切换为离线脚本模式或克隆为脚本模式，可以有效提高脚本模式的配置效率；支持将组件直接切换为脚本模式...
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
计算引擎 说明 相关文档 离线计算引擎 MaxCompute 阿里原生的大数据计算平台，承载海量数据存储与计算能力，高效率与高稳定性。设置Dataphin实例的计算引擎为MaxCompute AnalyticDB for PostgreSQL 专注于OLAP领域的分析型数据库，是云端...
字段类型 离线读（LogHub（SLS）Reader）离线写（LogHub（SLS）Writer）实时读 STRING 支持 支持 支持 其中：离线写LogHub（SLS）时 会将支持同步的各类型数据均转换成STRING类型后写入LogHub（SLS）。LogHub（SLS）Writer针对LogHub（SLS...
DataWorks支持您在 数据集成主站 新建整库离线同步方案，快速将来源数据源内所有表上传至目标数据源，帮助您节省大量初始化数据上云的批量任务创建时间。支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、...
来源端读取支持最大连接数：同步解决方案的离线全量数据初始化阶段，会基于JDBC建立到数据库连接并读取全量历史数据。此连接数即用来控制数据来源端支持的最大JDBC连接数，避免大量任务同时启动打满数据库连接池，影响数据库的稳定性。请...
迁云服务包含4项子服务，客户可以结合自身业务需求进行购买：服务目录 基础包 标准包 进阶包 尊享包 迁云可行性分析 ✔️ ✔️ ✔️ ✔️ 系统迁云方案设计 ✔️ ✔️ ✔️ ✔️ 结构化数据迁云方案设计 ✔️ ✔️ ✔️ ✔️ 非结构化数据...
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
二级备份是指一级备份压缩后保存在其他离线存储介质上的备份数据。保存成本较低，但使用二级备份恢复数据的速度较慢。开启二级备份后，若一级备份超出您设置的保留时间，将会被自动转存为二级备份，转存速度约为150 MB/秒。说明 若一级备份...
这两种存储类型的各项对比指标详情如下：对比指标 标准存储类型 低频访问存储类型 数据设计持久性 99.9999999999%（12个9）99.9999999999%（12个9）服务可用性 99.995%无 服务设计可用性 无 99.995%对象最小计量大小 按照对象实际大小计算 ...
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
二级备份是指一级备份压缩后保存在其它离线存储介质上的备份数据。保存成本较低，但使用二级备份恢复数据的速度较慢。开启二级备份后，若一级备份超出您设置的保留时间，将会被自动转存为二级备份，转存速度约为150 MB/秒。说明 若一级备份...
存储迁移方案设计，主要为云下自建存储或本地文件迁移到OSS或NAS，提供数据迁移及校验方案，以及数据存储接口改造内容，不涉及到具体业务逻中间件迁移方案设计，如云下消息队列、kafka等迁移上云，提供技术改造方案内容，不涉及到具体业务...
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
二级备份是指一级备份压缩后保存在其他离线存储介质上的备份数据。保存成本较低，但使用二级备份恢复数据的速度较慢。开启二级备份后，若一级备份超出您设置的保留时间，将会被自动转存为二级备份。二级备份支持同地域备份和跨地域备份，...
存储量：统计的为表的逻辑存储大小，此数据为离线统计，有T+1的延迟。产出任务：写入当前表的DataWorks周期调度任务ID。若表被周期更新，但没有展示任务ID，可能是非DataWorks周期调度任务写入，详可咨询表负责人。此数据为离线统计，有T+1...
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
开通 AnalyticDB MySQL 服务后只需简单配置即可基于OSS存储和Hudi构建Lakehouse，如通过APS服务将Kafka/SLS日志型数据准实时入湖，或利用 AnalyticDB MySQL Serverless Spark引擎将RDS/Parquet离线数据批量入湖。方案架构图如下所示：...
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
③ 异常数据排行 展示离线实例和实时实例异常数据的排行：离线实例排行包括运行状态统计和运行时长统计排行。实时实例排行包括失败次数统计和延时时长统计排行。④ 报警排行 展示离线实例和实时实例的报警排行：离线实例报警排行包含运行...
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
基础备份会将实例全量数据的快照压缩后存储到其它离线存储介质，实例在基础备份期间不会阻塞您的读写操作，同时，备份期间产生的操作日志也会进行备份从而保证基础备份的完整性。AnalyticDB PostgreSQL 6.0版 实例从v6.6.2.2版本开始采用...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...