MaxCompute是适用于数据分析场景的企业级 SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
通过新建TDengine数据源能够实现Dataphin读取TDengine的业务数据或向TDengine写入数据。本文为您介绍如何创建TDengine数据源。权限说明 仅支持具备 新建数据源权限点 的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员...
功能介绍 数据质量支持对常见大数据存储（MaxCompute、E-MapReduce、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL和CDH等）进行质量校验。从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度，配置质量监控规则。并可以将...
总的来说，大部分场景做聚合的时候都倾向于选择HashAgg，只有以下场景下才适合选择SortAgg做聚合：数据比较多，内存严重不足。聚合算子的输入已经按照Group By列做好排序，这样做SortAgg就不需要额外排序，执行效率会更高。当数据有严重...
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。源库限制 限制项 说明 网络...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
通过新建TDengine数据源能够实现Dataphin读取TDengine的业务数据或向TDengine写入数据。本文为您介绍如何创建TDengine数据源。权限说明 仅支持具备 新建数据源权限点 的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员...
数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不适合存储。事务支持 云数据库 Memcache 版不支持事务，有事务性要求的数据不适合写入，而应该直接写入数据库。使用场景 当...
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 JDBC URL Presto的连接地址...
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
通过创建Lindorm（计算引擎）数据源能够实现Dataphin读取Lindorm（计算引擎）的业务数据或向Lindorm（计算引擎）写入数据。本文为您介绍如何创建Lindorm（计算引擎）数据源。背景信息 Lindorm（计算引擎）是阿里云推出的自研数据库，提供宽...
参数 描述 数据源名称 命名规则如下：只能包含中文、英文字母大小写、数字、下划线（_）或短划线（-）。长度不能超过64字符。数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的...
但这两种方法都有不足之处：第一种方法需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute的大规模计算能力。第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业...
背景信息 Aliyun HBase即阿里云的云数据库HBase，是低成本、高扩展、云智能的大数据NoSQL。兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩、毫秒响应、跨机房高可用、全托管、...
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
参数 描述 数据源名称 命名规则如下：只能包含中文、英文字母大小写、数字、下划线（_）或短划线（-）。长度不能超过64字符。数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的...
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至 AnalyticDB for MySQL 数据库中。数据库迁移 通过...
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG。详细说明，请参见 支持的数据资产类型。数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，会在2小时内启动扫描。扫描时长将由您所需扫描的数据量决定。当存在大量数据表...
提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，同时DMS内置的 数据灾备（DBS）还提供了低成本、高可靠的备份恢复能力，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。前置概念 ...
通过创建Lindorm（计算引擎）数据源能够实现Dataphin读取Lindorm（计算引擎）的业务数据或向Lindorm（计算引擎）写入数据。本文为您介绍如何创建Lindorm（计算引擎）数据源。背景信息 Lindorm（计算引擎）是阿里云推出的自研数据库，提供宽...
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
具体操作，请参见 数据源白名单配置 背景信息 Aliyun HBase即阿里云的云数据库HBase，是低成本、高扩展、云智能的大数据NoSQL。兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，具备PB规模、高并发、秒级伸缩...
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至EMR Hive的能力，您需要将Hive组件创建为 DataWorks的 Hive数据源，实现将其他数据源的数据同步至Hive数据源，或将Hive数据源的数据同步至其他数据源。同时，可根据需要选择...
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
通过创建SelectDB数据源能够实现Dataphin读取SelectDB的业务数据或向SelectDB写入数据。本文为您介绍如何创建SelectDB数据源。背景信息 SelectDB是广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景的数据...
RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
通过创建SelectDB数据源能够实现Dataphin读取SelectDB的业务数据或向SelectDB写入数据。本文为您介绍如何创建SelectDB数据源。背景信息 SelectDB是广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景的数据...
删除或更新数据 大部分数仓都难以实现较为高效的行级数据删除或更新，通常需要启动离线作业把整个表原始数据读取出来，然后变更数据后，写入到一个原始表。而Iceberg成功把变更的范围从表级别缩小到了文件级别，从而可以通过局部变更来完成...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
解决方案 数据归档概述 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至 AnalyticDB for MySQL 数据库中。数据库迁移 通过...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据归档概述 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息...
Hologres针对大数据量（亿级）、高QPS的UV计算场景，提供近实时预聚合UV计算方案，支持您通过RoaringBitmap，结合周期性调度的方式对数据进行预聚合，实现任意长周期的UV灵活计算。方案介绍 对于大数据量且对QPS、延迟有一定需求的业务，...
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至CDP/CDH Hive、CDP/CDH HBase的能力，您需要将Hive或HBase组件创建为 DataWorks的 Hive或HBase数据源，实现将其他数据源的数据同步至Hive或HBase数据源，或将Hive或HBase数据...