如果业务数据和时间相关，建议使用时间范围分区，如果业务数据与地域和租户相关，可以使用List分区或者Hash分区，或者 LIST DEFAULT HASH 分区。如果一级分区数据过多，可以使用二级分区。具体请参考 分区选择策略。使用 PolarDB MySQL版 ...
适用场景 适用场景 说明 视频直播 视频直播类业务往往存在大量热点数据，大部分的请求都来自于热门的直播间。使用混合存储型，内存中保留热门直播间的数据，不活跃的直播间数据被自动存储到磁盘上，可以达到对有限内存的最佳利用效果。电子...
提供组件级别的数据处理、代码智能生成能力，实现业务数据自动适配。可视化渲染 提供400多种可视化组件、100多种地理图元，可高效地帮助您实现数据精准表达，呈现数据之美。自研二三维一体化渲染引擎，实现海量时空数据实时渲染。低代码...
更新数据地图数据表给定字段的业务元数据，当前仅支持更新字段的业务描述。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。仅 maxcompute,hms,dlf 类型支持 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰...
用户在业务系统中，通过埋点或日常积累的方式，获取了充足的业务数据。为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完...
数据分析概述 访问数据分析功能 管理数据集 仪表盘 Copilot Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理...
数据源配置是创建组件和展示业务数据的关键步骤，具有数据接入、数据处理和数据实时更新的功能。本文介绍如何进行配置组件数据。功能说明 DataV-Board 支持接入 各种业务数据，包括静态数据、数据库、应用网关等。通过数据源配置，将业务...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
合规声明 数据跨境迁移会将云上业务数据传输至用户指定的区域，实施此类操作应遵循以下要求：具备对相关云上业务数据的合法处理权限；采取充分的数据安全保护技术和管理措施；确保数据传输行为符合适用的法律法规，例如：传输的数据中不...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间...
简化运维 一套运维体系，一套集群管理，全面覆盖大数据和在线等多种业务，简化运维。优化体验 一套EMR平台，同时支持ECS和ACK两套IaaS资源模型，您可以无缝切换。利用ACK和弹性容器实例ECI的资源快速交付能力，弹性计算资源的获取时间更短...
DataWorks支持的模型及其介绍如下：概念模型-维度：维度是您观察业务状况的视角，您可在维度建模中规划并创建维度，后续创建维度表时进行关联，关联后即可通过不同维度分析呈现不同视角的业务数据状况。逻辑模型-维度表：结合业务的数据域...
注意事项如下：原子指标、修饰类型及修饰词，直接归属在业务过程下，其中修饰词继承修饰类型的数据域。派生指标可以选择多个修饰词，由具体的派生指标语义决定。例如，支付金额为原子指标，则最近一个月商品A的支付金额（时间周期为 最近...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。单节点实例不支持使用DTS执行增量数据迁移，为保障数据一致性，全量数据迁移期间...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
数据资产治理可根据DataWorks中表或调度任务类型的资产进行数据健康管理和使用分析，可使用标签进行业务信息管理，便于您及时了解资产健康情况，并及时处理资产的待处理问题。重要 请注意，资产健康与业务资产功能目前处于 Beta 版本，该...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
以业务数据链路为视角进行视图监控，可查看当前业务链路中所有业务节点的运行情况、告警信息。本文介绍了如何查看业务链路。前提条件 已启动业务监控连路，具体操作，请参见 启动业务监控链路（邀测中）。操作步骤 登录 数据资源平台控制台...
但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 数据库网关。索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。止血建议：在系统...
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。若目标实例的架构类型为集群版且某一个分片达到了内存上限，或目标实例的存储空间...
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。背景信息 Redis一个高性能的key-value数据库，多用于缓存，事件发布或订阅，高速队列等场景。更多学信息，请参见 Redis官网。权限说明 仅支持...
通过创建Redis数据源能够实现Dataphin向Redis写入业务数据。本文为您介绍如何创建Redis数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与...
本文为您介绍任务编排的应用场景。包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据...数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度，保证任务按时执行。
方案中采用 AnalyticDB for MySQL 存放业务数据，AnalyticDB for MySQL 的配置为集群版16个C8节点，可支撑上万TPS（Transactions-per-second），TB级数据复杂查询秒级响应，同时支持弹性扩展节点数和存储空间。客户价值 基于 AnalyticDB ...
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
实验数据 实验日志数据结构 实际操作前，请先了解该项目背景下企业已有的业务数据及其数据格式，以及业务背景分析需要的目标用户画像基本结构。以下为OSS中存储的 user_log.txt 文件原始数据。remote_addr-$remote_user[$time_local]"$...
业务场景 要保证业务数据质量，首先您需要明确数据的消费场景和加工链路。本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android...
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集...
创建数据源 在您开始同步业务数据至Dataphin平台前，需要通过添加数据源的方式连通业务数据库与Dataphin。如何创建，请参见 创建MaxCompute数据源。规范定义 创建主题域 主题域用于存放同一数据板块内不同意义的指标，如商品域、交易域、...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
业务链路 支持以业务数据链路为视角进行监控，可查看当前业务链路中节点的运行情况、告警信息。监控明细 支持查看任务节点监控结果，可细节掌握每个监控节点的最新状态、任务日志和历史状态分布情况。支持查看监控任务节点的最近一次告警...