通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
本文为您介绍质量规则的参数配置信息。数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验...
本文为您介绍质量规则的参数配置信息。数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验...
数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统开源大数据计算引擎Hive、Spark、Presto、Flink等，同时也支持云厂商自研的大数据引擎，如阿里云MaxCompute、Hologres等。在数据湖存储与计算引擎...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
云原生数据仓库AnalyticDB PostgreSQL版 支持周期性的基础备份与日志备份，可以有效防止数据丢失。功能原理 云原生数据仓库AnalyticDB PostgreSQL版 通过实例的基础备份加日志备份，可以将实例恢复至指定历史时刻，并保证分布式实例状态与...
监控信息页面的查询响应时间和诊断与优化页面的总耗时的计算方式不同。与诊断与优化页面的总耗时相比，监控信息页面的查询响应时间还包括结果集缓存耗时。因此当查询返回的结果集较大，产生结果集缓存耗时后，监控信息页面显示的查询响应...
本文以创建表bank_data和result_table为例，为您介绍如何通过DataWorks创建表并上传数据。前提条件 已在工作空间添加MaxCompute数据源，并在数据开发中绑定对应MaxCompute数据源后，当前页面才会显示 MaxCompute 目录。工作空间添加...
MaxCompute是适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您可以经济并高效...
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
您可以通过FineBI连接 云原生数据仓库AnalyticDB MySQL版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB MySQL版 之间的...
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
开发的API只有通过测试并发布至数据服务市场中，用户才可以在数据服务市场中查询并申请调用该API的权限。本文为您介绍如何测试与发布API至数据服务市场中。前提条件 在开始执行操作前，请确认您已完成API的创建。更多信息，请参见 API任务...
数据库类型 选择 MySQL。接入方式 根据源库的部署位置进行选择，本文以 ECS自建数据库 为例介绍配置流程。实例地区 选择源MySQL数据库所属地域。ECS实例ID 选择所需要迁移数据的ECS实例。端口 填入源MySQL数据库的服务端口（需开放至公网）...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息 关于数据库审计支持的数据库类型，请参见 支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 14.9.13.0及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有存储数据，开启该功能本身不会产生费用。...
数据质量 为您展示当前表配置的数据质量监控规则详情及DQC告警列表，您可以单击右侧的 配置规则 跳转至数据质量页面为表配置质量监控规则。配置规则：按表（单表）使用记录 通过 频繁关联 和 访问统计 维度为您展示表的使用记录。频繁关联...
本文介绍如何开启冷数据分层存储功能，以及开启功能后的使用方式。使用限制 仅 PolarDB PostgreSQL版（兼容Oracle）2.0.14.13.0 及以上版本支持冷数据分层存储功能。开启冷数据分层存储功能后，无法关闭该功能，只能删除冷数据。如果没有...
数据库类型 选择 Tair/Redis。接入方式 选择 云实例。实例地区 选择目标Redis实例所属地域。实例ID 选择目标Redis实例的ID。数据库密码 填入连接目标Redis数据库的密码。说明 数据库密码格式为<user>:。例如，Redis实例自定义的用户名为...
前提条件 建议阿里云MongoDB实例的存储空间比MongoDB Atlas数据库占用的存储空间大10%。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会...
前提条件 建议阿里云MongoDB实例的存储空间比MongoDB Atlas数据库占用的存储空间大10%。注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的资源，可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低，可能会...
若您希望迁移部署在本地、ECS或其他云上的Redis数据库至 云数据库 Redis 版，且不影响业务正常运行，您可以使用数据传输服务DTS。DTS可以在不中断数据库服务的同时，将数据全量或者增量迁移至 云数据库 Redis 版。该方案相比使用AOF方式...
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
查看离线数据大屏 您还可以在 运维大屏>离线同步 页面查看离线同步任务的运行状态分布、数据同步进度、同步数据量统计、同步任务执行详情（可基于来源端与目标端数据源，以及任务是否产生公网等条件过滤目标任务）等运行指标信息。...
单击 检验联系方式，即可验证报警接收人的手机号或邮箱是否已登记。若未登记，可参考 查看和设置报警联系人 配置。顺序 选择按照 业务日期正序 或 业务日期倒序 进行补数据。调度资源组 指定运行补数据实例使用的资源组。跟随任务配置：...
数据库类型 选择 MySQL。接入方式 选择 专线/VPN网关/智能网关。实例地区 选择自建MySQL数据库所属的地域。是否跨阿里云账号 本示例为同一阿里云账号间的同步，选择 不跨账号。已和源端数据库联通的VPC 选择自建MySQL数据库接入的VPC ID。...
更多关于SSL加密功能的信息，请参见 设置SSL加密。目标库信息 选择已有的DMS数据库实例 您可以按实际需求，选择是否使用已有实例。如使用已有实例，下方数据库信息将自动填入，您无需重复输入。如不使用已有实例，您需要输入下方的数据库...
前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案概览。建议目标 云数据库MongoDB版 实例的存储空间比源 云数据库MongoDB版 实例占用的存储空间大10%。...
前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案概览。建议目标 云数据库MongoDB版 实例的存储空间比源 云数据库MongoDB版 实例占用的存储空间大10%。...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
数据库类型 选择 PolarDB-X 2.0。接入方式 选择 云实例。实例地区 选择源 PolarDB-X 2.0 实例所属地域。是否跨阿里云账号 本示例为同一阿里云账号间的同步，选择 不跨账号。实例ID 选择源 PolarDB-X 2.0 实例ID。数据库账号 填入源 PolarDB...
多数据集关联：当报表中存在不同数据集的数据时，需要通过添加数据过滤条件，建立起不同数据集之间的联系。这张报表的数据来源于两个不同的数据集ds1和ds2，商品种类、合同种类字段是这两个数据集共有的字段，使用这个字段建立起他们之间的...
更多关于主键列、排序键、分区键的信息，请参见 CREATE TABLE。分区键 可以不设置，但不可以选择为可空的字段，否则同步任务将会失败。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步...
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现 RDS MySQL 实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移...
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
数据库类型 选择 Tair/Redis。接入方式 选择 云实例。实例地区 选择目标Redis实例所属地域。实例ID 选择目标Redis实例的ID。数据库密码 填入连接目标Redis数据库的密码。说明 数据库密码格式为<user>:。例如，Redis实例自定义的用户名为...