2025-05-30 全部地域 数仓引擎 04月 功能名称 功能描述 发布时间 发布地域 相关文档 MaxCompute数据传输服务观测能力升级 通过优化指标数据采集和加工处理链路，提升数据的准确性，新增支持以项目维度查看资源用量能力，新增更多使用方式...
为降低用户使用成本，DTS提供了RDS MySQL数据订阅（新版），当多个下游需要订阅同一个数据库实例时，只需要创建多个消费组即可，多个消费组可以同时对同一个数据库实例的增量数据进行订阅和消费，大幅降低了使用成本。更多详情，请参见 ...
包括数据检索、数据预览、查看元数据详情、查看数据血缘关系、分类分组管理数据表、数据洞察等操作。本文为您介绍如何在数据地图查看和管理MaxCompute表。前提条件 创建MaxCompute数据源并 绑定至DataWorks数据开发，绑定后DataWorks会面向...
您需要先登录阿里云，然后通过浏览器访问ChatBI智能数据洞察页面。请根据您的DataWorks资源组、数据集等业务所在地域按需选择。华东1（杭州）ChatBI入口 华东2（上海）ChatBI入口 华南1（深圳）ChatBI入口 西南1（成都）ChatBI入口 华北2...
数据库可观测提供数据洞察功能，可以对数据库实体数据进行查询与分析。前提条件 已接入应用 数据库可观测。数据洞察 云数据库 RDS 登录 云监控2.0控制台，选择目标工作空间，在左侧导航栏选择 应用中心 数据库可观测。在顶部导航栏，选择 ...
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
消费者和企业将持续在不同设备和云之间产生、分享和访问数据，增长速度也将超出此前的预期。生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和...
通过以下方式构建报表或大屏：数据分析:在数据分析模块将数据源连接到Hologres，通过SQL查询或者数据洞察生成卡片，并将卡片组合成报告，配置报告动态更新，从而构建数据动态更新的报表。数据服务：生成数据源类型为Hologres的API，并将...
本文为您介绍如何基于 阿里云百炼 和 DMS MCP 一键创建ChatBI数据助手（Agent），协助您使用自然语言进行数据分析、提升业务响应速度、赋能全员数据洞察。背景信息 随着大数据时代的到来，数据分析已成为企业决策不可或缺的一环。然而，...
消费订阅数据，请参见 使用SDK示例代码消费PolarDB-X 1.0订阅数据。相关代码参考，请参见 分布式订阅任务对应的数据消费代码。注意 由于切换过程中，涉及部分消费代码的修改，因此为保证业务正常运行，请您尽快切换至 PolarDB-X 1.0 的新版...
新版数据订阅支持使用0.11版本至2.7版本的Kafka客户端消费订阅数据，DTS为您提供了Kafka客户端Demo，本文将介绍该客户端的使用说明。注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完...
功能入口 您需要先登录阿里云，然后通过浏览器访问ChatBI智能数据洞察页面。请根据您的DataWorks资源组、数据集等业务所在地域按需选择。华东1（杭州）ChatBI入口 华东2（上海）ChatBI入口 华南1（深圳）ChatBI入口 西南1（成都）ChatBI...
使用AI智能报告，自动生成分析报告，提供数据洞察和建议，减少人工报告的时间和精力。当您完成报告的创作之后，您可得到市场分析报告、销售分析报告、财务分析报告、供应链分析报告、客户运营报告等不同业务场景的报告，取决于您具体业务...
Redis 不支持该类型资产使用数据洞察功能，资产所属账号无需承担额外费用。不支持该类型资产开启安全审计功能，资产所属账号无需承担额外费用。MongoDB 资产所属账号无需承担额外费用。为MongoDB资产在DSC控制台开启审计功能后，DSC会自动...
支持插件列表 2024年3月 功能 功能描述 相关文档 实时数据消费 实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现...
功能入口 您需要先登录阿里云，然后通过浏览器访问ChatBI智能数据洞察页面。请根据您的DataWorks资源组、数据集等业务所在地域按需选择。华东1（杭州）ChatBI入口 华东2（上海）ChatBI入口 华南1（深圳）ChatBI入口 西南1（成都）ChatBI...
本文介绍通过SDK代码消费分布式订阅数据，支持的数据源包括PolarDB-X 1.0和DMS LogicDB。前提条件 已创建订阅实例，且实例的运行状态为 正常。更多信息，请参见 创建PolarDB-X 1.0数据订阅任务 或 创建DMS逻辑库的数据订阅任务。已为订阅...
同步结束策略 选择同步结束策略，有以下两种策略：1分钟读取不到新数据时：如果消费者1分钟从Kafka拉取数据返回为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试直到再次读到...
背景信息 由于订阅任务没有使用SDK进行消费订阅数据、对SDK进行过较多修改以及订阅客户端运行环境的不同，导致排查订阅任务问题比较困难。在此提供一个工具包，在客户端的环境执行后可以协助定位和排除DTS的问题。重要 使用该工具包会更新...
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以使用DTS提供的SDK来消费订阅到的数据，本文介绍示例代码的使用方法。说明 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤，请参见 使用SDK消费PolarDB-X 1...
因此如果上次SDK退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道中，就不能订阅到这个消费位点对应的数据。解决方案 为了修复这个问题，在启动SDK之前，需要先修改消费位点，使消费位点在数据范围内，具体的修改方法详见文档 ...
匹配方式 为 敏感类型 时，支持选择的字段范围为 数据洞察中识别特征 页面中 数据特征 列字段，包含 内置 和 自定义 的识别特征字段。通过单击 增加算法 可以在当前模板中添加多条脱敏算法规则。编辑或删除脱敏模板 在 脱敏模板 页签，根据...
该平台能够实现元数据的统一、湖表格式的统一以及数据存储的统一，显著简化客户在数据湖构建和管理过程中的运维工作，助力企业聚焦于业务创新和数据洞察。产品特性 统一元数据与存储 大数据计算引擎共享一套湖上元数据和存储，且数据可在...
前提条件 已完成数据订阅通道的配置并新增消费组，详情请参见 创建RDS MySQL数据订阅任务 和 新增消费组。已创建 云数据库Tair（兼容Redis）并允许公网访问，详情请参见 步骤1：创建实例 和 申请公网连接地址。说明 您需要将客户端的IP地址...
同步结束策略 选择同步结束策略，有以下两种策略：1分钟读取不到新数据时：如果消费者1分钟从Kafka拉取数据返回为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试直到再次读到...
同步结束策略 选择同步结束策略，有以下两种策略：1分钟读取不到新数据时：如果消费者1分钟从Kafka拉取数据返回为空（一般是已经读完主题中的全部数据，也可能是网络或者Kafka集群可用性原因），则立即停止任务，否则持续重试直到再次读到...
用户洞察分析 Quick Audience用户洞察模块旨在通过丰富的用户洞察模型和便捷的策略配置，帮助企业完成消费者多维洞察分析，为后续的消费者运营和触达奠定人群基础。用户分析及筛选 用户洞察 4.营销触达 用户营销模块对接多种营销渠道，对您...
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
简介 逻辑复制从拷贝发布者数据库上的数据库快照开始。拷贝一旦完成，发布者上的更改会在它们发生时实时传送给订阅者。订阅者按照数据在发布者上被提交的顺序应用数据，这样任意单一订阅中的发布的事务一致性才能得到保证。逻辑复制被构建...
DTS支持在数据消费的过程中动态增加或减少订阅对象，本文将介绍修改订阅对象的操作流程。注意事项 执行了增加订阅对象操作后，订阅通道会从当前时间拉取该对象的增量数据。执行了移除订阅对象操作后，如果数据订阅的客户端还能订阅到该对象...
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
完成数据订阅通道的配置后，您可以使用flink-dts-connector文件消费通道中的数据，用于Flink客户端消费。本文介绍如何使用flink-dts-connector文件。注意事项 仅支持Flink客户端使用DataStream API、Table API和SQL。如您的Flink客户端使用...
这个机制依赖于SDK消费数据时，向DTS中控节点实时汇报消费时间点。本小节简单介绍如何使用DTS提供的SDK容灾机制。要求 SDK消费代码中，每消费一个message要调用一次ackAsConsumed，向DTS汇报消费时间点。同一个订阅通道至少启动2个SDK下游...
云原生多模数据库 Lindorm 宽表引擎支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何...
首次使用数据订阅功能时，请阅读 数据订阅操作指导，帮助您快速掌握创建、监控、管理数据订阅任务及消费数据的操作。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同。关于各类数据源的详细...
如果 一键连接 时未选中 立即扫描数据库资产并进行数据识别，您可以前往 数据洞察 任务管理 页面的 识别任务 页签，在 系统默认任务 列表中执行 重扫 操作，手动执行系统默认任务。系统默认任务支持自定义重扫时间点与扫描周期，具体操作，...
取消：仅创建系统默认识别任务，需要您在 数据洞察 任务管理 页面手动开启，才能执行系统默认识别任务。单击 确定。修改凭据 如需修改凭据的名称、用户名、密码或凭据类型，您可以在 凭据管理 页签下单击目标凭据操作列的 编辑，修改凭据。...
应用场景 数据集深度应用于企业数据可视化分析领域，涵盖实时业务监控、经营分析看板及智能决策支持等核心场景，为用户提供灵活、自动化的数据处理能力，实现高效的数据洞察与可视化呈现。准备工作 前提条件 已准备好待添加的 数据源 或...
问题描述 订阅通道无法修改消费位点。...解决方案 登录 DTS控制台 查看消费来源IP，查看是否还有下游SDK在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。具体的修改方法详见 修改订阅通道消费位点。适用于 数据传输服务DTS
本文介绍 数据安全中心 DSC...数据安全中心数据洞察功能支持的内置识别模板，请参见 支持识别的行业模板。数据安全中心审计告警功能支持的内置审计规则，请参见 查看内置审计规则。数据脱敏支持的脱敏算法说明，请参见 支持的数据脱敏算法。