相关代码参考，请参见 分布式订阅任务对应的数据消费代码。注意 由于切换过程中，涉及部分消费代码的修改，因此为保证业务正常运行，请您尽快切换至 PolarDB-X 1.0 的新版订阅功能。如您需要或已经使用 PolarDB-X 1.0 订阅（新版）任务。...
本文为您介绍如何使用DataWorks中的EMR Hive节点，对同步至OSS的用户信息表（ods_user_info_d_emr）及访问日志数据表（ods_raw_log_d_emr）中的数据进行加工，进而得到目标用户画像数据。前提条件 开始本案例前，您需完成 同步数据 中的...
本文为您介绍如何用Spark SQL创建外部用户信息表 ods_user_info_d_spark 以及日志信息表 ods_raw_log_d_spark 访问存储在私有OSS中的用户与日志数据，通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据，阅读本文后，您可以...
名称 指标描述 readMetric 数据消费每秒请求数(单位：count)数据消费压缩后吞吐量(单位：KB)数据消费原始吞吐量(单位：KB)数据消费失败数(单位：count)数据消费每秒数据量(单位：count)数据消费请求延迟(单位：us)writeMetric 数据写入每秒...
本文为您介绍如何用Spark SQL创建外部用户信息表 ods_user_info_d_spark 以及日志信息表 ods_raw_log_d_spark 访问存储在私有OSS中的用户与日志数据，通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据，阅读本文后，您可以...
创建RecommendationProfile CRD，可以开启工作负载的资源画像，并获取容器的资源规格画像数据。RecommendationProfile CRD支持通过命名空间（Namespace）以及工作负载类型控制开启范围，开启范围为二者的交集。apiVersion:autoscaling....
云原生多模数据库 Lindorm 宽表引擎支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何...
例如，源库最新的数据于10点产生，目前DTS订阅任务已读取到源库9点55分的数据，下游客户端消费到9点30分的数据，此时消息延迟时间应为9点55分至9点30分的unix时间戳差值。说明 如果该参数返回-1，则表示当前没有客户端连接该消费组。...
创建RecommendationProfile CRD，可以开启工作负载的资源画像，并获取容器的资源规格画像数据。RecommendationProfile CRD支持通过命名空间（Namespace）以及工作负载类型控制开启范围，开启范围为二者的交集。apiVersion:autoscaling....
Dataphin面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产治理的大数据能力，包括产品、技术和方法论等，可帮助企业一站式构建生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产...
PolarDB-X 1.0 SQL审计与分析支持高级管理，您可以通过高级管理跳转到日志服务控制台，修改SQL日志的存储时间、对SQL日志进行实时订阅与消费、数据投递和对接其他可视化等高级操作。开启SQL日志审计 后，在当前页面右上角单击 高级管理 ...
在左侧导航栏单击 数据消费。根据需求执行修改密码或删除消费组的操作。修改密码 在 数据消费 页面，单击目标消费组 操作 列中的 修改密码。在弹出的对话框中，输入 密码 和 确认密码。说明 密码由大写字母、小写字母、数字中的任意两种或...
首次使用数据订阅功能时，请阅读 数据订阅操作指导，帮助您快速掌握创建、监控、管理数据订阅任务及消费数据的操作。注意事项 本文仅简单介绍数据订阅任务的通用配置流程，不同的数据源在配置数据订阅任务时略有不同。关于各类数据源的详细...
DTS支持在数据消费的过程中动态增加或减少订阅对象，本文将介绍修改订阅对象的操作流程。注意事项 执行了增加订阅对象操作后，订阅通道会从当前时间拉取该对象的增量数据。执行了移除订阅对象操作后，如果数据订阅的客户端还能订阅到该对象...
随着互联网技术的发展，企业通过各种途径积累了消费者资产，Quick Audience用户洞察模块旨在通过丰富的用户洞察模型和便捷的策略配置，帮助企业完成消费者多维洞察分析，为后续的消费者运营和触达奠定人群基础。功能简介 用户洞察模块提供...
云原生多模数据库 Lindorm 支持实时数据订阅功能，对实时变更数据进行计算，可以为实时监控，实时报表和流数据分析功能提供有效数据。通过Flink Kafka Connector可以从底层存储消费订阅数据，同时Flink Kafka Connector对订阅数据进行解析...
其支持全渠道消费者数据的融合、分析及应用，支持用户 ID 管理、场景化的算法模型、智能营销内容生成和自动化触达通道矩阵，并广泛应用于消费者/会员运营和营销模型分析。Quick Audience 帮助您扩大消费运营规模，提升营销效果，提升 GMV，...
解决方案：与品牌数据银行能力深度融合，实现分别在阿里云及生态内为客户提供服务，并实现品牌一方数据、平台二方数据的一键高效互通互用，全面提能提效品牌全渠道消费者运营。与达摩盘链路打通，实现品牌自有消费者资产的一方人群和阿里域...
实时数据消费概述 2023年9月 功能 功能描述 相关文档 活跃查询 云原生数据仓库 AnalyticDB PostgreSQL 版 支持活跃查询，每5秒自动采集并显示活跃（Active）的查询任务，您可以根据实际需求，取消阻塞的查询任务或直接终止相关会话等。...
数据同步链路 云数据库 ClickHouse 企业版 同步SLS数据，依赖其内置的Kafka表引擎和物化视图（Materialized View）机制，实现实时数据消费和存储。具体数据链路如下：SLS Projection：需要同步的SLS源数据。云数据库ClickHouse 的Kafka外表...
具体实现逻辑如下 每一条数据的点位都会对应一个 RecordKey 对象，消费完一条数据后，可以对 RecordKey 进行 ack 操作，ack 后表示这条数据已经消费完，可以更新点位，也可以选择自动 ack。客户端读到数据以后，会把每一条数据的对应的...
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
数据流量 数据流量费是指客户端从订阅通道中消费数据所产生的流量费用。数据订阅任务为包年包月（也称为预付费），源数据库类型 为 MySQL 时，数据订阅配置费类型为 半价配置费+1元/GB数据流量费，从2020年12月18日开始，DTS会对该订阅任务...
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
数据湖 更强调数据存储的开放性和数据格式的通用性，支持多种引擎按需生产或消费数据，为保障灵活性只提供弱管理能力，可以兼容非结构化数据，并支持后建Schema的使用方式，是一种更灵活的数据管理方式。MaxCompute数据仓库 MaxCompute是...
使用指南 日志生命周期管理说明 开启日志订阅后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除 什么场景会导致“不消费数据”：没有终止任务的前提下直接释放LTS集群；同步任务暂停；使用日志订阅的...
本文主要介绍全增量数据同步的使用场景，功能列表，迁移优势，使用限制以及创建数据同步任务等操作。使用场景 大版本升级：HBase1.x升级HBase2.x。跨地域迁移：例如从青岛机房迁移到北京机房。跨账号迁移：支持不同账号迁移数据。集群升配...
1、编辑：编辑客户基础信息，扩展属性，属性标签 2、发送短信：选择客户，编辑短信发送 3、详情：详情展示消费者全方位360度画像。支持查看基础信息、交易记录、积分明细、优惠券明细、关怀记录、更多资料。说明：默认可见该用户在多视角下...
数据资产治理支持您按照研发链路（数据同步和数据开发）查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务...
云原生数据仓库 AnalyticDB MySQL 版 提供数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。...
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎，可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建...
示例：某消费服务平台使用的是MySQL数据库，需要在数据仓库 AnalyticDB for PostgreSQL 中对消费数据进行消费金额、消费笔数等的统计分析，将统计分析后的数据回传到消费服务平台上，供用户进行在线查询。将MySQL中的增量消费数据同步到 ...
云原生数据仓库 AnalyticDB MySQL 版 提供数据同步APS（AnalyticDB Pipeline Service）功能，您可以新建SLS同步链路，从指定时间位点将日志服务LogStore中的数据实时同步至 云原生数据仓库 AnalyticDB MySQL 版 集群，以满足近实时产出、全...
Cost StorageAPIRead日消费量 以项目为单位，单日累计Storage API读取数据消费量（单位：GiB）的监控指标。达到或超过该阈值会触发报警。说明 当前每个租户每月可享有1 TB的免费数据读写额度，超过1 TB时，系统会在数据消费量超过1 TB时...
零售电子商务行业模型模板已经导入主题域，如下图所示，以“消费者”主题域为例，消费者主题域重点服务行业运营人员关于消费者画像的分析需求，归属于行业集市。后续在创建应用层派生指标、创建应用层模型时需要关联到对应主题域中。构建...
您可以通过FineBI连接 云原生数据仓库 AnalyticDB MySQL 版，以可视化的形式帮助您进行多样数据管理，例如过滤、分组汇总、新增列、字段设置、排序等，极大的提升了数据整合的便利性和效率。前提条件 了解FineBI与 AnalyticDB for MySQL ...
单击目标DTS任务在 数据消费 页面获取以下参数：sid：消费组ID（图示中③）。username：消费组的账号（图示中④）。password：消费组账号对应的密码，如果您忘记密码，可以单击 操作 列的 修改密码 重新设置密码。单击 添加。
单击目标DTS任务在 数据消费 页面获取以下参数：sid：消费组ID（图示中③）。username：消费组的账号（图示中④）。password：消费组账号对应的密码，如果您忘记密码，可以单击 操作 列的 修改密码 重新设置密码。单击 添加。
通过讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合...
beginDateTime 可设置为${bizdate}000000，代表数据消费的开始时间位点为昨天00时00分00秒）。说明 beginDateTime 和 endDateTime 需要互相组合配套使用。是 endDateTime 数据消费的结束时间位点。该参数是时间范围（左闭右开）的右边界，...