其支持全渠道消费者数据的融合、分析及应用，支持用户 ID 管理、场景化的算法模型、智能营销内容生成和自动化触达通道矩阵，并广泛应用于消费者/会员运营和营销模型分析。Quick Audience 帮助您扩大消费运营规模，提升营销效果，提升 GMV，...
简介 逻辑复制从拷贝发布者数据库上的数据库快照开始。拷贝一旦完成，发布者上的更改会在它们发生时实时传送给订阅者。订阅者按照数据在发布者上被提交的顺序应用数据，这样任意单一订阅中的发布的事务一致性才能得到保证。逻辑复制被构建...
问题描述 订阅通道无法修改消费位点。...解决方案 登录 DTS控制台 查看消费来源IP，查看是否还有下游SDK在消费数据，如果有，那么需要先停止下游消费后，重新修改消费位点。具体的修改方法详见 修改订阅通道消费位点。适用于 数据传输服务DTS
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
新版数据订阅支持使用0.11版本至2.7版本的Kafka客户端消费订阅数据，DTS为您提供了Kafka客户端Demo，本文将介绍该客户端的使用说明。注意事项 使用本文提供的Demo消费数据时，如果采用auto commit（自动提交），可能会因为数据还没被消费完...
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步数据 从Flink导入 Flink 使用JDBC Connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 使用DataWorks同步数据 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute...
市场趋势分析与预测 市场分析师和营销团队可使用DataV-Note追踪市场动态、竞争对手活动以及消费者行为趋势。通过集成的机器学习能力，团队不仅能够分析当前数据，还能预测未来趋势，提前做好业务策略的调整。产品改进分析 产品团队可利用...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
支持创建数据库节点数据源 数据源类型 数据源简介 MySQL MySQL是用于存储和处理数据的关系型数据库管理系统（RDBMS），是最流行的关系型数据库管理系统之一，其体积小、速度快、总体拥有成本低。更多介绍请参见 MySQL。SQL Server SQL ...
为降低用户使用成本，DTS提供了RDS MySQL数据订阅（新版），当多个下游需要订阅同一个数据库实例时，只需要创建多个消费组即可，多个消费组可以同时对同一个数据库实例的增量数据进行订阅和消费，大幅降低了使用成本。更多详情，请参见 ...
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
因此，数据仓库往往需要同时维护ETL作业逻辑和业务表结构，而频繁发布ETL作业常常会影响上游数据消费和下游结果入仓，且在不支持INSTANT DDL时修改大表结构代价相对比较高，容易影响正常查询业务。总体来说，传统数仓解决方案虽然能够提供...
创建MySQL数据源 创建Oracle数据源 创建Microsoft SQL Server数据源 创建OceanBase数据源 创建IBM DB2数据源 创建MaxCompute数据源 创建FTP数据源 创建TDengine数据源 创建PostgreSQL数据源 创建达梦（DM）数据源 创建Amazon Redshift数据...
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
云原生大数据计算服务MaxCompute（原名ODPS）是阿里云自主研发的集 高性价比、多模计算、企业级安全 和 AI驱动 于一体的 企业级SaaS化智能云数据仓库（AI-Native Datawarehouse）。视频简介 产品简介 MaxCompute是面向分析的 企业级 SaaS ...
云原生数据仓库 AnalyticDB MySQL 版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB for MySQL 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、...
背景信息 在海量大数据场景下，随着业务和数据量的不断增长，性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案，推出了数据流入、数据组织管理、数据查询和数据流出等特性，同时提供了数据的ACID和CRUD操作...
通过“先鉴别，后发货”的服务模式，为用户打造透明、健康、安全的文化消费环境，让普通消费者敢于购买国风好物，感受国风文化的魅力。客户诉求 随着电商业务的快速发展，期望能采用云平台提供的SaaS、PaaS服务搭建研发系统，助力提升开发...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。权限说明 仅支持具备 新建数据源权限点 的自定义...
数据源负责从各种数据存储系统中提取数据，包括数据库（如MySQL、PostgreSQL）、大数据存储（如TableStore）、API、文件等。本文为您介绍DataV-Board支持的所有数据源，并提供数据源的选型指导。使用限制 数据源支持情况因不同版本而异，...
云原生多模数据库 Lindorm 宽表引擎支持实时数据订阅功能，实时数据订阅功能帮助您获取Lindorm的实时增量数据，您可以根据自身业务需求自由消费增量数据，搭建或实现多种业务场景。背景信息 云原生多模数据库 Lindorm 数据订阅功能支持任何...
数据湖 更强调数据存储的开放性和数据格式的通用性，支持多种引擎按需生产或消费数据，为保障灵活性只提供弱管理能力，可以兼容非结构化数据，并支持后建Schema的使用方式，是一种更灵活的数据管理方式。MaxCompute数据仓库 MaxCompute是...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。权限说明 仅支持具备 新建数据源权限点 的自定义...
创建MySQL数据源 创建Oracle数据源 创建Microsoft SQL Server数据源 创建OceanBase数据源 创建IBM DB2数据源 创建MaxCompute数据源 创建FTP数据源 创建TDengine数据源 创建Hive数据源 创建PostgreSQL数据源 创建达梦（DM）数据源 创建...
类别 数据源 导入方式 文档链接 消息队列 Kafka 数据同步 通过数据同步功能同步Kafka数据（推荐）日志类数据 日志服务（SLS）数据同步 通过数据同步功能同步SLS数据（推荐）大数据 Hive 数据迁移 Hive数据导入 存储 OSS 元数据发现 通过...
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入任意目标端，适配各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种业务场景。本文将介绍在DTS专属...
为满足多样化的数据导入需求，AnalyticDB for MySQL 提供了多种数据导入方式，包括：通过外表导入数据、通过DataWorks导入数据、通过DTS导入数据以及使用JDBC通过程序导入数据等。您可以通过本文了解各导入方式的特性及适用场景，帮助您...
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
public"."hangzhou_poi_sample"：存储杭州餐饮、娱乐店的详细信息，包括分类、地理位置和消费者评价等字段信息。public"."hangzhou_districts"：杭州市行政区划数据，包括行政区划名称、行政区划代码、行政区划级别、行政区划中心点、...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，...
敏感数据识别任务扫描完成后，您可在数据安全中心以数据库实例、OSS Bucket、SLS Project或具体数据对象（如数据表、文件或每5分钟内存储的数据等）为单位查看敏感数据识别结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。...
对于非ONLINE状态的同名数据库，根据不同场景解决：场景1：OSS备份数据恢复上云时选择不打开数据库 产生原因 在使用 OSS备份数据恢复到RDS SQL Server 时如果选择了 不打开数据库（还有差异备份或日志文件）选项，数据库会处于非ONLINE状态...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
通过创建Greenplum数据源能够实现Dataphin读取Greenplum的业务数据或向Greenplum写入数据。本文为您介绍如何创建Greenplum数据源。背景信息 Greenplum是一款大数据分析引擎，适用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...