调用DescribeLiveDomainPushBpsData获取推流域名的推流网络带宽监控数据。使用说明 获取的带宽数据单位为bit/s。支持批量域名查询，多个域名用英文逗号（,）分隔。不指定StartTime和EndTime时，默认读取过去24小时的数据，同时支持按指定的...
本文介绍如何进行流数据服务Confluent集群的网络访问与安全设置。网络访问类型 流数据服务Confluent集群提供阿里云VPC访问和公网访问方式。阿里云VPC访问 VPC访问是指您在流数据服务Confluent集群所在网络VPC内或者其它VPC访问和使用流数据...
什么是Confluent Platform Confluent Platform 是一个全面的数据流企业级平台，使您能够以连续、实时的流形式轻松访问、存储和管理数据。Confluent 由 Apache Kafka 的原始创建者构建，通过企业级功能扩展了 Kafka 的优势，同时消除了 ...
创建一张数据流表，表示一个无界的事件集合。数据流表仅支持新增数据，不支持更新数据和删除数据。数据流表中的最小单元为Record，Record有预定义的Schema。数据流表的物理数据存储在流存储的某个指定的Topic上，具体的存储格式可以在With...
删除数据流表。语法 DROP STREAM(IF EXISTS)table_name;参数 参数 是否必选 说明 table_name 是 数据流表的名称。示例 DROP STREAM users_original;
查询Lindorm流引擎中数据流表或者外表的列信息。语法 DESCRIBE table_name;参数说明 参数 是否必选 说明 table_name 是 数据流表或者外表的名称。示例 DESCRIBE USERS_ORIGINAL;返回结果如下：+|Field|Type-ROWTIME|BIGINT(system)ROWKEY|...
架构 Flume Agent是一个Flume的实例，本质是一个JVM进程，控制Event数据流从生产者传输到消费者。一个Flume Agent由Source、Channel、Sink组成。其中，Source和Channel可以是一对多的关系，Channel和Sink也可以是一对多的关系。基本概念 ...
Control Center是流数据服务Confluent的核心管理服务，提供了一个可视化的监控平台。本文介绍Control Center平台上的基本操作。详细的Control Center用户指南请参见 Control Center官方文档。登录Control Center 创建阿里云Confluent集群，...
数据库代理是什么架构？有故障切换机制吗？数据库代理采用双主节点的高可用架构，流量连接按照1:1比例分发到两个节点当中，如果其中一个节点发生故障，将由另一个节点承担全部流量，并会自动触发故障节点重搭恢复任务，以确保数据库服务的...
更多详情，请参见 什么是专有网络。本地自建数据库 需手动搭建目标数据库环境。恢复速度可能会受限于网络条件。前提条件 已完成数据库备份。具体操作，请参见 SQL Server物理备份。已在数据库所在的服务器上添加备份网关。具体操作，请参见...
任务流是由数据同步、数据开发、智能标签、质量评估等业务产生的任务集，运维监控支持查看任务流及其详情，包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务流详情。背景信息 任务流来源、任务类型及实例的...
任务流是由数据同步、数据开发、智能标签、质量评估等业务产生的任务集，运维监控支持查看任务流及其详情，包括任务详情、实例列表、部署日志、下线日志、运行日志。本文介绍如何查看任务流详情。背景信息 任务流来源、任务类型及实例的...
什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和解密。通过在数据库层执行静态数据加密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息。经过数据库身份验证的应用和用户可以继续透明地访问应用数据（不需要更改应用...
背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了更高抽象层的API以便您编写分布式任务。Flink（VVR）完全兼容开源Flink，相关内容请...
网络ACL与安全组 与交换机绑定的网络ACL规则控制流入和流出交换机的数据流，与ECS实例相关的安全组规则控制流入和流出ECS实例的数据流。网络ACL和安全组的基本差异如下表所示。对比项 网络ACL 安全组 功能 通过自定义设置网络ACL规则，并将...
问题列表 什么是云工作流？云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流...
什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享数据源后，引用过该数据源的任务关联信息是否会被同步分享？哪些角色可以...
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
您可以在数据流运维中心查看数据流的发布状态、发布详情、运行记录等。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。单击画布右上方 前往运维。在数据流运维...
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
它底层的数据流基础设施为阿里双11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行6年之久。您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。云数据库PolarDB：PolarDB是阿里巴巴自主研发的下一代关系型...
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
本文档介绍了数据安全和加密的常见问题。设置集群白名单常见问题 Q：如何指定服务器只能访问集群中的某个节点？A：使用自定义集群地址访问集群，就只能访问集群中的特定节点。Q：IP白名单最多支持填写多少个IP地址？A：IP白名单最多可以...
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
本文介绍如何创建数据流、查看或删除数据流、滚动更新数据流等。背景信息 数据流管理功能适用于日志、事件、指标和其他连续生成数据的场景。如果您将索引和请求直接提交到数据流，数据流会自动将请求路由到存储数据流数据的后备索引上。您...
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 RDS for MySQL。在列表中选择 内网，并选择RDS实例所在的区域。打开 VPC ...
脏数据限制 阅读此部分，您可以解决和理解如下问题：问题一：什么是数据同步的脏数据？问题二：如何配置数据同步任务脏数据限制？问题三：数据同步速率和脏数据有哪些关联关系？脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏...
为什么选择云数据库Redis版 硬件部署在云端，提供完善的基础设施规划、网络安全保障和系统维护服务，您可以专注于业务创新。支持String（字符串）、List（链表）、Set（集合）、Sorted Set（有序集合）、Hash（哈希表）、Stream（流数据）...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
阿里云流数据服务Confluent组成架构 阿里云流数据服务Confluent是一个流数据平台，能够组织管理来自不同数据源的数据，是一个稳定高效的系统。如下图所示，它由六个组件构成，分别为Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB...
value_format 是 指定数据源写入Lindorm流引擎的数据格式，取值如下：CSV Avro JSON key_value 是 指定数据流表的主键列。创建计算任务，将数据流表中的数据写入到宽表中。不使用时空函数。CREATE CQ gps_data_cq INSERT INTO gps_data ...
实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏...
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
更新说明 配置网络、数据服务概述 2022年10月25日 逻辑表功能优化及SQL任务升级 逻辑表DML支持部分字段insert和动态分区。更新说明 创建并配置普通维度逻辑表、创建并配置层级维度逻辑表、创建虚拟维度逻辑表、创建枚举维度逻辑表 2022年10...