数据安全治理采用体系化的方式保障数据安全，要求妥善处理各类人员对组织资产的行为，以避免发生数据安全事件。数据安全治理的目标是协助企业树立数据安全相关的法律意识，确保企业经营合法合规，同时展现企业的社会责任，保护企业的核心...
Hive Hive节点通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作，具体操作，请参见 新建Hive类型的公共节点。Hologres Hologres节点运行于Hologres云计算资源之上，您可使用标准...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase，是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
例如在MySQL Writer端 导入前准备语句（preSql）配置项中配置MySQL清空表命令 truncate table tablename，实现同步前（写入MySQL数据前）先清空表中的旧数据的操作。writeMode（定义冲突时的写入模式）定义路径或主键等场景冲突时以何种...
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
过滤器是用于动态筛选和控制可视化数据的核心组件，本文将系统介绍其配置、管理及多场景应用的操作方法。背景信息 原理介绍 过滤器是数据可视化中实现动态数据交互的重要功能，它通过用户定义的条件规则（如数值区间、文本匹配、逻辑组合等...
数据质量最佳实践（1）：批量配置质量规则，快速提升质量覆盖率 数据质量最佳实践（2）：通过归档和分析异常数据，快速定位质量问题 数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理 数据质量最佳实践（4）：...
接着，为了正确处理，XML 数据的字符串必须以当前客户端编码从客户端发出。客户端负责在把文档发送给服务器之前将它们转换为当前客户端编码，或者适当地调整客户端编码。在输出时，xml 类型的值将不会有一个编码声明，并且客户端将会假设...
本文按照节点离线、在线和流式的分类，分别介绍各节点类型对应能处理的数据类型以及运行引擎。计算类节点 计算类节点分为离线类、在线和流式类节点主要用于处理各种不同的数据。节点分类 节点说明 离线节点 更多详细信息，请参见 离线类...
数据兼容性与完整性 数据是企业的生命线，确保迁移过程中数据的完整性和一致性是首要任务。不同数据库系统之间在数据类型支持、存储机制乃至索引策略上存在差异，这要求在迁移前进行详尽的数据兼容性分析，并制定周密的数据转换策略。任何...
不同计算引擎对应的定价如下：数据处理单元规格 调度资源 定价（CNY/月）200 16C64G 大数据版：4,000 数据库版：2,000 500 16C64G 大数据版：8,000 数据库版：4,000 1000 32C128G 大数据版：12,000 数据库版：6,000 数据处理单元统计规则...
本文档为您介绍当鼠标划过地图的 区域热力层 子组件时，切换展示当前区域对应的学校数据的方法。前提条件 完成 配置学区地图单选框交互 操作，本文档将在其基础上继续添加节点和连线。背景信息 本文档包括以下两个场景的配置。切换展示学校...
该集群支持数据的高效存储、实时处理与分析，广泛应用于实时风控和实时大屏等场景。OSS-HDFS：提供兼容HDFS协议的弹性存储层，支撑PB级实时数据持久化存储，支持毫秒级写入与低成本冷热分层。Flink：实现流式ETL（如日志解析、维度关联）、...
在ChatBI中进行交互式会话之前，需要通过数据集来圈定开展分析的数据范围。数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择...
本文档以 时间器 组件和 通用标题 组件之间...串行数据处理 节点负责将上游抛出的事件内容进行加工处理，传递给 通用标题 组件作为请求时的 query 参数，也就是替换掉第二步操作中填写的 变量名。单击页面右上角的 预览 图标，预览展示结果。
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
背景信息 企业依赖大数据平台快速地从海量数据中获得洞察从而更及时和有效地决策的同时，也对处理数据的新鲜度和处理本身的实时性要求越来越高。大数据平台普遍采用离线、实时、流三种引擎组合的方式以满足用户实时性和高性价比的需求。...
000 7500 475,000 8000 500,000 8500 525,000 9000 550,000 9500 575,000 10000 600,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+明细逻辑表总数+[向上取整（指标数/10）]其中：明细逻辑表包括维度...
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
客户价值 业务可线性拓展 依托Redis缓存和DRDS水平或者垂直拆分数据库技术，解决了高并发、存储容量扩展以及在线计算扩展的难题，使系统具备了存储100TB数据的能力，同时也具备10万TPS（Transactions-per-second）、百万QPS（Queries-per-...
云原生多模数据库Lindorm流引擎面向实时数据处理场景，支持使用标准SQL及传统数据库核心特性完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的实时解析入库、实时ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流...
DataNode用于存储数据，及处理数据块的读写。如果您使用的是HDFS，在引入HDFS的业务数据至Dataphin中或将Dataphin数据导出至HDFS的场景中，您需要先完成HDFS数据源的创建。更多HDFS信息，请参见 HDFS官方介绍。权限说明 仅支持拥有 新建...
单击 敏感数据 区域右上方的 详情，可前往 分类分级 资产透视 页面，查看敏感数据的详细识别结果。具体内容，请参见 查看敏感数据识别结果。单击 前往配置，在 数据识别配置 页面，可选择已授权资产，配置对应识别任务（系统默认任务）的...
静态脱敏的优点是处理速度较快，可以提高查询效率，但其缺点是无法恢复原始数据，可能会影响数据的准确性。脱敏算法：用于对敏感数据进行脱敏处理的算法。脱敏算法能够有效地保护敏感数据的安全性，避免信息泄露，同时保留数据的格式和结构...
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。一个工作空间支持添加多种数据源实例。数据同步 数据集成 数据同步 支持...
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
面对当前日益复杂且对数据时效性要求极高的近实时业务场景，MaxCompute基于Delta Table推出了集大规模存储、高效批量处理和近实时能力于一体的近实时增量一体化架构。本文为您介绍该架构的工作原理及其优势。背景和现状 在当前典型的数据...
异构源集成：是处理API、日志文件等非标数据源的最佳选择。核心限制：规模化成本高。配置开销大：同步大量表时，逐一配置和维护任务的工作量巨大。资源消耗高：每个任务独立调度，100个单表任务的资源消耗远超1个整库任务。单表离线方案...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限管理 仅支持具备 新建数据源权限点 的...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限管理 仅支持具备 新建数据源权限点 的...
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理...
它将传统的数据同步从简单的“搬运”升级为智能的“加工”，允许用户在数据从源到端的传输过程中，实时调用AI模型对流经的数据进行内容分析、处理与增强，在数据流转的过程中释放非结构化数据的隐藏价值。功能介绍 适用客户：适用于需要在...
数据处理类节点包括串行数据处理节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。串行数据处理节点 串行数据处理 节点，是使用串行方式来处理一个事件。使用场景：例如，小数0.835要转换成整数百分比83%，可经过：单位转换（83.5...
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
支持接入多种数据源，包括数据库、Excel表格文件等，并提供数据结构化存储及元数据统一管理功能，确保数据的高效组织和访问。应用场景 数据集深度应用于企业数据可视化分析领域，涵盖实时业务监控、经营分析看板及智能决策支持等核心场景，...
视频简介 核心能力 DTS围绕数据的流动，提供了丰富且强大的核心能力，覆盖从数据迁移、实时同步到增量订阅等多种场景。这些能力可以归纳为以下几大类型：功能类型 主要能力 适用场景 数据传输 数据迁移 将数据从一个数据源一次性地迁移至另...
预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。说明 同步类型需要全选。同步拓扑 单向拓扑：只建立源库到目标库的单向同步链路，包括存量数据及增量同步链路。双向同步：建立源...
预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。说明 同步类型需要全选。同步拓扑 单向拓扑：只建立源库到目标库的单向同步链路，包括存量数据及增量同步链路。双向同步：建立源...