它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力，致力于在多种数据源之间，构建安全、可靠、高性能的数据流动链路，以满足业务上云、异地灾备和实时数仓等多样化场景需求。视频简介 核心能力 DTS围绕数据的流动，...
云数据库MongoDB提供了多种数据迁移和同步方案，可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库...
同一个名称的数据源可存在开发环境和生产环境两套配置，设置两个不同的数据库/实例，使任务在测试和生产调度时操作的数据隔离，确保生产环境数据的安全。如：执行数据开发或离线同步任务时，系统自动根据任务当前所在环境，访问对应的数据...
在DataV-Note（智能分析）的分析单元中，数据集将作为您进行查询分析的数据来源，变量则可用于构建联动查询，帮助您动态更新及筛选相关数据。本文为您介绍如何使用及管理数据集和变量。使用须知 为确保相关操作能够顺利执行，在使用数据集...
您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。在 DataWorks 添加 ApsaraDB For OceanBase ...
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
背景信息 DTS支持将自建的数据库作为数据传输的源库或目标库，在不同的场景下，您需要执行相应的准备工作，然后在配置任务时选择对应的实例类型（数据库类型和接入方式）。例如，待迁移的本地数据库具备公网地址（即数据库服务开放至公网）...
上传本地文件的方式导入业务所需的数据集，以便在模型画布中编辑业务模型时使用导入的数据集。本文介绍如何通过上传本地数据新建数据集。前提条件 已创建云计算资源作为存储数据源，具体操作，请参见 新建计算资源。已准备好待上传的数据表...
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供强大的数据预处理能力和丰富的异构数据源之间数据高速稳定的同步能力。5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地...
DSC支持的数据库类型和地域，请参见 支持的数据资产类型 和 支持的地域。本示例规划使用已创建的华北3（张家口）地域的RDS SQL Server实例的数据库表进行敏感数据识别扫描。RDS SQL Server实例、数据库管理账号及数据库的创建，请参见 快速...
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关，您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时，数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据灾备...
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
通过讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合...
单击编辑器右侧的 数据 图标。在 数据 面板中，单击 配置数据源。在 设置数据源 页面中，可修改数据源的类型和脚本、配置数据过滤器并查看数据响应结果。修改数据源的类型和脚本 在 设置数据源 页面中，在 数据源类型 列表中可修改数据源...
全局数据源管理 添加的数据源会按照类型分别放至数据库、其他、应用网关、文件等页签，平台支持以页签为单位（即相关操作的结果会展示在相应页签下），执行如下全局操作：查看数据源：可查看当前已添加的数据源名称、类型、创建时间等基本...
数据服务功能支持在项目中为数据源创建可以被访问调用的数据服务，本文为您介绍DataV-Atlas（分析地图）如何创建和管理数据服务。发布数据服务 为项目中的数据源创建可被访问和调用的数据服务。登录 DataV-Atlas控制台 并进入目标项目的...
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
整体选型说明 架构概述 本架构围绕“数据采集—数据计算—数据架构—数据服务”的逻辑展开，以DataWorks和MaxCompute为核心技术栈，结合标准化的数据建模方法与治理体系，构建稳定、高效、可扩展的数据服务能力。最终目标是支撑商家增长、...
MaxCompute目前提供了三种不同类型的数据类型版本，包括1.0数据类型、2.0数据类型以及Hive兼容数据类型，您可以根据业务需求选择合适的数据类型版本。本文为您介绍三种数据类型版本、选择数据类型版本以及查看和修改项目的数据类型版本。...
数据扫描会影响我的数据库性能吗？数据安全中心DSC（Data Security Center）采用全量扫描、增量扫描和定时扫描策略扫描您的数据库。全量扫描会对您的数据库性能产生较小的影响，不会影响您数据库的正常业务。增量扫描只扫描修改后的文件，...
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
本文适用的数据库范围 DSC仅支持为阿里云上的数据库资产提供数据安全服务，支持的数据库类型详情，请参见 支持的数据资产类型。本文以RDS数据库为例介绍授权和接入的完整流程，可参考本文接入DSC的数据库类型包括：RDS、PolarDB、PolarDB-X...
您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。产品优势 流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多...
热力层是三维城市构建器的数据映射图层，能够使用热力网格点的形式表现地理位置上的点数据信息。热力层图层支持独立的样式和数据配置，包括热力层网格数、透明度、热力半径和色带等参数。本文介绍热力层配置项的含义。在场景编辑器左侧图层...
支持的数据源 DataWorks支持多种数据源创建数据库节点，以下为支持的数据库节点：说明 应用于数据库节点的数据源在创建时均需以 JDBC连接串 形式创建数据源。部分数据库本身支持存储过程，但在DataWorks数据开发中暂不支持使用存储过程。...
为满足多样化的数据导入需求，AnalyticDB for MySQL 提供了多种数据导入方式，包括：通过外表导入数据、通过DataWorks导入数据、通过DTS导入数据以及使用JDBC通过程序导入数据等。您可以通过本文了解各导入方式的特性及适用场景，帮助您...
基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。...
如果您需要独立设置脱敏规则，请将行业模板中的数据类型设置为停用，并添加新的数据类型。在数据脱敏页面，点击 动态脱敏 页签，进入动态脱敏设置页面。单击动态脱敏页签内的 规则 页签，进入脱敏规则设置页面。单击左上角的 新增规则 按钮...
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。核心能力 实时同步支持的能力如下图所示：能力 描述 多种数据源...
数据源 在数据源下拉列表中，展示所有Hive类型的数据源，包括您已拥有同步写权限的数据源和没有同步写权限的数据源。对于没有同步写权限的数据源，您可以单击数据源后的 申请，申请数据源的同步写权限。具体操作，请参见 申请数据源权限。...
这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着...
是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的移除、关联情况？分享数据源后，其资源组的连通状态是否会被同步分享？分享...
在DataV-Board（数据看板）中使用达梦数据库之前，需要先将达梦数据库实例添加为DataV-Board的数据源。本文为您介绍如何添加达梦数据库。前提条件 已准备好待添加的达梦数据库实例信息。使用限制 仅支持DataV企业版及以上版本。通过内网...
核心能力 离线同步支持的能力如下图所示：能力 描述 异构数据源间的数据同步 数据集成目前支持50+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
同步其他数据源的数据至ClickHouse数据源的场景中，完成源数据的信息配置后，需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及...
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
自建数据库包含第三方云的数据库实例、部署在您本地的数据库、部署在ECS实例的数据库。库表结构任务 结构任务 库表结构同步 或 库表结构迁移 模块运行时对应的任务。全量任务 全量任务 全量同步 或 全量迁移 模块运行时对应的任务。增量...
面临的业务挑战 数据散乱不一致 传统企业的数据具有多样性，包括结构化、半结构化以及非结构化的数据。数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析...
动态轨迹层是三维城市构建器的数据映射图层，以一系列三维空间点之间的顺序连线形式表示人或物体移动的轨迹。动态轨迹层图层支持独立的样式和数据配置，包括动态轨迹层是否动效、显示头部、叠加模式、飞线速度、飞线长宽和颜色等参数。本文...