添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
DataWorks支持通过配置脱敏规则将敏感数据进行脱敏，保障数据查询或存储安全。当前DataWorks支持多种脱敏场景，同时您还可根据需要自定义脱敏场景，以满足不同数据脱敏场景下的脱敏需求。本文为您介绍DataWorks数据脱敏能力及操作引导。...
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权...
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
解决方案 在原有的架构上引入了阿里云数据库，并将全量数据写到 云原生多模数据库 Lindorm 中，同时增量数据通过Kafka、Spark等实时同步到 云原生多模数据库 Lindorm，这样解决了客户线下数据库数据过大的问题。客户需要存储最近3年的数据...
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
数据管理DMS的产品架构分为三层：数据源、数据运营与管理和商业应用。数据源 关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、Oracle、达梦DamengDB等。...
本文为您介绍数据资产等级的定义，以及如何定义生产链路上的相关数据的资产等级。数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时，对业务的影响程度划分数据的资产等级。通常，划分为5个性质的等级：毁灭性质：数据...
数据订阅功能可以帮助您获取数据库的实时增量数据，适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程，帮助您快速掌握创建、监控、管理数据订阅...
Memcache（原名OCS）数据源为您提供其它数据源向Memcache写入数据的功能，目前仅支持脚本模式配置同步任务，本文为您介绍DataWorks的Memcache（OCS）数据同步的能力支持情况。使用限制 当前仅支持使用脚本模式将数据写入Memcache（OCS）。...
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建Oracle数据...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
Dataphin补数据任务可以对历史数据进行补数，将数据写入至对应时间分区。代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整...
同步Oracle数据源的数据至其他数据源的场景中，您需要先配置Oracle输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Oracle输入组件。操作步骤 请参见 通过离线单条管道配置集成任务，进入离线管道脚本的开发...
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
数据空间的回收通常有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制数据空间增长...
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。前提条件 已创建Teradata数据源，如何创建，请参见 创建Teradata...
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
同步Vertica数据源的数据至其他数据源的场景中，您需要先配置Vertica输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Vertica输入组件。在开始执行操作前，请确认您已完成以下操作：已创建Vertica数据源。...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
同步Teradata数据源的数据至其他数据源的场景中，您需要先配置Teradata输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置Teradata输入组件。使用限制 不支持读取Teradata数据库的视图。前提条件 在开始执行...
【数据标准】模块，主要用来对数据标准进行相关操作。添加数据标准 添加数据标准的方式有两种，第一种是手动在平台中单个添加标准，第二种是通过Excel的形式批量将数据标准维护到平台中去。进入【数据标准】模块，点击‘“创建数据标准”...
同步IBM DB2数据源的数据至其他数据源的场景中，您需要先配置IBM DB2输入组件读取的源数据源信息，再配置数据同步的目标数据源。本文为您介绍如何配置IBM DB2输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建IBM DB2...
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页，单击顶部菜单栏 资产。按照下图指引，进入 新建数据分级 对话框。在 新建数据分级 对话框，配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...