例如，输入 test，会搜索出搜索项中包含 test 的全部数据信息。test TableId string 否 MaxCompute、RDS 等资产表中的列所属的资产表唯一标识 ID。说明 根据资产表的 ID 查询数据安全中心连接授权的数据资产表中列的数据，资产表 ID 可调用...
资产清单为您展示不同资产对象类型的数据信息，同时支持搜索、访问及收藏等功能，为您提供高效、快捷、准确的数据查找入口。本文为您介绍资产清单相关详情。资产清单页面介绍 在Dataphin首页，单击顶部菜单栏的 治理 资产清单，进入 资产...
资产清单为您展示不同资产对象类型的数据信息，同时支持搜索、访问及收藏等功能，为您提供高效、快捷、准确的数据查找入口。本文为您介绍资产清单相关详情。资产清单页面介绍 在Dataphin首页，单击顶部菜单栏的 治理 资产清单，进入 资产...
数据元管理通过分析业务流程，抽象关键业务对象和业务对象属性，并把关键业务对象新建为数据元，并配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。本文介绍如何新建数据元...
在电子表格中预览：在数据预览页面，单击 在电子表格中预览 按钮，将跳转至 数据分析 电子表格 中，同时会自动新建一个 电子表格 用来展示所选表的数据信息。数据分析：在数据预览页面，单击 数据分析 按钮，将跳转至 数据分析 SQL查询 中...
数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...
配置用户数据同步至OSS 通过离线数据集成任务，实现从平台的MySQL数据源内的获取用户数据信息，同步至私有OSS数据源中。在 数据开发 页面，双击 ods_user_info_d_2oss_spark 节点，进入节点配置页面。配置同步网络链接。完成以下网络与资源...
配置用户数据同步至OSS 通过离线数据集成任务，实现从平台的MySQL数据源内的获取用户数据信息，同步至私有OSS数据源中。在 数据开发 页面，双击 ods_user_info_d_2oss_spark 节点，进入节点配置页面。配置同步网络链接。完成以下网络与资源...
背景信息 购买数据资源平台前，请您了解以下几点：购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认数据资源平台当前版本及功能是否符合您的需求后，会为您开通购买权限。数据资源平台不...
您需要前往 EMR控制台，在 DataWorks 中根据您 实例详情 内的信息，配置StarRocks 数据源的 基础信息，以便后续进行任务同步及加工。以下是配置项的详细信息。配置项 配置内容 数据源名称 配置数据源名称，本案例命名为：Doc_StarRocks_...
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 dataphin_tutorial 为例，作为数据板块的命名空间。计算源：为数据的处理提供计算及存储资源。项目：项目是Dataphin的基本组织单元，是进行...
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，在DataWorks界面以可视化方式配置数据来源、去向及字段的映射关系等信息，完成数据导出操作。脚本模式：创建离线同步节点后，将DataWorks可视化界面切换至脚本模式...
数据水印：是指将标识信息通过一定方式嵌入到数据中，该水印信息数据使用者难以察觉。说明 建议导出的数据超过200条时使用数据水印嵌入。未开通敏感数据保护的数据库实例，不可使用数据水印。文件水印：是指将标识信息通过一定方式嵌入到...
背景信息 数据处理支持以下数据格式的输入和输出：类型 输入格式 输出格式 倾斜数据 OSGB S3M、3DTiles 地形数据 GeoTIFF QUANTIZED_MESH 三维模型 FBX、GLTF S3M、3DTiles 影像优化 GeoTIFF GeoTIFF(cog)操作步骤 登录 数据资源平台控制台...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建EMR Hive外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据...
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d_odps、ods_raw_log_d_odps 表。旨在介绍如何通过DataWorks数据集成...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d_odps、ods_raw_log_d_odps 表。旨在介绍如何通过DataWorks数据集成...
目标OSS元数据存储位置 请根据实际情况选择OSS实例元数据（数据目录Catalog）的存储位置，以存储入湖数据集成的库、表、列等元数据信息。DMS 存储在DMS中。AnalyticDB MySQL 3.0 存储在AnalyticDB MySQL 3.0集群。此时，您还需在 目标OSS...
本文以自建MySQL数据库为例，为您介绍如何将MySQL的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 MySQL数据库已开通公网访问权限或已通过专有网络VPC接入到阿里云。说明 通过专有网络VPC将...
本文以自建SQL Server数据库为例，为您介绍如何将SQL Server的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 SQL Server数据库已开通公网访问权限或已通过专有网络VPC接入到阿里云。说明 ...
目标OSS元数据存储位置 请根据实际情况选择OSS实例元数据（数据目录Catalog）的存储位置，以存储入湖数据集成的库、表、列等元数据信息。DMS 存储在DMS中。AnalyticDB MySQL 3.0 存储在AnalyticDB MySQL 3.0集群。此时，您还需在 目标OSS...
了解安全基线检查 数据安全中心以GB/T 37988-2019《信息安全技术数据安全能力成熟度模型》为依据，提供 个保法安全基线 和 阿里云数据安全最佳实践基线 的检查，针对云上复杂的数据库应用环境和不同类型的数据（结构化数据和非结构化数据）...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至MaxCompute的 ods_user_info_d、ods_raw_log_d 表。旨在介绍如何通过DataWorks数据集成实现异构...
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 待录入的云数据库类型为DMS 支持的数据库类型。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。注意事项 若您需要通过DMS管理实例，建议您在创建实例时...
本文介绍如何将阿里云数据库录入至数据管理DMS中。前提条件 待录入的云数据库类型为DMS 支持的数据库类型。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。注意事项 若您需要通过DMS管理实例，建议您在创建实例时...
Kafka 集群会保存 TiCDC 工具转换的 TiDB 数据库的增量日志信息，以便数据传输在执行增量数据同步时，从 Kafka 集群中获取相应数据并实时迁移数据至 OceanBase 数据库 MySQL 租户。如果您在新建 TiDB 数据源时，未绑定 Kafka 数据源，将...
Dataphin定价 建议您先提供企业数据建设诉求及背景信息进行咨询，确认Dataphin功能及版本是否符合需求，再进行开通购买。Dataphin支持按月购买的付费模式，关于Dataphin的计费标准请参见 计费说明。联系我们 您在使用Dataphin的过程中有...
访问控制 访问控制是指对托管在DMS的实例、数据库、表等资源进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型，从而保障企业数据安全。更多信息，请参见 访问控制权限概述。权限类型 DMS中对于数据的访问权限有如下三种：...
通过数据同步功能同步SLS数据至数仓版 通过数据同步功能同步SLS数据至湖仓版 无感数据集成（Zero-ETL）支持无感集成（Zero-ETL）功能，可创建 RDS for MySQL 和 PolarDB for MySQL 的同步链路，可以帮助您一站式完成数据同步和管理，实现...
背景信息 为保障企业生产及数据安全，DMS在工单系统中建立了一套审批系统。例如，在提交数据变更工单时，仅当工单审批通过后，您才可以进行数据变更操作。大多数企业会使用内部独有的一套审批流系统，若在DMS提交数据变更工单，企业需要...
管理人员 人员功能帮您管理经常访问您数据库的企业内部人员信息。新增人员信息并使用应用身份识别功能（更多信息，请参见 应用身份识别）后，数据库审计系统会自动帮您识别SQL语句中的人员信息并将该信息关联到对应的SQL语句中。以下步骤为...
兼容性 云数据库 ClickHouse 企业版 在增加新特性的同时，保持与旧版本的兼容性，详细信息请参见 云数据库ClickHouse企业版兼容性指导。性能优化 新增Paralle Replica，线性提升集群并发处理能力。新增Lightweight Update/Delete，支持实时...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
研发流程解决方案 DMS为在线流程化系统，可统一管理企业内所有的数据库资源，所有人员跟数据库交互的操作都可在此完成。您可以根据不同的业务为对应的实例配置不同的研发规范、研发流程、审批流程的设计与实施，轻松实现个性化、灵活、安全...
DescribeDBInstanceAttribute 查询集群的详细信息 调用DescribeDBInstanceAttribute接口查询云数据库ClickHouse企业版集群的详细信息。DescribeDBInstanceConfig 查询实例参数配置 查询实例参数配置 DescribeDBInstanceConfigChangeLog ...
产生、使用和管理对生活产生重要影响的数据信息，对于消费者、政府和企业的正常生活和运转必不可少。消费者和企业将持续在不同设备和云之间产生、分享和访问数据，增长速度也将超出此前的预期。生产处理实时化 从数据的3V特性（体积，速度...