治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
在左侧导航栏，选择 元数据 元数据管理，单击 数据表。在 数据表 页面，通过库名过滤，可以查看已创建的表信息。步骤二：DataFlow集群连接DLF读取Hive全量数据 通过SSH方式登录DataFlow集群，详情请参见 登录集群。执行以下命令启动Yarn ...
配置管理 数据保护 敏感数据管理 DMS的敏感数据保护能力能根据所选的敏感数据扫描模板、敏感数据识别模型以及脱敏算法对数据进行脱敏处理，以避免敏感数据滥用，有效保护企业的敏感数据资产，防止数据泄露造成企业经营资金损失或罚款。...
数据迁移：元数据迁移：通过使用阿里云 RabbitMQ 控制台迁移工具，进行元数据迁移 数据校验：元数据校验：通过检查迁移前后 vhost 的条数、Queue 的条数来校验元数据的一致性。2、数据迁移方案 2.1、使用阿里云 RabbitMQ 控制台迁移工具...
在周边生态上，提供数据迁移、数据同步、数据管理、数据集成、数据安全等配套工具，方便使用的同时，让您能更加专注于业务发展。基础版 为单副本形态，功能特性与企业版相同。但底层为单副本存储，不提供高可用服务，适用于对数据高可用无...
数据目录提供统一界面，方便管理和操作Hologres元数据。本文将为您介绍如何在数据目录中创建和管理表、视图等数据对象。进入 Hologres 数据目录页面 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作...
入门操作 在 敏感数据管理 中配置敏感、机密字段的脱敏以及加密算法。详情请参见 敏感数据管理。在 操作日志 中进行操作审计的管控。详情请参见 操作日志。支持安全管理员用户的功能总览 类目 功能 说明 SQL窗口 单库查询 在单库查询中可以...
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
Delta Lake 元数据管理 使用Spark内置Catalog替代Hive CLI API同步元数据及分区信息。自动上报表的统计信息（dataProfiling）到MetaStore。SQL 支持Time Travel语法。支持DropPartition SQL语法。支持指定位置（FIRST和AFTER）的ADD COLUMN...
在 时序表列表 页签，单击时序表名称后选择 数据管理 页签或在时序表 操作 列单击 数据管理。（可选）新建时间线。在 数据管理 页签，单击 新增时间线。在 新增时间线 对话框，新增时间线元数据，例如度量名称、数据源等。单击 新增。插入...
元数据管理 API 标题 API概述 数据集管理 数据集管理 CreateDataset 创建数据集 创建一个数据集（Dataset）。UpdateDataset 更新数据集 更新一个数据集（Dataset）的信息。GetDataset 查询数据集信息 查询一个数据集的信息。ListDatasets ...
数据管理 数据处理包括创建和管理项目、操作数据集、设置自动触发器、执行批量任务以及查询任务状态等功能，满足从文件元数据的提取分析到任务创建和管理的一系列需求。功能集 功能 功能描述 参考文档 基础操作 项目操作 开通 IMM 后，用户...
Hive Catalog支持Hive MetaStore和阿里云DLF作为元数据管理中心，相关配置说明详情如下：Hive MetaStore 需要检查配置文件hive-site.xml中 hive.metastore.uris 参数配置是否符合下列要求。property name hive.metastore.uris/name value ...
敏感数据管理 在敏感数据管理中，可以对表中的敏感数据进行添加算法、调整安全级别等操作。数据水印 可以嵌入水印或将文件的水印提取出来，在数据的散布或分发过程中追溯源头。开启安全访问代理 使用标准的MySQL、HTTPS协议，直接连接安全...
其结合了 DMS 熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、分析师和数据库管理员，更高效、规范地使用和管理数据。本文为您介绍如何使用Copilot。注意事项 目前Copilot功能处于灰度上线阶段。如需使用，请进入钉钉群...
数据目录提供统一界面，方便管理和操作Hive元数据。本文将为您介绍如何在数据目录中创建和管理表数据对象。进入 Hive 数据目录页面 进入 DataWorks工作空间列表页，在顶部切换至目标地域，找到已创建的工作空间，单击 操作 列的 快速进入 ...
背景信息 阿里云数据湖构建（Data Lake Formation，简称DLF）是阿里云官方提供的一款统一元数据管理的产品。您可以方便地借助DLF产品来管理创建的表格，这些表格的格式可以是开源格式，例如Iceberg、Hudi、Delta、Parquet、ORC或Avro等。...
元数据管理功能主要展示当前实例的所有数据库、数据表、分区及各种任务等信息，同时支持创建数据库和数据表，并定义其列及相关属性。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、缓存数据...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求...
数据目录提供统一界面，方便管理和操作MaxCompute元数据。本文将为您介绍如何在数据目录中创建和管理表、视图、外表、资源及函数等数据对象。使用限制 若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据，需提前获取MaxCompute相关...
敏感数据管理 在敏感数据管理中，可以对表中的敏感数据进行添加算法、调整安全级别等操作。数据水印 可在文件中嵌入水印或将文件的水印提取出来，在数据的散布或分发过程中追溯源头。开启安全访问代理 使用标准的MySQL、HTTPS协议，直接...
查看及管理我可用的资产 创建及管理仪表板 创建及管理自助取数 创建及管理电子表格 元数据共享模型 数据服务API表dim_dataphin_service_api新增字段update_rate_detail、call_mode、execution_timeout字段，可记录异步调用API的执行超时间...
闭环的生态工具：数据管理DMS，基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的Web数据库管理终端，可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台，本文介绍数据管理DMS 以及内置 数据灾备（DBS）的产品优势。实现全域数据资产管理 支持全域数据资产：关系型数据库：MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB ...
通过将原始数据存入通用 OSS Bucket，向量数据存入 OSS 向量 Bucket，可构建高效的 AI 数据管理平台，如 AIGC 数据管理等。仅需一套 API/SDK 即可同时管理和访问原始文件与向量索引，轻松构建高效、统一的 AI 内容管理平台。企业级特性 ...
模型上下文协议（Model Context Protocol,MCP）主要为大模型和外部工具之间搭建信息传递的通道。本文为您介绍如何配置 数据管理DMS MCP，以便使用多云通用的MCP Server安全地访问 托管在DMS的数据库。背景信息 传统数据库的MCP存在如下痛点...
在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据开发：绑定EMR计算资源。（可选，RAM...
MaxCompute Studio是阿里云MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具，是一套基于流行的集成开发平台IntelliJ IDEA的开发插件，帮助您便捷、快速地进行数据开发。本文将为您介绍MaxCompute Studio的功能界面和常用...
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
在 新建数据源 页面的 大数据存储 区域，选择 Hive。如果您最近使用过Hive，也可以在 最近使用 区域选择Hive。同时，您也可以在搜索框中，输入Hive的关键词，快速筛选。在 新建Hive数据源 页面中，配置数据源连接参数。Hive数据源配置参数...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
2023年12月04日-MaxCompute管家下线公告 尊敬的MaxCompute用户：感谢您对云原生大数据计算服务MaxCompute的支持，MaxCompute从 2022年9月 发布新版 管理控制台 以来，陆续实现了原有MaxCompute管家的能力，同时交互体验有了很大提升，并...
Flink Catalog是元数据管理核心。它可以注册、存储并加载各类数据源元数据。Catalog统一访问管理外部系统元数据，使Flink SQL实现元数据集中持久化。为什么使用Catalog 统一管理：集中管理不同系统元数据，简化数据发现。简化操作：SQL ...
交互式查询：借助Trino或Presto，基于标准SQL语法，提供快速的大数据查询服务，其响应时间可达到亚秒级，能够有效满足运营团队对多维度数据分析的需求。数据应用：数据科学：通过API服务将处理后的数据提供给风控引擎、推荐系统等下游应用...
在左侧导航栏选择 治理项管理 治理项管理，在 治理项管理 页面，单击 元数据管理 按钮。在 元数据管理 页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击 图标，通过选择 数据...
支持表接口和文件接口对全模态数据读写处理，提供完善的元数据管理、权限管理、存储分析、存储优化等能力，助力企业专注于业务创新和 Data+AI 应用构建。产品优势如下：高性价比的湖仓存储 智能且按量付费的湖表优化、智能存储分层、存储...