元数据管理 可视化元数据检索、元数据管理、多版本管理、数据统计概况和生命周期管理等。无 无 高可用性 主备等容灾措施 主备等容灾措施 无容灾措施。运维成本 免运维，自动水平弹性扩容。需要自行升级和扩容等运维操作，适合需要灵活、...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析与服务 数据分析，单击 进入数据分析 页面，单击左侧导航栏的 SQL查询 进入SQL查询页面。单击左边侧边栏的 图标，单击 更多 系统管理，进入 系统管理 页面，设置...
智能媒体管理为云存储上的文档、图片、视频等非结构化数据提供智能分析处理能力，并通过提取关键元数据构建索引，实现非结构化数据的查询能力，可应用于文档管理、图片社交分析、家庭设备数据存储等场景。文档管理场景 在网盘、邮箱、文档...
支持对接开源的可视化和分析平台Grafana，用于以多种形式可视化展示数据分析处理结果。核心优势 物联网存储IoTstore具有丰富的数据整合处理能力，同时为物联网海量存储场景提供了低成本、高性能的数据存储方案。低成本存储 提供数据自动...
本文基于云原生数据库 PolarDB MySQL版，对常见DDL的操作进行了说明，方便用户查询和了解DDL的行为，评估DDL操作风险，降低对业务的影响。DDL操作说明 在MySQL生态中，DDL是一类非常复杂的操作，包括Index操作、Primary Key操作、Column...
能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多详情，请参见 ArgoDB官网。使用限制 当选择 MySQL元数据库、ArgoDB System库 或 HMS ...
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供...场景四：数据分析场景 通过元数据抽取、数据探索能力，可以快速地对OSS内结构化、半结构化数据进行分析、探索。
如果您的私有部署服务需要限制服务实例的使用期限，或者希望自定义一些数据（下文称自定义元数据）以便应用或软件获取，可以为服务配置自定义售卖。本文介绍为您介绍如何配置、修改自定义售卖。使用限制 服务类型：必须为私有部署服务。...
元数据 表数量多、元数据量大、DDL数量多，FE、Query Engine压力大。表数量少、元数据量小、DDL数量少，引擎层面压力小。多级分区 不支持，只支持一级分区。支持二级分区。生成列做分区键 不支持。支持，可灵活定义分区计算逻辑。创建分区...
功能优势 通过OSS-HDFS服务，无需对现有的Hadoop、Spark大数据分析应用做任何修改。通过简单的配置即可像在原生HDFS中那样管理和访问数据，同时获得OSS无限容量、弹性扩展、更高的安全性、可靠性和可用性支撑。作为云原生数据湖基础，OSS-...
使用元数据清单导出功能，您可以将某个Bucket下的OSS-HDFS服务的元数据清单导出到某个特定路径，格式为JSON文件，方便您对元数据进行统计分析。前提条件 使用最新版本JindoSDK。下载地址，请参见 GitHub。配置OSS-HDFS服务下Bucket的访问...
数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据地图支持查看数据服务API的元数据，...
使用DataWorks数据地图查看表或数据服务API时，可在对应的详情页面查看详细的血缘信息，这对于数据溯源及管理有很大帮助，本文为您介绍数据地图的血缘查看能力。表血缘 查看入口 查找某张表并进入表详情页面后，您可以单击 血缘信息 页签，...
用户画像分析任务流程完成后，在MaxCompute、EMR或StarRocks内将创建5张数据表。生成的数据表可在数据地图模块进行查看，可通过 血缘查看 来查生成表之间的关系。前提条件 开始本实验前，请先完成 同步数据 和 加工数据 的操作。数据源版本...
管理Paimon Catalog 支持OSS-HDFS流式写入 允许将数据从流式写入OSS-HDFS，提供更多数据存储支持。对象存储OSS 监控指标调整 CPU指标变更 新增JM CPU Usage指标。取消TM CPU Load和JM CPU Load指标。说明 CPU Load不能反映CPU使用情况，CPU...
字段名称 字段说明 uid 用户名 region 地域 device 终端类型 pv 浏览量 gender 性别 age_range 年龄分段 Zodiac 星座 更多操作 操作 描述 文档 元数据管理 通过 数据地图概述 模块，对源端表数据进行元数据管理与查看。管理数据 消费数据 ...
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
新版SQL分析概述 为适应云原生技术演进、满足日益复杂的数据分析需求，阿里云MaxCompute控制台SQL分析功能全新升级，与DataWorks新版数据开发（DataStudio）深度融合，为用户提供更高效、更智能、更统一的数据分析与元数据管理体验。...
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
整体概述 Dataphin的数据资产功能，基于数据资产管理的规范及方法论，帮助您对数据资产进行盘点评估：支持自动化提取分析元数据，可视化构建数据资产大图，便于管理者发现与了解数据资产价值。支持对数据生产中的计算、存储、安全、应用等...
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期、湖格式自动优化、存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 分析存储为基于时间线数据构建的具备更高压缩率和更快分析...
接入性能监控数据后，您可以通过数据查询页面，查看目标Profile在某一段时间...添加图表到仪表盘 仪表盘是日志服务提供的实时数据分析大盘。您可以单击 添加到仪表盘，将火焰图以图表形式保存到仪表盘中。查看SQL 查看构建该火焰图的SQL语句。
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
元数据中心：负责从各业务系统中抽取、加工、集中存储和管理元数据，以支持数据治理，并加强组织内部数据的组织、检索和分析能力。元数据中心初始化配置 使用元仓租户的超级管理员或系统管理员账号，登录元仓租户。在Dataphin首页，选择...
ossfs元数据缓存适用于单机高I/O读写OSS数据的场景。开启ossfs元数据缓存后，能够提升整体的文件操作效率，使文件操作响应更加迅速。本文将为您介绍如何更好地使用和配置ossfs元数据缓存。重要 在使用元数据缓存时，需要留意数据一致性和...
2.统一元数据服务 对象存储本身是没有面向大数据分析的语义的，需要结合Hive Metastore Service等元数据服务为上层各种分析引擎提供数据的Meta信息。数据湖计算与分析 相比于数据仓库，数据湖以更开放的方式对接多种不同的计算引擎，如传统...
接入性能监控数据后，您可以通过数据对比页面，查看目标Profile在一段时间内...添加图表到仪表盘 仪表盘是日志服务提供的实时数据分析大盘。您可以单击 添加到仪表盘，将火焰图以图表形式保存到仪表盘中。查看SQL 查看构建该火焰图的SQL语句。
基于Tablestore的海量气象格点数据解决方案实战 物联网 表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松...
包括数据管道服务（APS），元数发现服务，Hive数据迁移等功能，可用于发现和组织 OSS 元数据、实时同步 SLS、Kafka 数据到 AnalyticDB for MySQL 的数据湖或数据仓库，以及迁移Hive数据到 OSS 并进行后续数据分析。常见使用场景 低成本存储...
④ 数据探查 若您开通了数据质量功能，可以为数据表配置数据探查任务，快速了解数据概况，提前评估数据的可用性和潜在风险，如果您需要开启自动探查，可以在 治理 元数据中心 探查及分析 中开启相应配置，详情请参见 新建数据探查任务。...
⑤ 数据探查 若您开通了数据质量功能，可以为数据表配置数据探查任务，快速了解数据概况，提前评估数据的可用性和潜在风险，如果您需要开启自动探查，可以在 治理 元数据中心 探查及分析 中开启相应配置，详情请参见 新建数据探查任务。...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
数据分析 迁移任务成功后，您也可以先通过 元数据发现 功能将OSS中的数据导入至 企业版、基础版或湖仓版，然后在 Spark Jar开发 中对导入至 企业版、基础版或湖仓版 的数据进行分析。Spark开发的相关操作，请参见 Spark开发编辑器 和 Spark...
⑤ 数据探查 若您开通了数据质量功能，可以为数据表配置数据探查任务，快速了解数据概况，提前评估数据的可用性和潜在风险，如果您需要开启自动探查，可以在 治理 元数据中心 探查及分析 中开启相应配置，详情请参见 新建数据探查任务。...
创建TDSQL for MySQL数据源 创建Hive数据源 创建MySQL数据源 创建Microsoft SQL Server数据源 创建PostgreSQL数据源 创建Oracle数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for MySQL 3.0数据源 创建AnalyticDB for ...
数据目录是您在数据分析时统一的元数据工作台。它整合了MaxCompute、Hologres、DLF等多种数据源的元数据，让您无需离开DataWorks即可完成建表、视图管理等所有准备工作，从而专注核心分析。功能入口 登录 DataWorks数据分析，切换至目标...