配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
基本原理 ossfs 2.0基于FUSE（Filesystem in Userspace）框架进行开发，可以将文件系统的元数据操作接口，转换为对应的OSS请求，从而实现通过文件系统的操作方式访问OSS存储资源。命令 接口转换规则 lookup 当执行 lookup 或 stat 操作且...
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏单击 表管理。新建、查找及编辑目标表 新建表及导入表数据 在表管理页面，您可单击 及 ...
数据开发中绑定计算资源后，您还需要在 数据地图 页面采集AnalyticDB for PostgreSQL元数据。详情请参见 采集AnalyticDB for PostgreSQL元数据。操作步骤 进入 数据开发 页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
配置StarRocks Catalog后，您可以在实时计算开发控制台直接读取StarRocks元数据，无需再手动注册StarRocks表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何在创建、查看、使用及删除StarRocks Catalog。使用限制 仅实时计算...
一站式的开发体验 提供作业开发、调试、发布、调度等一站式数据开发体验。内置版本管理、开发与生产隔离，满足企业级开发与发布标准。Serverless的资源平台 开箱即用，无需手动管理和运维云基础设施。弹性伸缩，秒级资源弹性与供给。按量...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏，单击 公共表。单击左下方的 图标，即可展开或折叠左侧导航栏。选择引擎类型和引擎...
Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境，读写生产数据源；Dev-Prod项目的Dev环境，读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源，Dev-Prod模式的Dev环境...
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
Dataphin添加数据源时支持添加生产数据源和开发数据源。Basic项目及Dev-Prod项目的Prod环境，读写生产数据源；Dev-Prod项目的Dev环境，读写开发数据源。数据服务中Basic模式和Dev-Prod模式的Prod环境读取生产数据源，Dev-Prod模式的Dev环境...
Hologres从V1.3.25 版本开始支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便您在测试环境、开发环境、跨部门集群之间做元数据隔离，以保障业务安全。DLF数据目录详情请参见 数据目录。Hologres从V1.3.26版本开始支持读写存储于OSS...
ListDataServiceApis 查询数据服务API开发中的信息列表。ListDataServiceApiTest 列出数据服务API测试信息。ListDataServiceApplications 查询数据服务应用的基础信息列表。ListDataServiceAuthedApi 列出已授权的数据服务API。...
编辑数据标准 数据标准-克隆数据标准 数据标准-提交上线数据标准 数据标准-下线数据标准 数据标准-删除数据标准 数据标准-编辑关联标准 数据标准-编辑关联文档 数据标准-批量导入数据标准（同时拥有标准模板-批量导入标准的权数据标准-限）...
元数据与数据发现模块为OSS中的海量文件提供智能管理和高效检索能力，通过 文件元数据管理、多维度数据索引、存储清单导出 和 文件查询 等功能，解决传统文件管理中检索效率低、元数据配置复杂、文件统计困难的问题。应用场景 静态网站性能...
同时，您还可以进行以下操作：当数据源为Elasticsearch的数据源表，支持搜索元数据、查看资产详情、查看生产/开发对象、修改标签、收藏、反馈质量问题、申请数据源权限及导出字段（仅表对象支持）操作。若该元数据已在源系统数据删除，则...
功能变更公告 数字工厂 1）元数据管理优化 删除元数据的时候，检查是否有定义关联，提醒防止误操作 已存在主数据的情况下，在不影响原有数据情况，可以对元数据定义的属性进行修改 2）物联网开发应用集成后可进行取消 区域/行业平台 业务中...
同时，您还可以进行以下操作：当数据源为Elasticsearch的数据源表，支持搜索元数据、查看资产详情、查看生产/开发对象、修改标签、收藏、反馈质量问题、申请数据源权限及导出字段（仅表对象支持）操作。若该元数据已在源系统数据删除，则...
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
若将源表的保存范围从 全部表 切换为 生产环境表，系统将自动清除对应开发环境的表，仅保留最近一个生产环境的元数据变更记录版本。元数据变更记录配置 在Dataphin首页的顶部菜单栏，选择 治理 元数据。在左侧导航栏选择 通用配置 元数据...
Spark 支持数据湖构建（DLF）元数据。DLF Metastore 修复高安全集群中Presto服务无法启动的问题。增加支持Hive 3和Cache。修复Hive和Presto查询数据的问题。Impala 支持在EMR控制台自定义配置 catalogd.flgs、impalad.flgs 和 statestored....
若将源表的保存范围从 全部表 切换为 生产环境表，系统将自动清除对应开发环境的表，仅保留最近一个生产环境的元数据变更记录版本。元数据变更记录配置 在Dataphin首页的顶部菜单栏，选择 治理 元数据。在左侧导航栏选择 通用配置 元数据...
Hologres从 V1.3.25 版本开始支持使用DLF数据目录（Multi-Catalog）做元数据隔离，方便您在测试环境、开发环境、跨部门集群之间做元数据隔离，以保障业务安全。DLF数据目录详情请参见 数据目录。Hologres从V1.3.26版本开始支持读写存储于...
开发环境数据源仅用于节点的开发与调试，而生产环境数据源则专用于已发布节点的周期性调度，两者严格分离，可有效防止测试操作影响生产数据。功能介绍 数据源使用 DataWorks的数据源在工作空间的 管理中心 数据源 中进行统一管理和维护。...
数据湖构建是一款全托管的统一元数据和数据存储及管理平台，旨在为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户迅速实现云原生数据湖及OpenLake解决方案的构建与管理。...
DataWorks支持注册EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
前提条件 创建MaxCompute数据源并 绑定至DataWorks数据开发，绑定后DataWorks会面向引擎自动采集元数据，系统将一次性全量采集存量的元数据，同时每天采集增量的元数据，并汇集至数据地图。由系统自动运维元数据采集器，您无需额外管理...
当您在Hologres需要加速查询MaxCompute数据时，可以使用数据目录的MaxCompute元数据映射功能，将MaxCompute表元数据映射至Hologres，通过Hologres外表实现对MaxCompute数据的加速查询。背景信息 Hologres的外部表、外部项目可以加速查询...
申请、续期和交还表权限 授权与回收表权限 数据源管理 数据源连接测试新增成功有风险状态，该状态下的数据源仅可用于数据服务、数据质量功能，不可用于数据开发和数据集成功能。ElasticSearch数据源新增支持HTTPS连接；支持自签名证书。...
说明 通常情况下，生产数据源和开发数据源需配置为非同一个数据源，以实现开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。Hive数据源基本信息配置 参数 描述 ...
MaxCompute 数据集成 数据开发 运维中心 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开数据集体进行数据查询、分析和可视化 DataWorks汇聚了丰富的官方真实数据（敏感数据已脱敏），每份数据均提供了具体业务场景...
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储 推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户快速实现云原生数据...
开发集成 功能 调用方式 检索时间线 通过SDK：Java、Go、Python 通过命令行工具：检索时间线、扫描时间线 更新时间线 通过SDK：Java、Go、Python 通过命令行工具 删除时间线 通过SDK：Java、Go、Python 常见问题 如何删除时序数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。管理元数据 在Dataphin首页，在顶部菜单栏选择 治理 资源治理。在左侧导航栏选择 治理项管理 治理项管理，在 治理项管理 页面，单击 元数据管理 按钮。在 ...
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。管理元数据 在Dataphin首页，在顶部菜单栏选择 治理 资源治理。在左侧导航栏选择 治理项管理 治理项管理，在 治理项管理 页面，单击 元数据管理 按钮。在 ...
开发数据增强以及应用业务逻辑到用量和计费数据的能力。向全组织提供用量和计费数据方面的专业知识。工程 评估方案和选择云服务时主动考虑成本。从FinOps团队获取信息，强化FinOps意识。学习和使用FinOps团队提供的报告和看板。使FinOps...
元数据清单以列表形式为您展示采集到的元数据信息，您可以从不同视角出发查询数据。本文为您介绍如何管理元数据清单。权限说明 超级管理员、系统管理员和具有 元数据清单-查看 权限的自定义全局角色支持管理元数据清单、查看元数据详情。...
元数据实体对象 数据地图通过元数据采集器采集并纳管了不同类型和不同层级（子类型）的元数据实体对象。完整的采集器类型支持列表请参见 采集器类型（CrawlerType）支持列表。按照元数据层级结构，数据地图支持的完整元数据实体层级分为：...
元数据清单以列表形式为您展示采集到的元数据信息，您可以从不同视角出发查询数据。本文为您介绍如何管理元数据清单。权限说明 超级管理员、系统管理员和具有 元数据清单-查看 权限的自定义全局角色支持管理元数据清单、查看元数据详情。...