本文介绍使用智能媒体管理过程中可能遇到的元数据管理相关的问题。什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云...
数据源作用 数据源用于连接各类大数据存储或计算集群、调度引擎，作用于湖仓迁移中心的以下模块...在 湖仓存储及元数据管理 或 调度数据源探查 页签，单击 新建数据源。选择对应的数据源类型并填充连接信息。填写完成之后可测试数据源连通性。
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
下表汇总了IMM的常用高阶功能：功能列表 说明 创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。您可以将有关联的媒体文件和存放到同一个数据集中，便于查询。人脸聚类 使用人脸聚类功能，您可以将数据集中存在...
如果需要授予 细粒度权限列表 之外的权限点（例如元数据管理、SQL开发中的UDF管理等），需要将成员赋予 editor 或 owner 角色。自定义角色 当系统角色无法满足更细粒度的授权需求时，您可以创建自定义角色。支持在viewer或editor角色权限...
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
调用 OpenMetaQuery 接口为存储空间（Bucket）开启元数据管理功能并选择检索模式。开启元数据管理功能并选择检索模式后，OSS会为Bucket创建元数据索引库并为Bucket中的所有文件（Object）建立元数据索引。元数据索引库创建完成后，OSS会...
Quick Tracking采集管理，旨在通过系统提供采集管理相关功能，助力客户高效构建自己业务网站&APP&小程序的流量采集埋点体系、开发测试流程和分析元数据。组织应用管理：包含 组织管理 和 应用管理 功能模块。管理用户所有的组织和应用，...
示例代码 开启元数据管理功能 以下代码用于为指定Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪...
验证元数据同步结果 在左侧菜单栏，单击 元数据 元数据管理。单击 数据库 页签，选择 数据目录，输入同步的 数据库名称，可以查询到相应的数据库信息。单击 数据表 页签，选择 数据目录 和 库名，输入同步的 表名，可以查询到相应的数据表...
为您介绍数据表详情中“数据概况”的主要功能。功能说明 在数据表详情的...在左侧菜单栏，选择 元数据 元数据管理。单击 数据表 页签，选择目标 数据目录 和 库名，输入搜索的表名。单击目标数据表的表名，进入表详情页。单击 数据概况 页签。
进入HoloWeb开发页面，在 元数据管理 界面的 已登录实例 列表。右键单击目标数据库，选择 登录数据库。在 登录数据库 对话框中 确认 登录后，右键单击目标数据库，选择 新建模式。配置 模式名称，单击 确认，其中 实例名 和 数据库名称 ...
本文以车联网场景中车辆元数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆元数据管理平台的场景需求以及方案架构。场景需求 车辆在行驶的过程中会定时上报大量的状态数据，例如车辆识别代码、行驶速度、发动机转速、车内温度等...
Delta数据湖方案如下：在大数据存储层之上提供了数据管理层，该数据管理层等同于数据库中的元数据管理，其元数据随着数据一起存放并对用户可见（例如 数据仓库与数据湖 所示）。Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生...
如果您希望通过RAM用户或者STS的方式执行数据索引相关操作，例如：开启元数据管理功能，您必须拥有 oss:OpenMetaQuery 权限。获取元数据索引库信息，您必须拥有 oss:GetMetaQueryStatus 权限。查询满足指定条件的Object，您必须拥有 oss:...
使用阿里云RAM用户在数据湖元数据管理中新建数据库或数据表时，该RAM用户即为数据库或数据表资源的Owner，Owner以用户对应的主体格式表示。在E-MapReduce引擎中使用Linux或LDAP用户执行SQL命令创建资源时，该Linux或LDAP用户为资源的Owner...
本文汇总了使用E-MapReduce的元数据管理时的常见问题。报错提示“oss:/yourbucket/*/*/*”或“hdfs:/yourhost:9000/*/*/*”路径不存在，该如何处理？删除Hive Database时提示“java.lang.IllegalArgumentException:java....
以实现对数据服务进行精细的权限管理，角色包括：系统管理员 服务项目管理员 开发用户 运维用户 租户成员、应用普通成员、应用负责人（该角色在Dataphin中不存在，仅供本文档阅读方便使用）系统管理员：除了拥有服务项目管理员的权限之外，...
MaxCompute提供数据迁移服务MMS（MaxCompute Migration Service），允许将其他数据源的数据通过MMS迁移至MaxCompute。本文介绍如何新增Hive数据源。适用范围 迁移限制：不支持_HIVE_DEFAULT_PARTITION_分区迁移。Hive端准备好取数据时，...
以实现对数据服务进行精细的权限管理，角色包括：系统管理员 服务项目管理员 开发用户 运维用户 租户成员、应用普通成员、应用负责人（该角色在Dataphin中不存在，仅供本文档阅读方便使用）系统管理员：除了拥有服务项目管理员的权限之外，...
功能说明 通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，基于 数据最后访问时间、分区值（按时间）、分区/表创建时间、分区/表最近修改时间 四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。数据湖中...
阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、权限管理和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户快速实现云原生数据...
资产管理 系统资产管理：提供对表资产、API资产和指标资产可视化展示，通过编目、公开为资产共享做准备。数据表资产管理：支持对数据表资产进行编目，并提供查询、公开、隐藏等功能。API资产管理：支持对数据服务API、三方API、上报API、...
资产管理 系统资产管理：提供对数据表资产、API资产和指标资产可视化展示，通过编目、公开为实现资产共享做准备。数据表资产管理：支持对数据表资产进行编目，并提供查询、公开、隐藏等功能。API资产管理：支持对数据服务API、三方API、...
数据问答（基于数据库对接）：支持新增计算列 功能入口：登录智能对话机器人产品控制台，选择知识中心 数据问答 数据表管理 元数据管理后，单击“新增计算列”按钮即可进行计算列新增。功能描述：通过元数据表中已有字段，通过函数计算得到...
元数据 智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...
如果您希望通过RAM用户或者STS的方式执行数据索引相关操作，例如：开启元数据管理功能，您必须拥有 oss:OpenMetaQuery 权限。获取元数据索引库信息，您必须拥有 oss:GetMetaQueryStatus 权限。查询满足指定条件的Object，您必须拥有 oss:...
RAM用户需具备管理 系统运维管理 资源的权限。具体操作，请参见 使用RAM进行访问控制。用户身份 支持情况 阿里云账号 支持 RAM 用户（推荐）支持 RAM角色（推荐）支持 更多信息 身份、凭据与授权 流量控制与配额管理 集成方式 说明 SDK是最...
权限点 超级管理员 系统管理员 普通成员 查看元数据清单列表 Y Y N 查看元数据清单详情 Y Y N 数据探查配置权限列表 具有 数据探查-数据探查配置 权限的自定义全局角色支持 配置数据探查配置。权限点 超级管理员 运营管理员 普通成员 数据...
权限点 超级管理员 系统管理员 普通成员 查看元数据清单列表 Y Y N 查看元数据清单详情 Y Y N 数据探查配置权限列表 具有 数据探查-数据探查配置 权限的自定义全局角色支持 配置数据探查配置。权限点 超级管理员 运营管理员 普通成员 数据...
基于Tablestore多元索引打造亿量级店铺搜索系统 基于TableStore的海量电商订单元数据管理 基于Tablestore的海量保险单查询平台 TableStore：用户画像数据的存储和查询利器 TableStore：交通数据的存储、查询和分析利器 空间数据 多维的网格...
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，OSS-HDFS服务数据将保留在Bucket的.dlsdata/目录下。禁止以非OSS-HDFS提供的方式对该...
问题描述 管理元数据转换任务请求（修改或删除）时，设置了RoleID。问题原因 您发起了管理元数据转换任务请求（修改或删除），并设置了RoleID。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 管理元数据转换任务...
功能变更公告 数字工厂 1）元数据管理优化 删除元数据的时候，检查是否有定义关联，提醒防止误操作 已存在主数据的情况下，在不影响原有数据情况，可以对元数据定义的属性进行修改 2）物联网开发应用集成后可进行取消 区域/行业平台 业务中...
在Lindorm实例绑定至DataWorks后，您可以在数据地图中进行元数据管理和查看操作。本文为您介绍如何查看和管理Lindorm表数据。前提条件 已在计算资源绑定页面设置了SPARK参数信息，用于采集Lindorm的元数据，详情请参见 Lindorm计算资源设置...
用于关闭特定存储空间的元数据管理功能 request:=oss.CloseMetaQueryRequest{ Bucket:oss.Ptr(bucketName),/指定要操作的存储空间名称 } result,err:=client.CloseMetaQuery(context.TODO(),request)/执行请求以关闭存储空间的元数据管理...
创建及管理系统公告 离线集成 新增性能诊断功能，可通过读写时长、耗时操作及内存垃圾回收（GC）时长，帮助您排查导致集成任务运行缓慢的原因。新增运行记录列表功能，可管理当前项目下的所有离线集成任务的运行记录。PostgreSQL、Oracle、...
元数据与数据发现模块为OSS中的海量文件提供智能管理和高效检索能力，通过 文件元数据管理、多维度数据索引、存储清单导出 和 文件查询 等功能，解决传统文件管理中检索效率低、元数据配置复杂、文件统计困难的问题。应用场景 静态网站性能...