本文介绍如何设置 Maven 私有仓库的仓库成员权限...访问、下载、上传、删除、仓库管理、成员管理、元数据管理 开发成员 访问、下载、上传、元数据管理 访问、下载、上传、元数据管理 普通成员 访问、下载 访问、下载 非仓库成员 无 访问、下载
因此，平台要提供元数据和代码双向同步的能力，研发人员可以在开发过程中使用特定的注解新增、修改或删除模型元数据，开发完成后再上报到平台和平台上的元数据做合并，形成最终确定的元数据。说明 已发布的应用不支持代码扫描、模型差异...
因此，平台要提供元数据和代码双向同步的能力，研发人员可以在开发过程中使用特定的注解实现新增、修改或删除模型元数据，开发完成后再上报到平台与平台上的元数据做合并，形成最终确定的元数据。说明 在示例应用中，由于您没有向您开发的...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
使用场景 软件开发与持续集成 在软件开发和持续集成中，通过制品仓库保存构建结果和依赖库，确保每次构建使用的都是正确版本。依赖管理 管理各种依赖库，避免重复下载和存储，提高构建效率。软件部署与分发 通过制品仓库发布和分发软件包，...
2020-05-18（旧版OpenAPI）OpenAPI门户 支持的API列表 使用限制 DataWorks为您提供不同功能模块的OpenAPI，如租户、元数据、数据开发、运维中心等功能模块。各功能模块的OpenAPI对DataWorks的版本要求与功能本身对DataWorks版本的要求一致...
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序...更多信息，请参见 物联网存储简介、时序数据接入、设备时序数据开发、设备元数据接入 和 时序分析存储。
2024-11-19 所有地域 所有用户 External Catalog采集方式 数据资产治理 数据治理中心升级为数据资产治理，可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量等维度存在的问题，通过健康分量化评估...
为适应云原生技术演进、满足日益复杂的数据处理场景需求，并应对现有架构在可扩展性、维护性及用户体验方面的挑战，DataWorks数据开发（Data Studio）正在进行一次全面的架构升级。本次升级旨在构建一个面向未来的、高性能、高可用的数据...
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
使用开放数据 将开放数据安装到目标工作空间的 MaxCompute 计算资源后，您可以在数据开发或数据分析模块中，基于该目标工作空间的MaxCompute计算资源，直接访问已授权的元数据视图信息。在数据地图左侧导航栏中，单击 图标，进入数据目录...
数据目录提供统一界面，方便管理和操作MaxCompute元数据。本文将为您介绍如何在数据目录中创建和管理表、视图、外表、资源及函数等数据对象。使用限制 若使用RAM用户或RAM角色在数据目录中查看MaxCompute数据，需提前获取MaxCompute相关...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
SyncInstanceMeta 同步实例下所有数据库的元数据 调用SyncInstanceMeta同步实例下所有数据库字典元数据。SyncDatabaseMeta 同步数据库元数据 同步数据库字典元数据。GetTableKnowledgeInfo 获取表的资产描述 获取指定guid的元数据知识 ...
这种情况符合数据开发的实际情况，如果可以用SQL处理，通常优先使用SQL处理数据。某账号提交的任务非常多，经了解，其将自己的AccessKey通过SDK的方式配置了一个查询软件，并提供多人进行查询。不推荐该方式，请谨慎开放权限，避免多人共用...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
ossfs能将阿里云对象存储服务OSS挂载成本地文件系统，方便用户像操作本地文件一样管理OSS数据。版本升级 如果您正在开展AI训练、推理、自动驾驶仿真等新型应用，且不方便使用OSS SDK和 使用OSS Connector for AI/ML加速模型训练，那么优先...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
您可以通过规范建模自动开发数据，创建以实体对象为中心的标签数据体系，沉淀业务数据知识、数据资产，以治理数据问题。数据规范统一：采用维度事实建模理论，对维度、维度属性、业务过程、指标字段等进行严格的标准化、规范化定义，保障...
PrestoDB是基于MPP架构的开源大数据分布式SQL查询引擎，支持对接MySQL、Elasticsearch、Tablestore等多种数据源。使用PrestoDB对接表格存储Tablestore后，基于PrestoDB on Tablestore您可以使用SQL查询与分析Tablestore中的数据、写入数据...
数据摄取能力在这些情况下触发行动：构建或添加数据源、获取更详细的数据、与元数据进行结合、统一数据的标准格式、开发特定工具、提升数据摄取效率和便捷性。随着 FinOps 成熟度提高，以及投资这些步骤获得价值的过程中，这项工作将会循序...
背景信息 DMS在表详情中引入表的元数据，可以让开发人员与业务人员更好地理解数据的上下游关系及其本身含义，减少理解数据的时间成本，精准定位需要查找的数据，提高开发与管理效率。元数据包括：技术元数据：表在库中的物理信息，包括所属...
登录数据库 您可以进入HoloWeb开发页面，在 元数据管理 界面通过如下方式登录数据库：在新建数据库时，配置 立即登录 参数为 是，即默认登录了数据库，可直接进行使用。在新建数据库时，配置 立即登录 参数为 否，您需要在 已登录实例 列表...
数据目录是您在数据开发前统一的元数据工作台。它整合了MaxCompute、Hologres、DLF等多种数据源的元数据，让您无需离开DataWorks即可完成建表、视图管理等所有准备工作，从而专注核心开发。核心特性 统一管理：集中管理多种数据源的表、...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
提高效率：减少元数据硬编码，提升开发效率。集成开放：无缝集成Paimon，Hive等外部元数据服务。支持的Catalog 传统数据湖/仓 管理Paimon Catalog 管理Hive Catalog 管理DLF Catalog 关系型/分析型数据库 管理MySQL Catalog 管理AnalyticDB...
进入HoloWeb开发页面，在 元数据管理 界面的 已登录实例 列表。右键单击目标数据库，选择 登录数据库。在 登录数据库 对话框中 确认 登录后，右键单击目标数据库，选择 新建模式。配置 模式名称，单击 确认，其中 实例名 和 数据库名称 ...
如果您的私有部署服务需要限制服务实例的使用期限，或者希望自定义一些数据（下文称自定义元数据）以便应用或软件获取，可以为服务配置自定义售卖。本文介绍为您介绍如何配置、修改自定义售卖。使用限制 服务类型：必须为私有部署服务。...
Quick Tracking采集管理，旨在通过系统提供采集管理相关功能，助力客户高效构建自己业务网站&APP&小程序的流量采集埋点体系、开发测试流程和分析元数据。组织应用管理：包含 组织管理 和 应用管理 功能模块。管理用户所有的组织和应用，...
若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型的数据表从元仓租户的计算源同步到开发使用的业务租户的计算源中。本文将指导您如何进行配置。操作步骤 创建元仓项目数据源。在业务租户中，将元仓项目的计算源创建为...
在DataWorks数据开发中查看外部项目元数据信息 登录 DataWorks控制台，在左上角选择地域。在左侧导航栏选择 工作空间。在 工作空间列表 页面，单击目标工作空间对应的 操作 列 快速进入 Data Studio。在 Data Studio 页面，单击左侧导航栏 ...
在DataWorks数据开发中查看外部项目元数据信息 在DataWorks控制台页面左侧导航栏，单击 工作空间列表。在工作空间列表中，选择与外部项目绑定的工作空间，单击 操作 列的 数据开发。在 DataStudio 页面左侧菜单栏单击 公共表。在 公共表 ...
配置DLF Catalog后，您可以在实时计算开发控制台直接访问DLF实例中的表，无需再手动注册DLF表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何创建、查看、使用及删除DLF Catalog。说明 此文档仅适用于DLF-Legacy。建议您使用...
数据开发 功能集 功能 功能描述 参考文档 作业开发 SQL作业开发 编写SQL作业代码，可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能进行SQL作业开发。SQL作业开发 Flink SQL作业快速入门 使用内置公开数据集快速体验...
工作流 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了提取文件元信息时所需要执行的工作流。IMM提供的工作流模板请参见 工作流模板。算子 工作流执行的基本单元。IMM处理引擎将根据配置的工作流模板...
背景信息 创建 旧版数据开发：EMR计算资源 后，平台将自动在 数据地图 新建EMR元数据采集器来采集该集群元数据，若您创建EMR计算资源后仍无法在此界面选择到EMR库，请前往数据地图找到该集群的元数据采集器重新采集，详情请参见 采集E-...
元数据导出功能仅用于调试或开发用途，建议在导出完成后关闭该功能。元数据文件默认保存在Shell的工作目录下，如需更改保存路径，请切换工作目录至目标路径。如果未看到 cli-metadata 目录生成，请确认是否成功执行了阿里云CLI命令，并检查...