单击左边侧边栏的 图标，单击 更多 系统管理，进入 系统管理 页面，设置StarRocks类的查询资源组为任务使用的资源组。回到SQL查询页面，在右上角切换引擎类型为StarRocks，并选择数据源，即可编辑查询语句并运行，进行EMR Serverless ...
背景信息 开源大数据开发平台 E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还...
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
在标准模式工作空间下，一个DataWorks空间下层对应两个MaxCompute项目（或两个EMR集群、Hologres数据库等），一个视为开发（DEV）环境，一个视为生产（PROD）环境。权限概述 在简单模式空间下，DataWorks的“开发”角色因为与MaxCompute...
什么是集成 集成是魔笔平台的重要能力之一，开发者可以通过为资源创建多个集成，以实现与各种外部系统的无缝连接。这些集成可以包括但不限于SQL 数据查询、SQL 数据更新、百炼大模型交互、百炼应用交互等。通过这种方式，魔笔平台能够大大...
系统管理：批量执行软件安装、环境配置、系统维护等任务。关键特性 多平台支持：支持Windows和Linux操作系统镜像，并支持用户定制自定义镜像。安全隔离：基于VPC网络隔离，并且每个任务运行在独立的镜像环境，确保环境稳定以及企业数据安全...
执行terraform show命令 您可以在工作目录中，使用以下命令查询Terraform已创建资源的详细信息：terraform show 登录系统运维管理 OOS控制台 登录 系统运维管理 OOS，进入 自动化任务 任务执行管理 页签，左上角选择地区，此例中选择 华北2...
物联网应用开发（IoT Studio）的项目详情页面提供了查看产品列表及其详情、创建产品、编辑产品基本信息和删除产品等功能。背景信息 在同一个物联网平台账号下：同一项目中的产品和设备仅可应用于相同项目下的Web可视化开发和业务逻辑开发。...
个人开发环境连接Git仓库 10月 功能名称 描述 发布时间 发布地域 使用客户 相关文档 镜像管理 DataWorks支持将自定义镜像构建为持久化镜像，无需每次都重新部署镜像环境，每次运行任务节点时使用同一个镜像环境，不仅确保了运行环境的一致...
查看成员列表 在成员页中，您可以查看当前空间的所有成员及其详细信息，包括：用户名 阿里云 ID 邮箱 角色 加入时间 空间坐席数 这些信息帮助管理员了解每个成员的身份和权限。添加成员 在坐席数限制范围内，OWNER 或 ADMIN 角色可以通过...
在 绑定MaxCompute计算资源 页面的 基础信息 处，填写以下信息（更多参数详情请参见 新版数据开发：绑定MaxCompute计算资源）：分别为 开发环境 和 生产环境 选择已创建的两个MaxCompute项目。重要 生产环境与开发环境需 绑定不同的...
数据管理DMS 的模型管理功能支持自定义模型组，每个模型组对应一个特定的业务场景。DMS支持在任务编排的节点中训练模型并将训练好的模型注册至模型组中。您可在模型管理中创建模型组、部署模型、删除模型或模型组等操作。注意事项 目前模型...
背景信息 使用标签管理功能前，请先了解以下相关概念：数据资产：泛指DataWorks中与数据开发、数据治理、数据分析、数据服务有关的数据实体对象。例如：表、API、节点任务、数据分析任务、质量规则、工作空间、治理优化流程等。资产标签：...
功能优势 上云后，若使用单一阿里云账号集中管理所有云资源，鉴于企业内部存在多个业务线，每个业务线通常涉及一个或多个应用服务。这些业务线被分配给不同的团队管理。因此，按应用对资源进行分组管理能有效减轻管理负担并提升运营效率。...
新建触发器 若您已被添加为工作空间的开发、运维或管理员角色，可以在 触发器管理 页签新建触发器。单击 新建触发器 按钮，进入 新建触发器 配置页面。说明 DataWorks事件触发依赖于事件总线EventBridge，初次使用或缺少 ...
本文为您介绍如何将 数据管理DMS 集成至企业或组织内部的开发平台中。使用流程概览 身份认证 使用阿里云统一身份认证服务登录 数据管理DMS，在使用DMS之前您需要准备企业或组织访问DMS的阿里云RAM账号。初始化DMS 将DMS集成至企业开发平台 ...
数据资产治理（原数据治理中心）可根据预先配置的治理计划，自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理...
进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤新增数据同步任务，以发送业务数据。前提条件 控制台中已有一条推送配置并处于上线状态。操作步骤 在左侧导航栏单击 后台服务 数据同步，进入数据同步页面。在 配置管理 标签页...
附录：任务执行环境说明 标准模式工作空间下，一个计算资源实例存在开发环境和生产环境两套配置，不同环境可以指定不同的数据库或实例，系统将通过运行环境自动映射访问不同的计算资源，从而实现开发测试与生产调度的隔离。例如，执行离线...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
项目是物联网应用开发（IoT Studio）中多个应用、服务和物联网平台资源（产品、设备、数据资产等）的集合。同一个项目内的不同应用或服务共享资源。不同项目之间的应用、服务和资源都相互隔离，互不影响。重要 阿里云物联网平台新用户不...
功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的数据以API的形式快速对外输出。视频介绍 研发流程解决方案 数据安全解决方案 数据开发解决方案
数据开发包括编码研发和规范建模。编码研发用于构建计算任务，例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务；规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发，需已购买实时研发增值服务并且当前租户已...
重要 数据集定义时的路径，同一个个人开发环境实例挂载多个数据集的情况下，该挂载路径不允许冲突。高级配置 非必填，您可以通过JSON格式指定访问NFS协议的文件存储（NAS）时的相关配置（nasOptions参数），以下为默认配置，您也可以参考 ...
DevPod 内置开发镜像默认都有一个示例代码 main.py 和 run.sh，可以直接运行 run.sh 启动应用，第一次执行 run.sh 会自动下载模型到持久化的 NAS 盘，下载目录为环境变量 MODELSCOPE_CACHE 指向的目录 自定义镜像 当预置镜像无法满足您的...
在转交日志页面查看每次转交操作的各项信息：名称 描述 转交任务ID 每次转交操作（可能包含一张表或多张表）会对应生成一个转交任务，转交任务ID是转交任务的唯一性标识。操作人 执行转交的操作人。状态 转交任务的状态，包括：成功、失败...
一般地，一个权限组会包含多个用户，一个用户也可能归属于多个权限组，用户和权限组是多对多的关系。创建权限组 开发者可以在魔笔平台上通过用户与权限导航栏下的权限组子导航栏找到创建权限组入口。创建权限组时，需填写权限组的标识、...
步骤一：开发Flink SQL Streaming节点 在Flink SQL Streaming节点编辑页面，执行如下开发操作，完成节点任务开发。开发SQL代码 在SQL编辑区域开发任务代码，您可在代码中使用${变量名} 的方式定义变量，并在节点编辑页面右侧 实时配置 的 ...
数据资产治理可根据DataWorks中表或调度任务类型的资产进行数据健康管理和使用分析，可使用标签进行业务信息管理，便于您及时了解资产健康情况，并及时处理资产的待处理问题。重要 请注意，资产健康与业务资产功能目前处于 Beta 版本，该...
发布时间 北京金融云 韩国（首尔）2022-03 2022-02 新功能描述 发布时间 发布地域 相关文档 参数仓库支持指定汰换策略，支持保留最近的100个参数的策略 事件触发器支持list筛选 应用管理支持资源部署 应用管理支持查看分组内资源费用分析 ...
密钥管理服务KMS（Key Management Service）提供了多种类型的开发工具，您可以根据业务需要选择合适的开发工具。开发工具 说明 KMS SDK KMS SDK帮助您构造HTTPS请求，更好地使用KMS API。KMS SDK特点如下：结合阿里云SDK核心库（SDK Core）...
二、数据开发与运维 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
魔笔低代码开发平台提供了方便的文件上传与下载功能，用户通过魔笔平台上传的文件可以在应用设计器内使用，实现文件的灵活管理和应用。本文将详细介绍文件上传与下载的用法，以及文件如何在魔笔平台中被管理和使用。文件上传 上传步骤 点击...
DataWorks 计费体系为适应不同业务场景而设计得非常灵活，因此包含软件版本、资源组、其他服务及底层引擎等多个组成部分。本文旨在帮您做出明智的购买决策，根据自身业务阶段选择最优配置以实现成本效益最大化，并提供针对个人开发者、成长...
DataWorks的Notebook支持多种类型的单元格，提供了一个交互式且模块化的分析环境，旨在帮助用户高效地完成数据处理、分析、可视化以及模型构建。功能介绍 在DataWorks中，可以通过Notebook节点构建交互式、模块化的可复用分析环境。多引擎...
调用CreateBusiness，创建数据开发（DataStudio）的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
DataWorks全新推出了实时数据开发治理功能，通过集成数据治理插件和LSP（Language Server Protocol）技术，在代码保存时可触发智能检测，并提供针对性的修复建议。开发者可以选择一键确认修复，快速解决问题。该功能依托预设的治理规则库和...
调用CreateBusiness，创建数据开发（DataStudio）的业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。...
在 新建小程序开发组 侧拉框中输入小程序开发组名称、选择小程序开发管理员、选择小程序应用。单击 确定，小程序开发组创建成功。小程序开发组创建成功后可为小程序添加开发成员。编辑小程序开发组 在 开发组管理 页面，单击小程序开发组...
背景信息 平台安全诊断根据相关安全问题的最佳实践，为您展示系统诊断出的当前工作空间与数据源，在进行业务交互时存在的风险隐患。您可以根据诊断结果，识别风险类别、风险等级，查看风险详情，及时处理待优化项，保障业务执行过程的安全...