提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，同时DMS内置的 数据灾备（DBS）还提供了低成本、高可靠的备份恢复能力，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。前置概念 ...
Terraform是一种开源工具，用于安全高效地创建和管理云资源。您可以使用Terraform编排 系统运维管理。本文为您介绍如何通过Terraform在 系统运维管理 中创建一个应用。说明 本教程所含示例代码支持一键运行，您可以直接运行代码。一键运行 ...
工作流：工作流是一种数据处理流程自动化管理工具，提供的可视化画板功能支持以可视化拖拽方式整合多种类型的子任务节点，轻松建立任务间的依赖关系，加速数据处理流程的搭建，有效提升任务开发效率。详情请参见 周期工作流。节点编排。...
该节点易于与Kafka、HDFS等系统集成，提供详尽的日志和性能监控工具。您只需在DataWorks项目中添加Flink SQL Streaming任务并编写SQL语句即可开始实时数据处理。本文将介绍如何在DataWorks开发Flink SQL Streaming节点任务，并通过...
在 LLM 应用中，意图识别可用于：路由用户请求到对应的业务模块（如客服机器人中的技能分发）触发特定的工具调用或工作流 提升RAG系统的检索相关性（根据意图调整检索策略）可观测（Observability）可观测性是指对 LLM 应用内部运行状态...
工具兼容性说明 管理与运维 功能集 功能 功能描述 参考文档 连接AnalyticDB for MySQL集群 MySQL命令行、业务系统、客户端、BI工具 AnalyticDB for MySQL支持通过MySQL命令行、业务系统、客户端、BI工具链接集群。MySQL命令行连接集群 业务...
支持执行的操作限制：在数据开发（DataStudio）创建的数据质量监控规则，仅支持在数据开发运行，并执行修改、发布等管理操作。该规则也可在数据质量模块中查看，但不能触发调度运行，不允许执行相关管理操作。若修改数据质量监控节点中配置...
背景信息 MaxCompute镜像管理 功能支持您创建自定义镜像，您可在SQL UDF、PyODPS及MaxFrame开发等场景中直接引用已有镜像，无需执行繁琐的资源打包、上传等流程。在DataWorks，您可以基于个人开发环境，在构建DataWorks镜像的同时，同步...
2024-12-19 所有地域 使用新版数据开发（Data Studio）的用户 ADB Spark节点 Hologres动态表使用 DataWorks数据目录融合了Hologres动态表引擎的功能，提供了一套可视化工具用于动态表管理、调度依赖以及任务维护等操作。2024-12-13 所有...
背景信息 开源大数据开发平台 E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还...
您可以在 数据开发 界面左侧工具栏中进入 批量操作 界面。支持针对节点、资源、函数进行批量操作，批量修改完成后，您可以批量提交，并在任务发布界面批量发布，让节点变更操作生产环境生效。如何在数据开发页面批量修改业务流程下节点使用...
DataWorks官方镜像为数据开发中的不同节点提供常用的运行环境，以满足不同任务的执行环境需求，您可在数据开发中直接使用官方镜像，也可以基于官方镜像创建自定义镜像后使用，本文将介绍官方镜像。镜像介绍 进行数据开发时，若未给节点配置...
资源管理 DataWorks仅支持查看与管理通过DataWorks可视化方式上传的资源，若通过其他工具（例如，MaxCompute Studio）添加至MaxCompute的资源，需通过DataWorks的 MaxCompute资源 功能手动加载至DataWorks，加载后才可在DataWorks查看并...
在节点（Shell节点、Python节点、Notebook节点）中使用数据集，以便在数据开发过程中读写NAS或OSS存储中的数据。也可以在创建个人开发环境时，将数据集作为个人开发环境实例的存储。重要 建议优先阅读 管理数据集，了解如何创建数据集。...
DataWorks的DRDS节点可进行DRDS任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用DRDS节点进行任务开发的主要流程。背景信息 DRDS是一种分布式数据库服务。它允许您将关系数据库水平扩展到分布式系统，支持海量数据存储...
Data Studio支持管理MaxCompute项目资源，包括从本地或OSS文件创建资源，并且可以将这些创建的资源注册为函数，以便在数据开发节点中使用。本文将详细介绍如何通过资源管理创建MaxCompute不同类型的资源和函数的具体操作事项。前提条件 已 ...
背景信息 达梦（DM）是集成在业务系统中的OLTP类型数据库，它融合了分布式、弹性计算与云计算的优势，具有灵活、易用、可靠、高安全等特点。更多介绍请参见 达梦（DM）官网。前提条件 已创建业务流程。数据开发（DataStudio）基于业务流程...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作详情请参见 创建业务流程。已创建CDH集群，并注册至DataWorks。创建CDH相关节点并开发CDH任务前，您需要先将CDH集群注册至...
环境限制 源工作空间跨工作空间发布到目标工作空间时，环境限制如下：源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据...
在弹窗中系统将 自动填充 目标镜像相关信息，其他参数如下。引用类型：默认选中DataWorks官方镜像。镜像命名空间：默认选中DataWorks Default。镜像仓库：默认选中DataWorks Default。参数 说明 镜像名称/ID 默认选中目标官方镜像，可按需...
MaxCompute MapReduce：MaxCompute的原生接口，执行速度快、开发快捷、不暴露文件系统。MaxCompute扩展MapReduce（MR2）：对MaxCompute MapReduce的扩展，支持更复杂的作业调度逻辑。MapReduce的实现方式与MaxCompute原生接口一致。在...
环境限制 源工作空间跨云发布到目标工作空间时，环境限制如下：源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据开发 不...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在MaxCompute Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
为了 防止加载外部页面滥用 App 信息，建议在打开 URL 时以及使用 JSAPI 时对 URL 进行校验，确保是 App 业务内的 URL 才能进行加载打开或限制 URL 的 JSAPI 调用范围和权限，以防因为未鉴权造成问题。具体鉴权方法请参考以下文档：设置 JS...
OpenAPI集成 智能媒体管理 提供项目管理、元数据管理等的OpenAPI，常用于图片处理、智能信息识别以及数据处理等领域，您可以在业务系统中进行集成。关于如何使用阿里云OpenAPI，请参见 使用阿里云OpenAPI。API版本 版本号 说明 2020-09-30 ...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
项目目录、个人目录 或 手动任务 下的Notebook均默认使用个人开发环境的内核运行，当发布Notebook至生产环境时，系统将默认使用您在调度配置中选择的镜像环境执行。因此，发布Notebook前，请确保调度配置中选择的镜像，已包含运行Notebook...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组：在数据开发功能中找到待测试三方包的 任务节点，...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
SDK+服务端卡片管理系统 介绍视频 基础介绍 您可以参照下面表格中提供的时间戳，快速定位到具体内容。内容 时间戳 蚂蚁动态卡片的定义和特点 00:00:53~00:01:23 应用框架 00:01:24~00:03:01 系统架构 00:03:02~00:05:23 核心模块 00:05:24~...
背景 在使用系统运维管理（Operation Orchestration Service，简称OOS）的过程中，如果您需要通过命令行界面（CLI）工具或是开发者语言软件开发工具包（SDK）来执行自动化操作，您可以参考执行调用的API文档。操作步骤 登录 系统运维管理...
本文为您介绍适用于连接和操作Hologres的常见开发工具及其使用场景，您可以选择熟悉的开发工具连接Hologres进行数据开发。工具介绍 说明 Hologres兼容PostgreSQL协议，提供JDBC/ODBC Driver：您可以从 JDBC官网 下载JDBC，使用JDBC连接时，...
推荐系统开发平台PAI-Rec（PAI意为Platform of AI，Rec意为Recommendation）提供了推荐系统全链路的深度定制能力，适用于企业开发者自主搭建、开发、迭代和运维一套推荐系统。概述 PAI-Rec 是阿里云提供的推荐系统开发平台，旨在为企业...
在 开发组管理 页面可以为小程序开发组执行增删改操作，并为创建的开发组添加成员。创建小程序开发组 在小程序开放平台左侧导航栏单击 开发组管理。在 开发组管理 页面，单击 创建小程序开发组。在 新建小程序开发组 侧拉框中输入小程序...
作为首席风险官（CRO），我希望IT系统满足针对信息系统安全保护的要求，包括：恰当地使用密码技术和密钥管理设施对重要数据进行加密保护，并可对密钥进行完全的访问控制和安全审计。对数据库账号口令、服务器账号口令、SSH Key等凭据信息...
您可通过 数据管理DMS 逻辑数仓的一键JDBC功能，在应用程序中安全地访问逻辑数仓。您可使用标准的MySQL、HTTPS协议直接连接一键JDBC生成的代理地址，安全地访问逻辑数仓。本文介绍一键JDBC的应用场景、开启或关闭一键JDBC的操作步骤。应用...
证书安装成功后，您可在USBKey控件管理工具中，单击 证书 一栏，查看已创建的容器和证书信息。四、前端业务系统集成SDK 说明 请始终保持USBKey设备已插入，且USBKey容器中包含已签发的证书，否则以下SDK示例将无法检测到相应的证书。下载...
KEIL、IAR开发工具无法使用make，需要将SDK中的功能代码抽取出来加入工程进行编译。代码抽取以及编译过程如下：准备一台 Linux 的开发主机，安装 Ubuntu16.04 64bits；或者准备一台 Windows 的开发主机。运行 make menuconfig 命令（Ubuntu...