本文介绍了如何基于LHM调度迁移工具实现DataWorks调度任务流的批量治理。LHM调度迁移工具提供了对DataWorks中任务流、节点属性的批量修改能力。该能力依托工具提供的DataWorks平迁能力实现：先将任务由DataWorks导出、修改属性后导入统一...
开发小助手：DevHelper 提供了常用的辅助开发工具和 mPaaS 专用辅助工具，该工具集通过 mPaaS 插件提供给开发者。在将开发小助手接入开发工程后，您就可以使用开发小助手进行调试、帮助开发。公有云答疑小助手：公有云答疑小助手是 mPaaS ...
中后台应用（用好云服务）帮助开发者快速搭建自定义控制台、跨服务运维工具、中后台支撑应用，解决前端资源不足，帮助客户用好阿里云服务。定制化 SaaS 应用（解决应用定制问题）企业信息管理类应用，流程定制化、扩展利旧，灵活按需开发，...
背景信息 工作流（Workflow）是一种数据处理流程自动化管理工具，它通过可视化拖拽方式整合多种类型的子任务节点，便捷地建立任务依赖关系，加速数据处理流程的搭建，有效提升任务开发效率。周期工作流支持设置的调度依赖关系 周期工作流...
智能搭建（Mobile Pages Building Service，简称 MBS）是一款互联网应用页面的快速搭建工具，无需研发投入开发，零代码快速搭建页面。MBS 实现了可视化、标准化、组件化的搭建方式，提供丰富的基础组件和多个预置业务组件，同时支持使用...
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
Notebook：智能化交互式数据开发和分析工具，支持面向多种数据引擎开展SQL或Python分析，即时运行或调试代码，获取可视化数据结果。启用新版数据开发（Data Studio）参考如下方式启用新版数据开发（Data Studio）：创建工作空间时，选择 ...
Notebook：智能化交互式数据开发和分析工具，支持面向多种数据引擎开展SQL或Python分析，即时运行或调试代码，获取可视化数据结果。启用新版数据开发（Data Studio）参考如下方式启用新版数据开发（Data Studio）：创建工作空间时，选择 ...
mPaaS 插件是一个具有图形化界面的插件工具，该工具提供了编译打包、管理组件依赖、热修复、加密图片等功能，用于帮助开发者能够快速接入 mPaaS 并辅助进行开发工作。安装 mPaaS 成功后我们会在 Android Studio 的顶部菜单栏看到 mPaaS ...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在MaxCompute Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
本文介绍了在政务行业中使用了移动开发平台服务的客户案例。海南码上办事 mPaaS x 海南码上办事：助力海南自贸港建设。项目背景 随着《海南自由贸易港建设总体方案》的发布，高质量、高标准建设海南自贸港成为了重大国家战略。为此，海南省...
本方案面向希望提升开发效率的DataWorks用户，通过SSH安全连接，将本地Visual Studio Code编辑器与云端个人开发环境打通，让开发者在享受本地工具体验的同时，无缝利用云端计算与数据能力，实现编码、调试效率的提升。流程概览 环境准备：...
当您在个人开发环境实例内访问其他云资源时，必须配置访问密钥来验证身份信息。通过为个人开发环境实例关联RAM角色，您可以在实例内基于STS临时凭证访问其他云资源，无需再配置长期AccessKey，降低密钥泄露的风险。本文为您介绍如何基于...
介绍什么是魔笔低代码应用开发平台。什么是魔笔 魔笔是为阿里云 专业开发者 量身打造的 AI 原生化 的 低代码应用开发平台，集成了 通义千问大模型，让开发更智能、应用更智能。魔笔提供一站式的应用全生命周期管理，包括可视化开发、发布、...
背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics，详情请参见 什么是Data Lake Analytics。说明 Data Lake Analytics节点支持Serverless资源组（推荐）或旧版独享调度资源组执行任务。如需购买使用Serverless资源...
本文介绍了魔笔低代码开发平台中集成流功能所包含的核心概念。什么是集成流 集成流（Workflow）是指一系列按特定顺序执行的步骤或任务，用于实现特定业务目标或完成某个具体流程。集成流可以包括手动步骤、自动化步骤或者两者的组合，常...
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
什么是逻辑开发 逻辑开发是指开发者通过可视化配置或编写代码，描述应用的交互流程和行为逻辑，使其能够根据用户输入（例如：点击页面上某个按钮）或其他一些系统事件（例如：调用某个后端接口并成功返回了数据），完成相应的处理与响应...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库，具有...
常见问题 为什么在EMR集群中启用了Kerberos后，在EMR Spark节点开发中使用YARN-Cluster模式执行spark-submit时会报错DlfMetaStoreClientFactory not found？在数据开发中执行EMR Spark SQL节点任务时，若需将任务提交至SQL Compute执行，请...
多引擎开发：DataWorks Notebook拥有SQL Cell功能，支持多种大数据引擎的SQL开发与分析。交互式分析：交互式SQL查询：通过Python编写Widgets组件，通过在组件中直观选择或设置参数的取值，后续可以进一步在SQL中引用相同参数及取值，从而...
开发UDF函数 为了能用SQL比较IP地址，我们需要一个UDF函数，将点分十进制的IP字符串地址（如 '1.0.2xx.4x'）转换成一个 可比较大小 的十进制整数。新建MaxCompute Python资源。在数据开发页面，右键单击目标 业务流程，选择 新建资源 ...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组：在数据开发功能中找到待测试三方包的 任务节点，...
接入移动开发平台 mPaaS 有 原生 AAR 方式 和 组件化方式（Portal&Bundle）两种接入方式。本文将向您介绍这两种接入方式，并给出关于选择接入方式的建议。原生 AAR 方式 原生 AAR 接入方式 是指采用原生 Android AAR 打包方案，更贴近 ...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
魔笔平台的错误检查功能旨在帮助开发者快速识别和修复开发过程中出现的各种错误，提升开发效率和代码质量。本文档将指导您如何使用错误检查相关功能。功能特点 魔笔平台的错误检查功能包含以下特点：自动实时检查：错误检查功能会随着您的...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前，您需要先在EMR中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
一个MR调用多个JAR资源时，classpath写法为-classpath./xxxx1.jar,./xxxx2.jar，即两个路径之间用英文逗号（,）分隔。执行 MR 任务 在 调试配置 的 计算资源 中，选择配置 计算资源、计算配额 和 DataWorks资源组。说明 访问公共网络或VPC...
开发一个小程序通常包括以下步骤：下载 IDE 创建小程序 下载配置文件 登录小程序 IDE 选择关联小程序 编辑代码 上传小程序 发布小程序 下载 IDE 下载小程序开发者工具（IDE）：Windows（64-bit）macOS（x64，适用大多数机型）macOS（arm64...
本文为您介绍如何通过函数计算方式开发部署扩展程序。背景信息 函数计算 是事件驱动的全托管计算服务，您可以将扩展程序部署在函数计算执行环境中，DataWorks 会将扩展点事件消息推送至 ExtensionRequest 类。在您的扩展程序代码中，通过...
问题描述 魔笔开发需要掌握什么编程语言？具备哪些编程的能力？代码平台和开发语言关系大吗？问题原因 低代码平台和开发语言关系不大的。解决方案 组件化需要掌握 js语言，其他的语言是不相关。
离线集成页面概述 离线集成页面主要由离线管道任务目录、工具栏、开发画布、配置及管理、控制台组成。您可以在离线集成页面对离线管道任务进行创建、管理以及配置操作。区块 说明 ① 离线集成目录 创建的离线管道任务将在任务目录中进行...
离线集成页面概述 离线集成页面主要由离线管道任务目录、工具栏、开发画布、配置及管理、控制台组成。您可以在离线集成页面对离线管道任务进行创建、管理以及配置操作。区块 说明 ① 离线集成目录 创建的离线管道任务将在任务目录中进行...
工具是指由第三方合作伙伴围绕阿里云产品及云计算产业开发设计的可以提升云产品操作便捷性或提高开发效率的各类工具，目前已上线的第三方工具为可视化管理、安全及监控、测试三大类工具。
本文介绍为 mPaaS 开发提供的基础工具集，包括热修复和无线保镖图片相关命令。具体命令如下：mpaas inst hotpatch sign mpaas inst hotpatch package mpaas inst sgimage mpaas inst hotpatch sign mpaas inst hotpatch sign[OPTIONS]获取...
任务执行环境 实时场景 数据开发执行任务（开发环境执行任务）场景一：select col1 from tablename 用个人账号访问开发环境下该表。即用个人账号访问：projectname_dev.tablename。场景二：select col1 from projectname.tablename 用个人...
注意，DataWorks数据开发有新旧两个版本，不同版本迁移方案不同。本文是DataWorks旧版数据开发→DataWorks新版数据开发操作指南。DataWorks新旧版本说明：数据开发（DataStudio）（旧版），数据开发（Data Studio）（新版）。（DataWorks旧...