在进行数据发布前，可通过检查项对数据开发功能相关的约束进行检查，当检查出不符合约束规范的内容时，系统会生成影响开发流程正常执行的问题事件，您可基于该事件处理暴露的问题，以保障数据开发流程可以正常执行。本文为您介绍如何查看并...
Data Studio个人开发环境是账号级云端开发实例，集成OSS/NAS存储、Git代码管理及Python/Notebook生态，支持本地脚本执行、在线调试与任务提交，通过灵活的自定义镜像和外部服务扩展能力，为数据处理、模型训练及协作开发提供高效、可定制的...
DataWorks官方镜像为数据开发中的不同节点提供常用的运行环境，以满足不同任务的执行环境需求，您可在数据开发中直接使用官方镜像，也可以基于官方镜像创建自定义镜像后使用，本文将介绍官方镜像。镜像介绍 进行数据开发时，若未给节点配置...
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
本文为您介绍如何在DataWorks绑定自建 Hadoop 集群并进行任务开发，以及如何自定义自建集群运行环境。背景信息 您可通过注册CDH集群时配置自建Hadoop集群服务地址的方式，在DataWorks访问您自建的Hadoop集群，并通过DataWorks默认CDH镜像...
DataWorks的CDH Spark SQL节点可进行CDH Spark SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍如何配置及使用CDH Spark SQL节点。前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据...
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中配置并使用CDH MR节点。前提条件 已创建阿里云CDH集群，并绑定至DataWorks工作空间。操作详情请参见 新版数据开发：...
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍如何配置使用EMR Kyuubi节点并进行数据开发。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 新版数据...
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询，DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
Data Studio新版数据开发支持将个人开发环境制作成镜像，以供数据开发与其他个人开发环境使用。本文将介绍如何在个人开发环境制作个人开发实例镜像。背景介绍 在个人开发环境开发测试时，若您想要使用不同的三方依赖，您不仅可以在个人开发...
本方案面向希望提升开发效率的DataWorks用户，通过SSH安全连接，将本地Visual Studio Code编辑器与云端个人开发环境打通，让开发者在享受本地工具体验的同时，无缝利用云端计算与数据能力，实现编码、调试效率的提升。流程概览 环境准备：...
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。创建CDH JAR资源 您可将任务JAR...
EMR Impala仅支持在 旧版数据湖集群（Hadoop）的计算资源类型上运行，且DataWorks已 不支持 新绑定Hadoop类型的集群，但已经绑定的Hadoop集群仍然可以继续使用。操作步骤 在EMR Impala节点编辑页面，执行如下开发操作。开发SQL代码 在SQL...
客户介绍 启迪公交，是中国领先的智慧公交系统方案提供商和服务运营商。旗下产品「北京公交 App」串联起了北京公共交通系统中的公交、地铁两大场景，为乘客打造了候车查车、扫码乘车、通勤娱乐等一站式交通服务。业务挑战 中国规模最大、...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
SubmitFile 提交文件至调度系统开发环境 提交文件至调度系统的开发环境，生成对应的任务。DeployFile 部署文件 发布文件至生产环境。文件夹 文件夹 CreateFolder 创建文件夹 调用CreateFolder创建文件夹。DeleteFolder 删除数据开发页面的...
DataWorks的ADB Spark SQL节点可进行AnalyticDB Spark SQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用ADB Spark SQL节点进行任务开发的主要流程。背景信息 AnalyticDB for MySQL Serverless Spark 是AnalyticDB ...
DataWorks支持在创建个人开发环境的自定义镜像时，同步生成MaxCompute的自定义镜像，方便您在DataWorks节点（如PyODPS 3节点、Notebook节点）中使用MaxCompute自定义镜像。本文将为您介绍在DataWorks构建并使用MaxCompute自定义镜像。背景...
开发组件前，需先创建组件来定义组件名称、类型和功能特性描述，便于组件发布后引导开发者使用。本文介绍如何在组件开发工作台创建组件。新增组件 在 应用开发 页面的 开发工具 模块，单击 组件开发。在 组件开发个人组件 页签，单击 新建...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在左侧导航栏，单击 数据开发，找到目标业务流程，右键选择 批量操作。节点类型 选择为 离线同步 和...
您可以启用 Copilot智能编程助手，以获得智能代码补全建议，提升开发效率。对于大多数节点类型，您都可以使用${变量名} 的方式定义变量，以便在下一步骤调试任务代码时可以代入不同的赋值快速调试。在执行调度任务时，您可通过${workflow....
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。在 DataStudio（数据开发）页面的 数据开发 页签下，右键单击目标 业务流程，选择 新建节点 ...
如：执行数据开发或离线同步任务时，系统自动根据任务当前所在环境，访问对应的数据库，避免生产库的数据被节点调试等操作污染。说明 数据集成 模块中仅标准模式工作空间下的单表离线同步任务支持数据源开发、生产隔离，其他类型 同步任务 ...
核心功能详解 环境管理 您可以在 自定义开发 页面对 DevPod 实例进行完整的生命周期管理：创建：根据需求配置并创建新的开发环境。启动/停止：在不使用实例时可将其停止，以节省计算资源费用。停止后，计算资源会被释放，但/mnt 目录下的...
在工作空间层，支持为每个独立的项目精细配置其专属的计算资源、数据源和开发成员。核心概念与系统架构 在开始具体操作前，必须首先理解 DataWorks 的核心架构和实体关系。核心概念：工作空间 工作空间 是 DataWorks 中进行项目管理、权限...
前提条件 开始进行节点开发前，若您需要定制组件环境，此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像，并在 数据开发中使用镜像。例如：在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已创建...
智能代码生成：DataWorks Notebook内置智能编程助手，支持通过DataWorks Copilot辅助生成SQL代码和Python代码，提升开发效率。挂载数据集：DataWorks Notebook在 调度配置 调度策略 中，支持为Notebook 添加数据集，实现在节点运行过程中...
可选值taobao,douyin,kuaishou,pdd,qiwei,jd,app,wechat,others SellerId String 是 12341 商家id SellerNick String 是 智能助理测试账号 商家nick SignDate Long 是 1611130298820 签约时间 ExpireDate Long 否 1642666457782 签约到期...
客户价值 高效 前端开发规范得到统一，不仅有利于代码的沉淀和管理，平台能力也得以不断丰富，几天时间内即可完成新应用的开发。流畅 App 性能大幅度提升，小程序即开即用。轻松地将 App 新版本、H5 离线包、小程序包以及开关配置进行下发...
物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具，解决了物联网开发领域开发链路长、技术栈复杂、协同成本高、方案移植困难等问题。
移动开发平台（mPaaS）是源于支付宝的移动开发平台，为移动开发、测试、运营及运维提供云到端的一站式解决方案，能有效降低技术门槛、减少研发成本、提升开发效率，协助企业快速搭建稳定高质量的移动应用。
云原生应用开发平台（Cloud Application Platform，CAP）是阿里云提供的一站式应用开发及应用生命周期管理平台。云应用开发平台 CAP 内置丰富的 Serverless&AI 应用模板、开源的开发者工具链及企业级应用管理功能，无论您是个人开发者还是...
自动驾驶云开发平台，是阿里云面向自动驾驶企业在云端供应的开发工具体系，让自动驾驶企业更高效、高性价比的利用阿里云。
魔笔是阿里云为云上开发者量身打造的 AI+低代码驱动的应用开发平台，集成了通义千问大模型，让开发更智能、应用更智能。
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
SDK调用 参考 阿里云Java SDK开发指南 快速开始，了解如何使用阿里云Java SDK核心包 在pom.xml中引入如下dependency获得新零售智能助理Java SDK 公测期最新版本号随时可能更新，线下技术同学对接时提供 dependency groupId ...
在 开发组管理 页面可以为小程序开发组执行增删改操作，并为创建的开发组添加成员。创建小程序开发组 在小程序开放平台左侧导航栏单击 开发组管理。在 开发组管理 页面，单击 创建小程序开发组。在 新建小程序开发组 侧拉框中输入小程序...
不同模式工作空间对生产任务开发与运维的影响 对比 简单模式 标准模式（推荐）生产任务开发流程管控差异 任务提交后，您无需发布，即可进入调度系统周期性执行，产出结果数据。（提交-生产）任务需要先提交至开发环境，再执行发布操作，将...
2021-02-07 什么是解决方案 组件开发服务 功能名称 功能描述 发布时间 相关文档 组件开发 重要通知：组件开发功能暂停新用户申请开通白名单权限。2021-02-04 组件开发 2021年01月 移动可视化开发 功能名称 功能描述 发布时间 相关文档 图表...