开发小助手提供的功能可分为四大类:LOG 日志类、TOOL 工具类、UI 界面类和 OTHER 其他类。LOG 日志类 日志类包含 闪退、沙盒浏览 和 日志 三个功能。闪退 闪退功能支持快速查看闪退日志。沙盒浏览 沙盒浏览功能支持查看 App 的所有文件。...
Shell类型节点支持使用OSS命令行工具ossutil。本文将详细介绍如何在Shell和EMR Shell节点中使用ossutil命令行工具。前提条件 EMR Shell节点使用前提条件,详情请参见 EMR Shell节点使用前提条件。通用Shell节点使用前提条件,详情请参见 ...
本方案面向希望提升开发效率的DataWorks用户,通过SSH安全连接,将本地Visual Studio Code编辑器与云端个人开发环境打通,让开发者在享受本地工具体验的同时,无缝利用云端计算与数据能力,实现编码、调试效率的提升。流程概览 环境准备:...
扩展工具箱 mPaaS 小程序的扩展配置,均在 IDE 扩展工具箱中实现。点击界面左侧的工具箱图标()即可打开 IDE 扩展工具。设置 白名单设置 点击工具箱中的 设置 白名单设置,输入白名单并确认即可。此白名单对应的是登录 App 客户端的 ...
Python开发 Python单元格默认采用个人开发环境实例内核运行Python单元格中的代码。若需要访问指定计算资源服务,您也可以通过 使用内置Magic Command建立计算资源连接。SQL开发 使用SQL单元格开发时,需确保SQL语法与选择的SQL单元格类型,...
DataWorks支持创建的资源类型如下:资源类型 描述 支持的新建方式 Python 存放编写的Python代码,用于注册Python UDF函数。后缀为.py。可视化直接创建 JAR 编译好的Java JAR包,用于运行Java程序。后缀为.jar。本地资源 OSS资源 Archive 仅...
无影AgentBay是AI 时代的Agent云基础设施,面向企业、开发者、AI厂商,提供可一键配置的AI Agent任务执行工具和执行环境。您可以通过无影API或AgentBay MCP Server快速集成,并调用相关工具获取Serverless服务。
Notebook引用Python资源 Notebook在进行开发时,可通过#resource_reference{"自定义名.py"} 的方式引用MaxCompute资源,以下为引用Python资源的简单示例:说明 Notebook引用Python资源仅在生产环境下生效,在开发环境下无法正常获取资源,...
移动开发平台(mPaaS)是源于支付宝的移动开发平台,为移动开发、测试、运营及运维提供云到端的一站式解决方案,能有效降低技术门槛、减少研发成本、提升开发效率,协助企业快速搭建稳定高质量的移动应用。
魔笔是阿里云为云上开发者量身打造的 AI+低代码驱动的应用开发平台,集成了通义千问大模型,让开发更智能、应用更智能。
大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...
数据处理加工:在 数据开发 的WebIDE或Notebook中编写代码(如SQL、Python),通过工作流编排将独立的任务节点组织成有向无环图(DAG)。配置调度策略后,提交发布至 运维中心,由运维中心负责周期性调度、监控任务运行状态、处理告警,并...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...
本文介绍如何将扫一扫组件接入到 HarmonyOS NEXT 客户端。您可以基于已有工程使用 ohpmrc 方式接入扫一扫 SDK 到客户端。前置条件 添加扫一扫 ...更多详情请见开发指南 接入 mPaaS 能力。添加 SDK 通过 使用 mppm 工具 接入扫一扫组件 SDK。
接入移动开发平台 mPaaS 有 原生 AAR 方式 和 组件化方式(Portal&Bundle)两种接入方式。本文将向您介绍这两种接入方式,并给出关于选择接入方式的建议。原生 AAR 方式 原生 AAR 接入方式 是指采用原生 Android AAR 打包方案,更贴近 ...
DataWorks支持可视化创建EMR(E-MapReduce)JAR、EMR(E-MapReduce)FILE资源,用于上传提交自定义函数或开源MR示例源码作为资源,便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源,并上传提交资源,为资源的使用做好前期...
调试工作流 若需要在数据开发调试触发式工作流,可以单击工作流画布上方工具栏的 运行图标,在弹窗中填写 触发器消息体,来模拟事件产生。发布触发式工作流 工作流调试完成后,单击工具栏中的 发布按钮唤起发布看板,单击 开始发布生产,...
环境限制 源工作空间跨工作空间发布到目标工作空间时,环境限制如下:源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。使用限制 仅支持使用Serverless资源组运行该类型任务。DataLake或自定义集群若要在DataWorks管理...
尊敬的DataWorks用户:为给您提供一致的开发体验,DataWorks HoloStudio 产品能力将整合至 DataWorks 数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据...
本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发,如需使用,请确保您的工作空间已开通新版数据开发。开通方式如下:创建工作空间 时,选择 使用新版数据开发...
一、功能概述 什么是DataWorks Copilot DataWorks Copilot,作为一站式智能数据开发治理平台 DataWorks 的智能助手,借助AI推理和自然语言处理能力,在代码开发场景下,帮助开发者根据自然语言快速完成多种代码相关操作,包括 SQL/Python ...
旧版数据开发使用镜像 进入数据开发:登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组:在数据开发功能中找到待测试三方包的 任务节点,...
DataWorks的强制代码评审是工作空间维度开启,开启后,开发人员提交的节点代码必须通过评审人员的审核才可发布。同时,您可指定代码评审的基线范围(即对哪类基线任务进行评审),把控高优先级任务的代码质量,防止任务运行失败阻塞其他...
当您需要为新的数据项目启动开发工作时,面临着如何隔离代码、资源和团队成员,以避免项目混乱和安全风险的挑战。DataWorks 工作空间正是为此设计的解决方案。它通过提供一个独立的、项目制的容器,让您能够结构化地管理开发任务、计算资源...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
Data Studio支持可视化创建并管理Flink Jar资源,创建的资源可用于创建自定义函数或在数据开发。本文将介绍如何通过资源管理来创建Flink不同类型的资源和函数。前提条件 已 绑定全托管Flink计算资源,创建资源与函数均基于Flink计算资源...
步骤一:为个人开发环境实例配置RAM角色 场景一:为个人开发环境实例授权DataWorks默认角色 使用Notebook,Python开发时时,可免除AccessKey ID和AccessKey Secret来访问部分云产品。DataWorks默认角色仅拥有访问MaxCompute、Hologres、EMR...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Impala。说明 鼠标悬停至顶部 新增 按钮,根据界面...
在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务流程对不同...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询,DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。本文为您介绍使用EMR ...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。使用限制 仅支持使用 Serverless资源组(推荐)或独享调度资源组运行该类型任务。EMR Impala仅...
Data Studio支持可视化创建并管理CDH Jar和File资源,创建的资源可用于创建自定义函数或在数据开发。本文将介绍如何通过资源管理来创建CDH不同类型的资源和函数。前提条件 已 注册CDH集群至DataWorks,创建资源与函数均基于Flink计算资源...
您可以创建EMR(E-MapReduce)HIVE节点,通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库,完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群,并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
更多信息请参见开发指南 接入 mPaaS 能力。完成 mppm 插件安装。详情请参考 安装 mppm 工具。配置 SDK 开发者需在 App 的 module.json5 文件中添加如下声明,来判断是否安装微信。重要 若不配置则会返回异常状态码 17700056,表示未配置 ...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,因此,创建节点前需先新建业务流程,操作详情请参见 创建业务流程。注意事项 PAI DLC节点每次运行完成,均会在人工智能平台PAI的分布式训练(DLC)平台生成一个新的DLC...
Data Studio支持可视化创建并管理EMR Jar和File资源,创建的资源可用于创建自定义函数或在数据开发。本文将为您介绍如何创建并使用资源与函数。前提条件 已 注册EMR集群至DataWorks,创建资源与函数均基于EMR计算资源进行相关操作。已完成...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已注册...