Spark Conf自定义参数列表 引擎侧 版本号 说明 esr-2.7.0(Spark 3.3.1,Scala 2.12)esr-3.3.0(Spark 3.4.4,Scala 2.12)esr-4.3.0(Spark 3.5.2,Scala 2.12)Fusion加速 Sort算子优化。Window算子优化。Spill优化。Shuffle Partition优化。支持...
若您当前使用的是简单模式工作空间，但希望将开发与生产环境隔离，可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前，您需先了解以下内容：了解简单模式与标准模式工作空间的...
Data Studio是阿里巴巴基于15年大数据经验打造的智能湖仓一体数据开发平台，兼容阿里云多项计算服务，提供智能化ETL、数据目录管理及跨引擎工作流编排的产品能力。通过个人开发环境实例支持Python开发、Notebook分析与Git集成，Data Studio...
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
DataWorks为您提供多种MaxCompute节点，便于您根据需要开发不同类型的MaxCompute任务，并为您提供丰富的节点调度配置，帮助您灵活设置MaxCompute任务的调度，本文为您介绍创建并管理MaxCompute节点的通用操作指导。适用范围 进行MaxCompute...
Data Studio新版数据开发支持个人开发环境与Git仓库集成，便于代码版本管理和团队协作。本文将介绍如何在个人开发环境中对远程Git仓库代码进行拉取、新增、修改并上传提交等操作。背景信息 Data Studio支持个人开发环境与远程Git仓库集成，...
移动开发平台（Mobile PaaS，简称 mPaaS）是源于支付宝 App 的移动开发平台，为移动开发、测试、运营及运维提供云到端的一站式解决方案，能有效降低技术门槛、减少研发成本、提升开发效率，协助企业快速搭建稳定高质量的移动 App。...
adb-spark:v3.3-python3.9-scala2.12 adb-spark:v3.5-python3.9-scala2.12 adb-spark:v3.5-python3.9-scala2.12 AnalyticDB For MySQL Instance Select an AnalyticDB for MySQL cluster from the drop-down list.amv-uf6i4bi88*AnalyticDB...
本文介绍如何为 云原生应用开发平台 CAP 进行快速授权。权限介绍 云原生应用开发平台 CAP 需要使用两个默认角色：AliyunDevsCustomRole：云原生应用开发平台 CAP 在部署项目时，会访问项目指定的云资源。云原生应用开发平台 CAP 使用该角色...
如果您曾经使用过旧版数据开发（DataStudio），阅读本文档能够帮助您快速了解新旧版数据开发间功能变化，适应新版环境，衔接后续开发工作。全新用户无需阅读，可直接开始使用新版数据开发。重要 以下仅列举旧版升级新版后位置变化或功能...
个人组件开发验证完成后，为方便开发者使用个人组件开发可视化Web应用，需要完成个人组件的发布。本文介绍如何发布个人组件。背景信息 个人组件开发完成后：支持开发者在Web可视化编辑页面的个人开发组件列表预览未发布组件。支持开发者...
如需在DataWorks使用相关实例（例如MaxCompute、Hologres等）进行数据开发，需先将其绑定为DataWorks的计算资源。本文介绍如何创建与管理计算资源，为后续任务开发、调度运行提供基础能力。计算资源和数据源关系 DataWorks 支持多种计算...
您在完成需求评审、模型与调度设计后，即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段...
Web可视化开发工作台是物联网应用开发（IoT Studio）中的工具。无需写代码，只需在编辑器中，拖拽组件到画布上，再配置组件的显示样式、数据源及交互动作，以可视化的方式进行Web应用开发。适用于开发状态监控面板、设备管理后台、设备数据...
无影 AgentBay Codespace是专为开发者打造的云端代码开发空间与执行环境，使 AI 智能体能够执行代码、处理数据并完成开发任务，实现云端开发流程的自动化。该功能基于无影 AgentBay 多模态云端运行环境，使开发者能够轻松构建具备代码执行...
完成组件创建和相关信息编辑后，进行组件属性、服务和事件的开发。本文介绍如何开发组件。前提条件 已完成组件的创建。详细内容请参见 创建组件。开发个人组件 在 组件开发 页面，根据组件开发流程图，进行单个组件开发和使用。准备环境 ...
Data Studio新版数据开发支持将个人开发环境制作成镜像，以供数据开发与其他个人开发环境使用。本文将介绍如何在个人开发环境制作个人开发实例镜像。背景介绍 在个人开发环境开发测试时，若您想要使用不同的三方依赖，您不仅可以在个人开发...
Dataset API有Scala和Java两种版本。Python和R不支持Dataset API，但是由于Python和R的动态特性，Dataset API的许多优点已经可用。DataFrame是组织成命名列的Dataset。他在概念上相当于关系数据库中的一个表，或R和Python中的一个DataFrame...
云原生应用开发平台 CAP（Cloud Application Platform）是阿里云提供的一站式应用开发及应用生命周期管理平台。云原生应用开发平台 CAP 内置丰富的 Serverless+AI 应用模板、先进的开发者工具、企业级的应用管理功能，无论您是个人开发者...
本文为您介绍新版数据开发的基本开发流程。前提条件 已创建DataWorks工作空间并开通新版数据开发。本指南适用于新版数据开发，如需使用，请确保您的工作空间已开通新版数据开发。开通方式如下：创建工作空间 时，选择 使用新版数据开发...
进行开发调试，需要完成以下步骤。安装依赖 开发调试 构建生产 单击 代码示例 获取 Kylin Demo，并完成以下操作。安装依赖 进入项目根目录，使用 cnpm 安装 npm 依赖。安装 npm 依赖 cnpm install 开发调试 安装完环境后，可以通过以下命令...
数据开发模式全面升级，包括工作空间 解决方案 业务流程三级结构，抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级，按照业务种类组织相关的不同类型的节点，让您能够更好地以业务为单元、连接多个业务流程进行开发...
This topic describes how to import data from...see Create a ClickHouse cluster.Background information For more information about Flink,visit the Apache Flink official website.Sample code Sample code:Stream processing package ...
在 宿主应用 页面可以查询应用、新增应用、一键同步 mPaaS 后台应用查看应用基本信息、对应用进行开发配置、查看应用开发配置详情、删除应用。查询应用 在 宿主应用 页面的输入框中输入应用名称，单击（），将符合搜索条件的应用展示在应用...
组件介绍 mPaaS 小程序，源自于支付宝小程序框架，继承了支付宝小程序框架的易开发性、跨平台性以及 Native 性能，不仅帮助开发者实现面向自有 App 投放小程序，还可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。基于 mPaaS 小程序，...
DataWorks提供了全链路的数据开发治理能力，为您提供了统一的数据开发治理流程，支持您基于自己的业务需求，在关键的流程节点上进行流程管控。本文为您介绍DataWorks在数据开发过程中支持的流程管控能力。背景信息 DataWorks的工作空间分为...
go to the Maven official website.Git In this example,Git 2.39.1.windows.1 is used.For more information about how to download Git,go to the Git official website.Scala In this example,Scala 2.13.10 is used.For more ...
完成代码开发后，您需要调试运行。本文为您介绍如何在开发环境进行冒烟测试。冒烟测试介绍 节点发布前，强烈建议您使用 冒烟测试 来验证其配置和运行逻辑的正确性。它主要用于校验：节点调度参数是否能被正确替换。节点上下游依赖关系是否...
properties project.build.sourceEncoding UTF-8/project.build.sourceEncoding project.build.sourceEncoding UTF-8/project.build.sourceEncoding geomesa.version 2.1.0/geomesa.version scala.abi.version 2.11/scala.abi.version gt....
想在阿里云物联网应用开发(IoT Studio)中创建个人组件？本文提供从环境准备到发布的全流程指南，助您高效完成本地开发、打包与上传等关键步骤。
产品名词解释 名词 描述 IoT Studio 物联网应用开发（IoT Studio）是阿里云物联网平台的一部分，提供了Web可视化开发、移动可视化开发、业务逻辑开发与物联网数据分析等一系列便捷的物联网开发工具。Web可视化开发 IoT Studio提供的开发...
本文针对不同的前端组件开发框架，提供相应的组件开发脚手架供您参考使用，并提供组件开发指导。您可以基于我们提供的脚手架进行开发，也可以使用您自己的组件开发框架完成组件开发。组件的开发形式多样，开发者可以自由定制插件、扩展等，...
DataWorks的 业务流程 开发结构满足根据业务视角来组织数据开发任务的需求，也提供了 周期业务流程 和 手动业务流程 两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，...
流程步骤说明：开发人员编写组件，参见 业务组件开发。在智能搭建控制台的 组件管理 模块中，创建组件，将已编写的组件录入到组件库中。控制台展示已录入的组件，可通过组件列表中的查看 schema 菜单，分析组件 schema。开发人员编写表单...
虚拟设备通过模拟真实设备产生业务数据，可以帮助您快速体验IoT Studio的开发功能。本案例通过虚拟设备完成物联网应用的开发调试。背景信息 物联网平台设备的正常开发流程为：设备端开发完成 设备上报数据 云端接收数据 云端开始开发工作。...
支持以下三种代码方式：Spark Scala%spark 表示执行Spark Scala代码。spark val df=spark.read.options(Map("inferSchema"-"true","delimiter"-;header"-"true")).csv("file:/usr/lib/spark-current/examples/src/main/resources/people...
Livy,and Spark Thrift Server Item Kyuubi Livy Spark Thrift Server Supported interfaces SQL and Scala SQL,Scala,Python,and R SQL Supported engines Spark,Flink,and Trino Spark Spark Spark version Spark 3.x Spark 2.x and ...
节点代码定义：MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
下文介绍如何在组件开发工作台编辑组件的图标、基本信息和操作文档。前提条件 已完成组件开发后的打包构建。详细内容请参见 上传组件压缩包和截图。步骤一：编辑组件图标 组件图标会显示在Web可视化开发的组件列表中，便于您使用的时候快速...