连接配置 连接MaxCompute计算资源的资源组,此处展示已创建并绑定至当前工作空间的Serverless资源组,您需要在此处分别测试开发环境和生产环境的连通性。单击 确认,完成MaxCompute计算资源配置。更多绑定计算资源的操作指导,请参见:绑定...
2020 年 10 月《网络安全标准实践指南—移动互联网应用程序(App)使用软件开发工具包(SDK)安全指引》全国信息安全标准化技术委员会 2020 年 11 月《中华人民共和国数据安全法》全国人民代表大会常务委员会 2021 年 9 月《关于开展信息...
在 选择数据源 选择框内单击 弹出选择数据源弹窗,在弹窗内选择进行任务开发需要使用的数据源。如果没有所需数据源,可单击 新增数据源 添加相应的数据源。说明 标准模式工作空间下,仅展示已配置开发环境与生产环境的数据源。数据库节点 ...
阿里云智联车管理云平台具有以下优势:基于智联车管理云平台的车辆研发 传统车辆研发 一站式服务 开通IoV CC服务,只需要端侧集成IoV CC SDK,就可在云端实现对智联车车辆设备的状态查看、追踪、远程诊断、升级、预警等一系列的云端管理...
本方案面向希望提升开发效率的DataWorks用户,通过SSH安全连接,将本地Visual Studio Code编辑器与云端个人开发环境打通,让开发者在享受本地工具体验的同时,无缝利用云端计算与数据能力,实现编码、调试效率的提升。流程概览 环境准备:...
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包?如何在节点内使用资源?如何下载上传到DataWorks的资源?超过30M的资源如何上传?通过odpscmd上传的资源如何在DataWorks上使用?在DataWorks如何上传自己本地编写的jar并...
计费概览 一、软件费用 重要 购买软件版本仅代表获得了使用资格,任务运行时所消耗的资源需要单独计费。软件费用是使用DataWorks特定版本功能的固定费用,通常以 包年包月 形式支付。它为您解锁了不同级别的平台能力。计费对象 对象说明 ...
本篇为您介绍阿里云自动驾驶云开发平台整体架构。...开放平台供应数据、仿真、车云协同采集等在云端自动驾驶研发体系需要的原子能力:工具链产品提供自动驾驶云上数据处理、云仿真、车云协同采集等端到端、开箱即用的软件产品:
进行开发调试,需要完成以下步骤。安装依赖 开发调试 构建生产 单击 代码示例 获取 Kylin Demo,并完成以下操作。安装依赖 进入项目根目录,使用 cnpm 安装 npm 依赖。安装 npm 依赖 cnpm install 开发调试 安装完环境后,可以通过以下命令...
私有化部署问题 Q:是否支持私有化部署 A:支持 Q:私有化部署的方式 A:目前产物是独立于开发平台的,只是产物运行需要一个运行时底座 Q:生成的产物,是工程文件还是可读的源码 A:魔笔底座运行的 DSL 文件 Q:设计时平台能否独立私有化...
权限介绍 云原生应用开发平台 CAP 需要使用两个默认角色:AliyunDevsCustomRole:云原生应用开发平台 CAP 在部署项目时,会访问项目指定的云资源。云原生应用开发平台 CAP 使用该角色来访问项目指定的云资源。AliyunDevsDefaultRole:云...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已创建...
参数赋值逻辑详情请参见 运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。单击工具栏的 图标,保存编写的SQL语句,单击 图标,运行创建的SQL任务。(可选)冒烟测试。如您希望在开发环境进行冒烟测试,查看调度...
说明 如果在 创建工作空间 时选择了隔离生产、开发环境,则此处需要分别为生产和开发环境选择Spark工作空间。如何创建Spark工作空间,请参见 创建Spark工作空间。默认引擎版本 在Data Studio中新建EMR Spark任务时,将会默认使用此处配置的...
若您要使用DataWorks进行MaxCompute任务的开发、管理,需先将您的MaxCompute项目绑定为DataWorks的MaxCompute计算资源。绑定完成后,可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目,进行相应的数据同步、数据开发、数据分析...
DataWorks是一站式智能大数据开发治理平台,适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
DataWorks的OceanBase节点可进行OceanBase任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用OceanBase节点进行任务开发的主要流程。背景信息 OceanBase是由蚂蚁集团、阿里巴巴完全自主研发的分布式关系型数据库,具有...
可适配用户任何的车上系统输出的数据格式 不绑定算法供应商,用户可自行上传预标注、数据预处理、格式转换等算法在平台上运行 不绑定工具链内各模块,用户可以根据自身需要决定使用其中几个部分 云原生 支持在云上大规模调度仿真软件如VTD...
本文提到的ETL工作流均需要未开启 使用新版数据开发(Data Studio)的工作空间,即在创建工作空间时,不勾选 使用新版数据开发(Data Studio)。导入ETL工作流模板 您可以将DataWorks ETL工作流模板直接导入至目标工作空间进行体验,具体...
参数赋值逻辑详情请参见 运行,高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。单击工具栏的 图标,保存编写的SQL语句,单击 图标,运行创建的SQL任务。(可选)冒烟测试。如您希望在开发环境进行冒烟测试,查看调度...
DataWorks 计费体系为适应不同业务场景而设计得非常灵活,因此包含软件版本、资源组、其他服务及底层引擎等多个组成部分。本文旨在帮您做出明智的购买决策,根据自身业务阶段选择最优配置以实现成本效益最大化,并提供针对个人开发者、成长...
什么是提交 提交是魔笔创建版本的主要操作,用户可以通过提交完成魔笔应用开发过程中的版本管理。魔笔的提交提供创建、查询和回滚三个主要操作。在一次提交中,魔笔会记录提交的摘要信息、提交人的账号信息、提交创建时间,同时会生成唯一...
DataWorks支持StarRocks数据源,通过数据源对接EMR Serverless StarRocks,可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
扩展程序参数配置 DataWorks支持在扩展程序开发过程中使用参数来提高扩展程序开发和应用效率,在扩展程序代码开发时,将需要应用的参数添加至此处即可。您可直接使用DataWorks提供的典型应用场景的内置参数,也可自定义参数。支持添加多个...
使用 云原生应用开发平台 CAP 需要了解平台的核心组件和功能,本文介绍相关组件和功能的名词解释。概念名称 说明 模板 预置的应用定义,用于快速部署应用程序,便于开发者体验或二次开发。项目 项目就像一个应用程序栈或一组相关的组件,您...
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中获取网站用户群体...
DevPod 是函数计算 FC 提供的云端开发环境。它集成了 VS Code、Jupyter Notebook 与终端等常用开发工具,支持通过预置或自定义的容器镜像快速创建开发环境。用户可以在 DevPod 中完成 AI 模型的开发、训练、调试,并将其部署为在线服务。...
准备工作:开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前,您需要先在EMR中开发Spark任务代码并完成任务代码的编译,生成编译后的任务JAR包,EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
DataWorks提供了 周期工作流,以满足需要周期性调度运行的业务场景,本文介绍如何使用周期工作流。背景信息 工作流(Workflow)是一种数据处理流程自动化管理工具,它通过可视化拖拽方式整合多种类型的子任务节点,便捷地建立任务依赖关系...
背景信息 Data Lake Analytics节点用于接入阿里云产品Data Lake Analytics,详情请参见 什么是Data Lake Analytics。说明 Data Lake Analytics节点支持Serverless资源组(推荐)或旧版独享调度资源组执行任务。如需购买使用Serverless资源...
本案例指导您完成购房群体分析,帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据,分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
但在数据开发界面的修改仅在开发环境生效,若要在生产环境生效,需要进行发布操作。详情请参见:发布任务(旧版数据开发)、节点/工作流发布(新版数据开发)。说明 冻结解冻周期任务和周期实例的影响请参见:任务冻结与解冻。任务优先级...
步骤二:填写连接信息 在标准模式下,您需要分别为开发环境和生产环境配置连接信息。您可以选择两个环境使用相同或不同的配置。数据源名称:在工作空间内保持唯一,建议使用可清晰识别业务和环境的命名,例如 rds_mysql_order_dev。数据源...
本文将从接入、启动和拓展三方面向您介绍如何使用开发小助手。接入开发小助手 前置条件 已使用组件化 Portal&Bundle 接入方式接入 mPaaS。接入步骤 您只需在 Portal 工程的 build.gradle 文件中加入如下代码,即可完成开发小助手的接入。...
如果运行在Serverless资源组上的任务需要特定的开发环境(例如第三方库依赖),您可以创建一个集成必要开发包与依赖的自定义镜像,然后在运行任务时,指定Serverless资源组作为执行资源,并指定该镜像作为运行环境。更多信息,请参见 自...
代码空间(CodeSpace)提供预置常用开发工具链的云端代码执行与开发环境,用于执行代码编译、运行脚本、API测试、CI/CD等开发相关任务。适用场景 云端开发环境:作为即开即用的远程开发环境,无需配置本地环境。自动化构建与测试:在CI/CD...
原因分析:utdid 是应用软件 ID,每次启动时都会取应用外的 utdid 和应用内的 utdid 进行比对,并使用生成时间比较早的 ID。首次安装时,没有外存储权限,所以无法获得应用外的 utdid,而且应用内又不存在 utdid,于是会生成一个 utdid。当...
开通购买DataWorks软件版本后,在使用DataWorks的各项服务时,不同产品服务的功能模块会根据使用量和占用的资源量进行计费。例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API...
本文介绍物联网应用开发(IoT Studio)功能和文档的动态。2024年01月 Web可视化开发和移动可视化开发 功能名称 功能描述 发布时间 相关文档 组件交互 动作执行模式默认 同时执行,新增 按顺序执行。2024-01-29 交互配置 2023年12月 项目...
重要 如果您使用的是 DataWorks 标准版或更高版本,还需要支付相应的 软件版本费用。DataWorks不会同时产生 任务调度费用 和 独享调度资源组费用。若使用了独享调度资源组,则不再计算任务调度费用。数据集成场景费用 进行 数据集成 与运维...