若您当前使用的是简单模式工作空间,但希望将开发与生产环境隔离,可将简单模式工作空间升级为标准模式工作空间。本文为您介绍如何升级工作空间模式。操作须知 升级工作空间模式前,您需先了解以下内容:了解简单模式与标准模式工作空间的...
应用开发过程中,经常会有更换应用环境信息或多套环境并行研发的需求。mPaaS 提供工具可帮助您在开发过程中方便地进行环境切换。根据切换环境的需求不同,分为以下两种方式:静态切换环境 动态切换环境 静态切换环境 静态切换环境指客户端...
URL 列表支持从失败率、平均下载速度、总请求用时、首包用时、传输用时五个维度展示 Top 100 的资源请求 URL 及其网络指标监控数据,包括总请求用时、请求数、独立 IP 数、DNS 用时、TCP 用时、SSL 用时、发送用时、平均下载速度等。...
DataWorks的ClickHouse SQL节点可进行ClickHouse SQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用ClickHouse SQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发(DataStudio)基于业务流程执行...
前提条件 开始进行节点开发前,若您需要定制组件环境,此时即可基于官方镜像 dataworks_emr_base_task_pod 创建 自定义镜像,并在 数据开发中使用镜像。例如:在创建自定义镜像时替换Spark Jar包或是依赖特定的 库、文件 或 jar包。已注册...
准备工作:开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前,您需要先在EMR中开发Spark任务代码并完成任务代码的编译,生成编译后的任务JAR包,EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
开发环境数据源仅用于节点的开发与调试,而生产环境数据源则专用于已发布节点的周期性调度,两者严格分离,可有效防止测试操作影响生产数据。功能介绍 数据源使用 DataWorks的数据源在工作空间的 管理中心 数据源 中进行统一管理和维护。...
说明 该方式使用DataWorks提供的默认Python环境,可直接依赖的三方包有限,若默认环境无法满足PySpark作业第三方依赖包的需求,可参考下文《开发语言:Python(使用自定义Python环境实现)》方式,自行准备Python环境执行任务。当然,您也...
已预内置了该属性,例如:label checkbox aria-labelledby="content"value="{{checked}}"/text id="content"复选框内容/text/label 若使用自定义组件开发的 checkbox、switch 等组件,需要使用 aria-checked 属性,才能使读屏软件获取组件...
说明 该方式使用DataWorks提供的默认Python环境,可直接依赖的第三方包有限,若默认环境无法满足PySpark作业第三方依赖包的需求,可参考下文《开发语言:Python(使用自定义Python环境实现)》方式,自行准备Python环境执行任务。...
若您要使用DataWorks进行OpenSearch任务的开发、管理,需先将您的OpenSearch实例绑定为DataWorks的OpenSearch计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据同步和开发操作。前提条件 已 购买OpenSearch向量检索版实例。...
本文为您介绍如何在DataWorks绑定自建 Hadoop 集群并进行任务开发,以及如何自定义自建集群运行环境。背景信息 您可通过注册CDH集群时配置自建Hadoop集群服务地址的方式,在DataWorks访问您自建的Hadoop集群,并通过DataWorks默认CDH镜像...
后续操作 数据源创建完成后,您可根据需要执行如下操作:计算任务开发与调度:DataWorks的数据开发与运维中心模块,为您提供SSH任务的开发与调度能力,您可通过在SSH节点指定具体的SSH数据源的方式远程连接该数据源配置的主机,将 SSH节点 ...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
本文介绍如何使用 FunModel 的 DevPod 功能,快速启动一个预置了 DeepSeek-OCR 模型、相关依赖和示例代码的云端 GPU 开发环境。您可以在此环境中进行模型的功能验证、二次开发或性能测试。准备工作 在开始之前,请确保您已拥有一个可用的...
DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...
适用范围 计算资源限制:仅支持 EMR Serverless StarRocks计算资源,需确保资源组和计算资源网络连通。资源组限制:仅支持使用 Serverless资源组 运行该类型任务。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并...
为确保网络互通,请在 ECS管理控制台 添加安全组规则,开放ECS的 10000 端口,设置授权对象为资源组VPC的交换机网段。详情请参见 添加安全组规则。一、新建数据源 根据本案例模拟的场景,您需要新建以下三个数据源,并将其注册到DataWorks...
采集个人信息字段 是否采集 个人信息采集目的 使用的业务功能 配置方式 网络信息(接入网络的方式、类型和状态)是 基于网络信息用于优化网络连接请求,提供持续稳定服务。移动分析、离线包、消息推送、数据同步、应用升级 基础功能,必要...
小程序需要请求服务器获取数据时,需要通过开发配置对相应的域名进行配置,否则小程序将无法访问对应域名。添加域名 在 小程序开放平台 的 开发者后台 左侧菜单栏单击 开发配置 域名管理 添加域名。在 增加域名 弹窗中添加域名。重要 配置...
通过DataWorks的Serverless Kyuubi节点,可基于 EMR Serverless Spark计算资源 进行Kyuubi任务的开发和周期性调度,以及与其他作业的集成操作。适用范围 计算资源限制:仅支持 绑定EMR Serverless Spark计算资源,需确保资源组和计算资源...
若您要使用DataWorks进行EMR Serverless StarRocks任务的开发、管理,需先将您的EMR Serverless StarRocks实例绑定为DataWorks的Serverless StarRocks计算资源。绑定完成后,可在DataWorks中使用该计算资源进行数据开发操作。前提条件 已 ...
登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...
适用范围 计算资源限制:仅支持 绑定EMR Serverless Spark计算资源,需确保资源组和计算资源网络连通。资源组限制:仅支持使用 Serverless资源组 运行该类型任务。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并...
新增和使用Serverless资源组 二、开发环境准备 您需先在DataWorks工作空间注册 CDP或CDH 集群,才可在数据开发(DataStudio)进行数据开发工作,并以工作空间为单位管理空间成员,以便进行协同开发。类别 描述 相关文档 数据同步环境准备 ...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
适用范围 计算资源限制:仅支持 绑定EMR Serverless Spark计算资源,需确保资源组和计算资源网络连通。资源组限制:仅支持使用 Serverless资源组 运行该类型任务。(可选,RAM账号需要)进行任务开发的RAM账号已被添加至对应工作空间中,并...
数据开发(DataStudio)基于业务流程对不同开发引擎进行具体开发操作,所以您创建节点前需要先新建业务流程,操作详情请参见 创建业务流程。已创建CDH集群,并注册至DataWorks。创建CDH相关节点并开发CDH任务前,您需要先将CDH集群注册至...
工作空间规划实践 工作空间规划可按照公司部门、公司业务或数仓层次进行规划,或综合三种维度进行混合规划:细分 按部门划分 按业务划分 按数仓层次划分 划分依据 工作空间的划分可以与公司的组织架构相一致。例如:生产部、营销部、人力...
A:请在您的本地开发环境中,将DataWorks的save分支(dataworks_${region}_${projectName}_save)拉取到本地,与您的开发分支进行合并(git merge或git rebase),解决冲突后,再将您的开发分支推送到远程,最后回到DataWorks页面重新发起合并...
在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务流程对不同...
新增和使用Serverless资源组 使用旧版资源组 二、开发环境准备 您需先在DataWorks工作空间注册EMR集群,才可在数据开发(DataStudio)进行数据开发工作,并以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 数据同步环境...
DataWorks提供了与CDH(Cloudera’s Distribution Including Apache Hadoop,以下简称CDH)和CDP(Cloudera Data Platform,以下简称CDP)集群对接的能力,您可在DataWorks中注册CDH及CDP集群,进行任务开发、调度、数据地图(元数据管理)...
节点代码定义:MaxCompute语法 创建并使用MaxCompute表 开发ODPS SQL任务 引用SQL组件 开发ODPS Spark任务 开发PyODPS 2任务 开发PyODPS 3任务 开发ODPS Script任务 开发ODPS MR任务 创建并使用MaxCompute资源 创建并使用自定义函数 您可...
魔笔为用户提供了一套标准的集成发布流程以及可供开发测试、正式部署的隔离环境,为魔笔应用部署提供了开箱即用的上云体验。环境 环境代表魔笔应用实际运行的物理环境,涵盖 ECS、VPC 等软件运行的基础设施,是魔笔应用运行时所需基础设施...
实现动态更新 在推出新版本或紧急发布时,可以在小程序 IDE 中进行迭代开发,通过 mPaaS 控制台发布,客户端中集成的小程序 SDK 会自动将小程序更新到最新的版本。这种发布无需通过应用商店审核,可以让用户及早接收到更新。前提条件 您已...
本案例指导您完成购房群体分析,帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据,分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
开通购买DataWorks软件版本后,在使用DataWorks的各项服务时,不同产品服务的功能模块会根据使用量和占用的资源量进行计费。例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API...
DataWorks的MySQL节点可进行MySQL任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用MySQL节点进行任务开发的主要流程。前提条件 已创建业务流程。数据开发(DataStudio)基于业务流程执行不同引擎的具体开发操作,因此...