步骤二:开发EMR Spark Streaming任务 在EMR Spark Streaming节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。创建并引用EMR JAR资源 如果您使用的是DataLake(新版数据湖)集群,则可通过如下步骤引用EMR JAR资源。...
步骤二:上线扩展程序 扩展程序开发、部署并在DataWorks上注册完成后,您还需通过测试、审批、上线流程,之后扩展程序责任人之外的其他管理者可在管理中心中启用该扩展程序,操作详情请参见:应用扩展程序。附录:DataWorks发送给...
二、开发EMR Shell任务 在EMR Shell节点编辑页面双击已创建的节点,您可以根据不同场景需求选择适合您的操作方案:(推荐)先从本地上传资源至DataStudio,再引用资源,详情请参见 方案一:先上传资源后引用EMR JAR资源。使用OSS REF方式...
二、开发EMR Spark SQL任务 在EMR Spark SQL节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。开发SQL代码 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧导航栏的 调度...
步骤二:开发扩展程序代码 在函数计算上开发扩展程序,需要使用接口 PojoRequestHandler,来实现方法 handleRequest 接收 ExtensionRequest 类的请求和 Context 上下文并定义扩展程序接收处理逻辑,最后通过 ExtensionResponse 类返回扩展...
二、开发Spark任务 在EMR Spark节点编辑页面双击已创建的节点,进入任务开发页面,您可以根据不同场景需求选择适合您的操作方案:(推荐)先从本地上传资源至DataStudio,再引用资源。详情请参见 方案一:先上传资源后引用EMR JAR资源。...
为解决软件开发商和云分销商在...分销商在软件服务A的基础上进行二次编辑,获得属于自己的软件服务B,并发布计算巢和云市场。用户选择软件服务B并创建实例,完成分销服务的使用。合作案例参考 长虹佳华章宇:为计算巢入驻ISV提供软件分销能力
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中获取网站用户群体...
添加域名分组 进入 移动开发平台 mPaaS 控制台,选择目标应用,完成以下步骤添加域名分组。在左侧导航栏点击 后台服务 移动调度,进入 移动调度 页面。在 域名分组 标签页点击 创建分组 按钮,进入 创建分组 页签。在 创建分组 页签,输入...
场景二:规范数据开发流程 数据仓库不仅是企业的核心数据资产,也是业务决策神经中枢。因此,对于生产环境的机密性、稳定性需通过DevOps的方式来保障。DataWorks提供了多个预设角色,并配合标准模式工作空间,支持团队内分权管理、各司其职...
2.选择个人开发环境 在数据分析页面上方手动选择Notebook运行依赖的个人开发环境实例,作为Notebook运行的环境。3.(可选)切换Python内核 单击Notebook节点右上角的 按钮,确认当前Python单元格运行的Python内核版本,切换其他Python内核...
本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...
二、新建MaxCompute项目 DataWorks标准工作空间下,需绑定开发和生产两个MaxCompute项目,作为DataWorks开发环境下的计算资源以及生产环境下的计算资源。进入 MaxCompute工作台,单击左侧菜单进入 管理配置 项目管理 页面。单击 新建项目 ...
二、新建MaxCompute项目 DataWorks标准工作空间下,需绑定开发和生产两个MaxCompute项目,作为DataWorks开发环境下的计算资源以及生产环境下的计算资源。进入 MaxCompute工作台,单击左侧菜单进入 管理配置 项目管理 页面。单击 新建项目,...
如参数无法序列化 updateAccessTokenError 更新 AccessToken 错误 二、iOS SDK Demo 工程使用说明 1、通过 Copilot 应用模板创建应用,发布应用到开发或生产环境 2、下载 Demo 仓库到本地,工程文件夹为:mobi-copilot-ios-demo,项目结构...
自定义 API 管理页面展示了 可以直接使用的 API、申请通过后可使用的 API 以及 API 审核列表。...单击 批量审核,二次确认后成功提交 API 审核。说明 提审后的 API 需要在 小程序开发平台 运营管理后台 的 自定义 API 申请审核 中审核。
自定义 API 管理页面展示了 可以直接使用的 API、申请通过后可使用的 API 以及 API 审核列表。...单击 批量审核,二次确认后成功提交 API 审核。说明 提审后的 API 需要在 小程序开发平台 运营管理后台 的 自定义 API 申请审核 中审核。
二、升级范围 模块 变更内容 数据开发(DataStudio)仅限用户界面(UI)和交互体验(UX)的产品升级。重要 运维中心、发布中心等其他产品模块和本升级无关,不在升级范围内。三、升级影响 对现有业务的影响 项目 影响说明 已发布的生产任务 零...
多引擎开发:DataWorks Notebook拥有SQL Cell功能,支持多种大数据引擎的SQL开发与分析。交互式分析:交互式SQL查询:通过Python编写Widgets组件,通过在组件中直观选择或设置参数的取值,后续可以进一步在SQL中引用相同参数及取值,从而...
通过开发配置,可以添加和删除开发小程序的白...删除单个白名单 在 白名单管理 页面,单击白名单列表操作列的 删除,二次确认后删除白名单成功。批量删除白名单 在 白名单管理 页面,勾选需要删除的白名单。单击 批量删除,删除白名单成功。
DataWorks资源组概述 二、开发环境准备 您需先将Hologres实例创建为DataWorks工作空间的数据源并绑定至数据开发(DataStudio),才可进行相关开发工作。同时,支持以工作空间为单位管理空间成员以便进行协同开发。类别 描述 相关文档 数据...
步骤二:开发AnalyticDB for MySQL任务(可选)选择AnalyticDB for MySQL计算资源 如果您的工作空间创建了多个AnalyticDB for MySQL计算资源,则需先在AnalyticDB for MySQL节点编辑页面选择合适的计算资源。如果仅创建了一个AnalyticDB ...
步骤二:开发Presto任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH集群实例 如果您的工作空间注册了多个CDH集群,您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群,则无需选择。开发SQL...
步骤二:开发Hive任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH集群实例 如果您的工作空间注册了多个CDH集群,您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群,则无需选择。开发SQL代码...
步骤二:开发Impala任务 您可以双击已创建的节点,进入任务开发页面,进行以下任务开发操作。(可选)选择CDH集群实例 如果您的工作空间注册了多个CDH集群,您可以在页面顶部选择合适的集群。如果仅绑定一个CDH集群,则无需选择。开发SQL...
步骤二:开发ClickHouse SQL任务(可选)选择ClickHouse计算资源 如果您的工作空间创建了多个ClickHouse计算资源,则需先在ClickHouse SQL节点编辑页面选择合适的计算资源。如果仅创建了一个ClickHouse计算资源,则默认使用该计算资源进行...
步骤二:开发AnalyticDB for PostgreSQL任务(可选)选择AnalyticDB for PostgreSQL计算资源 如果您的工作空间创建了多个AnalyticDB for PostgreSQL计算资源,则需先在AnalyticDB for PostgreSQL节点编辑页面选择合适的计算资源。...
步骤二:开发EMR Kyuubi 任务 在EMR Kyuubi节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。开发SQL代码 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧导航栏的 调度...
步骤二:开发入口文件index 组件本身的代码开发,主要集中在 src/index.tsx 文件中。该文件主要通过 render():JSX.Element{} 方法实现组件展示配置,即使用 this.props 获取 specs.js 中配置的属性值,然后通过属性值控制组件展示的状态和...
步骤二:开发EMR Presto 任务 在EMR Presto节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。开发SQL代码 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧导航栏的 调度...
步骤二:开发PAI Designer节点任务 简单示例 开发任务:编写Designer工作流 编辑PAI Designer节点任务时,如选择加载已有工作流,则需提前在PAI中创建Designer工作流,通过名称搜索,载入已经创建好的工作流。在PAI Designer节点编辑页面,...
步骤二:开发EMR Impala 任务 在EMR Impala节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。开发SQL代码 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧导航栏的 调度...
步骤二:开发EMR Hive任务 在EMR Hive节点编辑页面双击已创建的节点,进入任务开发页面,执行如下开发操作。开发SQL代码 在SQL编辑区域开发任务代码,您可在代码中使用${变量名} 的方式定义变量,并在节点编辑页面右侧导航栏的 调度配置 ...
步骤二:开发EMR Trino任务 双击已创建的节点,进入任务开发页面,执行如下开发操作。(可选)选择EMR集群实例 若您的工作空间注册了多个EMR集群,则可在节点编辑页面顶部选择合适的集群。若仅注册了一个EMR集群,默认使用该集群进行开发...
您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...
在DataWorks任务开发中,您可以通过创建CDH MR(MapReduce)节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发(DataStudio)中已创建业务流程。数据开发(DataStudio)基于业务流程对不同...
resource_reference{"spark-examples_2.11-2.4.0.jar"} spark-submit-class org.apache.spark.examples.SparkPi-master yarn spark-examples_2.11-2.4.0.jar 100 其中:org.apache.spark.examples.SparkPi:为您实际编译的JAR包中的任务主...
在 小程序开放平台 的 运营管理后台 单击 应用管理 宿主应用,进入到 宿主应用 页面。在这里建立小程序与应用之间的合作关系。只有显示在宿主应用列表中的...删除应用 在 宿主应用 页面,单击应用 操作 列的 删除,二次确认后成功删除应用。
旧版数据开发使用镜像 进入数据开发:登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。配置镜像:在数据开发功能中找到待测试自定义镜像的任务节点,...
Data Studio个人开发环境是账号级云端开发实例,集成OSS/NAS存储、Git代码管理及Python/Notebook生态,支持本地脚本执行、在线调试与任务提交,通过灵活的自定义镜像和外部服务扩展能力,为数据处理、模型训练及协作开发提供高效、可定制的...