运维开发软件开发

_相关内容

创建CDH Impala节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Impala。说明 鼠标悬停至顶部 新增 按钮,根据界面...

下线任务

解决方案:确认待下线任务的下游依赖:您可前往开发环境运维中心和生产环境运维中心的周期任务界面,分别确认该任务开发环境和生产环境是否存在下游依赖关系。详情请参见 查看周期任务DAG图。移除待下线任务的下游依赖:进入下游依赖任务的...

智能诊断

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。进入 运维中心 后,您可以通过以下两种方式进入 智能诊断 页面。方法一:通过实例进入智能诊断。...

HTTP触发器节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏单击 周期任务运维 周期实例,进入 周期实例 页面。在列表中找到您所创建的HTTP触发器...

创建手动任务

您可以在DataWorks的数据开发(DataStudio)模块创建手动任务,并在生产环境的运维中心管理手动任务。本文为您介绍如何创建手动任务,并将手动任务发布到生产环境。使用说明 若任务不需要发布生产环境操作生产环境引擎,您可选择 新建临时...

数据对比

3.查看数据校验报告 数据校验报告可在任务运行日志中查看,可通过以下方式进行查看:运维中心查看:单击页面左上角 按钮,选择 全部产品 数据开发运维 运维中心(工作流)进入运维中心。在运维中心左侧导航栏单击进入 周期任务运维 周期...

产品教程

MaxCompute 数据集成 数据开发 运维中心 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开数据集体进行数据查询、分析和可视化 DataWorks汇聚了丰富的官方真实数据(敏感数据已脱敏),每份数据均提供了具体业务场景...

DataWorks On Hologres使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

DataWorks On MaxCompute使用说明

代码示例 开发环境(数据开发开发环境运维中心)执行代码 生产环境(生产环境运维中心)执行代码 访问开发项目中的开发表:select col1 from projectname_dev.tablename;使用任务执行者个人云账号访问开发表。RAM用户(子账号)执行相关...

运维助手

旧版数据开发使用镜像 进入数据开发:登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组:在数据开发功能中找到待测试三方包的 任务节点,...

创建CDH Hive节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Hive。说明 鼠标悬停至顶部 新增 按钮,根据界面提示...

创建CDH Presto节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Presto。说明 鼠标悬停至顶部 新增 按钮,根据界面...

配置调度日历

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。进入调度日历配置页面。在运维中心左侧导航单击 调度设置,默认进入 调度日历管理 页面。新建调度...

旧版资源组升级

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏单击 周期任务运维 周期任务,筛选 调度资源组 为待切换的调度资源组。数据服务 进入...

基线实例

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。单击左侧导航栏中的 任务监控 智能基线。单击 基线实例,进入基线实例页面。功能 说明 过滤项 在上...

切换调度时区

方法二:运维中心页面查看 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心,在运维中心顶部的提示栏会提示当前配置时区。附录:数据集成相关时间处理...

下线节点

解决方案:确认待下线任务的下游依赖:您可前往开发环境运维中心和生产环境运维中心的周期任务界面,分别确认该任务开发环境和生产环境是否存在下游依赖关系。详情请参见 查看周期任务DAG图。移除待下线任务的下游依赖:进入下游依赖任务的...

独享资源组

左上角的 图标,选择 全部产品 数据开发运维 运维中心(工作流),进入 生产运维中心 页面,选择 周期任务。说明 虚拟节点不占用资源,所以无需也不支持修改调度资源组。如何切换数据集成任务执行时使用的数据集成资源组?切换数据集成...

实现开发生产等多套环境隔离

其中:DataWorks用于管理大数据作业的开发运维、调度。2个EMR集群分别用于开发和生产环境。OSS用于存储实际数据。DLF用于存储管理元数据。DLF的环境隔离 在DLF中创建两个 数据目录(catalog),一个用于存储开发环境下的元数据(dev ...

计算巢软件分销模式说明

为解决软件开发商和云分销商在云上部署软件、运维、交易结算等场景存在的困难,计算巢提供了软件分销模式助力软件分销商转型为云服务商。本文介绍计算巢软件分销模式的详细信息。背景信息 软件开发商为实现软件销售的最大化商业利益,除了...

Data Lake Analytics节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 自定义 Data Lake Analytics。您也可以打开相应的业务流程,右键...

在PyODPS节点中调用第三方包

步骤二:创建并配置PyODPS 3节点 单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择目标 工作空间 后单击 进入数据开发。在已有的 业务流程 下创建一个新的 PyODPS 3 节点,例如命名为 pyodps3_pendulum_test。在 pyodps_pendulum...

功能特性

运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。核心技术与架构 高效、规范的开发流程 说明 DataWorks提供标准模式的工作空间,可隔离开发环境与生产环境,标准模式的详细介绍可参见 工作空间模式区别。可视...

创建CDH MR节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH MR。在 新建节点 对话窗中,配置节点的引擎实例、...

DataWorks On CDP/CDH使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...

分支节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 通用 分支节点。您也可以打开相应的业务流程,右键单击 新建节点 ...

智能监控

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏,单击 智能基线,然后切换至 事件管理 页签。在 事件管理 页面关闭报警。您可以通过...

创建CDH Spark节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Spark。在 新建节点 对话窗中,配置节点的引擎实例、...

DataWorks模块使用指引

运维中心:在数据开发将所有任务配置成一个有依赖关系的DAG,设置调度周期为每日执行后,提交发布至运维中心,并设置基线、数据质量规则等进行监控与运维。数据地图:数据分析师或业务人员通过数据地图,搜索并理解报表指标的口径,并查看其...

使用工作空间参数

仅拥有 开发运维、空间管理员 角色的工作空间成员支持查看工作空间参数的引用任务及版本。添加用户至工作空间并授权相关角色权限,详情请参见 添加空间成员并管理成员角色权限。查看参数:您可查看参数详情、适用工作空间、引用的任务等...

Shell类型节点运行Python脚本

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建MaxCompute Python资源。在数据开发页面右键单击目标业务流程,选择 新建资源,在 MaxCompute ...

配置do-while节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建do-while节点。在 数据开发 页面,鼠标悬停至 图标,单击 新建节点 通用 do-while。您也可以...

查看并管理手动实例

进入手动实例页面 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏,单击 手动任务运维 手动实例,进入手动实例页面。管理实例 支持...

配置PolarDB输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

配置for-each节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建周期业务流程。创建for-each节点。鼠标悬停至 图标,单击 新建节点 通用 for-each。您也可以...

do-while节点

如果您想测试验证do-while节点的运行结果,您需要将包含do-while节点的任务发布提交到开发环境运维中心,在开发环境运维中心页面运行do-while节点任务。查看日志 在运维中心查看do-while节点的执行日志时,您需要右键单击实例,选择 查看...

管理触发器

新建触发器 若您已被添加为工作空间的开发运维或管理员角色,可以在 触发器管理 页签新建触发器。单击 新建触发器 按钮,进入 新建触发器 配置页面。说明 DataWorks事件触发依赖于事件总线EventBridge,初次使用或缺少 ...

运行并管理手动任务

进入手动任务页面 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏,单击 手动任务运维 手动任务,进入手动任务页面。管理任务 支持...

HTTP触发器节点实现跨租户触发节点执行

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏单击 周期任务运维 周期实例,进入 周期实例 页面。在列表中找到您所创建的HTTP触发器...

DataWorks On EMR使用说明

任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台,支持实时查看任务的运行状态,并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能,帮助您解决重要任务...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用