您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、任务执行资源组所剩资源等。本文为您介绍如何使用运行诊断功能快速定位任务未运行成功...
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
并发任务运行说明 独享调度资源组规格与机器数直接影响到可同时执行的任务数，若您已经购买了独享调度资源组，但任务运行超过资源组支持的最大并发，同样会出现任务排队，等待资源的情况。请合理规划任务定时时间，错开任务运行时间，选择...
联系技术支持：如您遇到无法解决的问题，可根据界面指引加入DataWorks用户交流群，联系技术支持解决。后续操作 第三方包安装完成后，使用当前独享调度资源组运行调度任务时便可引用该包。使用示例参考如下：在PyODPS节点中调用第三方包 ...
日志服务提供时序预测功能，用于对时序数据进行自动化、智能化的预测。您可以根据预测结果判断时序数据未来的走势，提前感知系统或者业务关键指标的状态。本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 ...
针对蓝图编辑器常见的问题，本文通过理论介绍及实操演示提出问题的解决方法。视频链接 DataV小课堂直播视频：蓝图编辑器常见案例教学直播视频使用教程。案例概览 请求数据接口时动态传递参数 本案例是在请求数据接口时传递动态参数，实现...
定位与解决问题的应急能力 通过故障突袭，随机对系统注入故障，考察相关人员对问题的应急能力，以及问题上报、处理流程是否合理，达到以战养战，锻炼定位与解决问题的能力。故障演练与AHAS服务体系 故障演练作为AHAS的一部分，与AHAS其他...
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足EMR基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 服务。...
解决方案：业务方面的问题可以按照以下方案排查，其他问题 请加入钉群（钉群号：23103656）联系SchedulerX技术支持人员。专业版应用：可以通过控制台的 查看堆栈 功能（1.4.2及以上客户端版本可用），来排查任务异常的堆栈。基础版应用：...
解决方案：业务方面的问题可以按照以下方案排查，其他问题 请加入钉群（钉群号：23103656）联系SchedulerX技术支持人员。专业版应用：可以通过控制台的 查看堆栈 功能（1.4.2及以上客户端版本可用），来排查任务异常的堆栈。基础版应用：...
一旦Pod执行失败，您可直接在SchedulerX控制台查看到详细的失败原因并分析，实现高效便捷的问题定位与调试。监控大盘 通过SchedulerX来调度您的Pod和Job，无需另行开通Prometheus服务，即可查看内置的任务监控功能。离在线混布 对于诸如...
可选，用于第一次本地dns缓存被污染情况下的备选IP->${IP}"/>调用移动调度中心接口 MPMDC 类提供了所有移动调度中心相关 API，调用移动调度中心接口的操作步骤如下：mPaaS 框架初始化完成后，在 Application.onCreate 中调用 init 方法初始...
如果运行失败，可在 运行日志 页签下，根据报错信息，解决问题后，重新运行。在运行SQL的过程中，单击此图标，可停止正在运行的SQL语句。单击此图标，验证编写的SQL语句是否满足基本规范。单击此图标，将编写的SQL语句格式化。例如：格式化...
解决线下到线上的配置同步问题和不同环境之间的任务配置同步问题。导出任务 在 SOFAStack 控制台，选择 中间件>任务调度>任务配置。在任务列表选中目标任务，然后单击 导出。导出的 JSON 文件存放在浏览器设置的默认下载文件夹中。导入任务...
专业版 日志服务 开启后，增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志，方便排查问题。说明 普通应用的基础版不支持该参数配置。关闭 实例繁忙配置 load5 不能超过客户端机器CPU可用核数。0 ...
您可以使用智能诊断功能对任务进行全链路分析，当任务运行不符合预期时，您可以使用该功能快速定位问题。功能概述 智能诊断功能可以基于以下维度对任务进行诊断分析：全链路分析：检查上游任务运行情况：上游任务运行失败时，将阻塞当前...
本文为您介绍小文件优化以及作业诊断时的常见问题。问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的...
本文为您介绍任务未运行的相关问题。任务运行条件 任务到定时时间，为什么还没运行？使用限制 仅DataWorks生产环境运维中心支持自动调度，请确认任务是否已发布生产运维中心，任务发布，详情请参见：发布任务。任务运行条件 运维中心通过...
概述 本篇将描述如何初始化开通和使用PAIRec产品及相关资源和服务，包括购买并开通PAI、DataWorks、MaxCompute、OSS，并在PAIRec中对上述资源进行绑定，以及对算法、工程同学进行权限授权操作。PAI-REC初始化流程主要分为以下几个步骤：...
归并节点应用 DataWorks MaxCompute 数据开发 归并节点是DataStudio 数据开发 提供的逻辑控制节点，可对上游节点的运行状态进行归并，用于解决分支节点下游节点的依赖挂载和运行触发问题。本案例以上游任务运行失败不阻塞下游任务执行为例...
阶梯防护表示通过自定义规则，联动使用DDoS高防与DDoS原生防护，解决网站业务接入高防防护后，正常业务访问延时增加的问题。阶梯防护可实现由DDoS原生防护防御日常攻击（不增加延时），仅在发生大流量攻击时切换到DDoS高防进行防护。本文...
背景信息 Hologres与Flink、MaxCompute、DataWorks深度兼容，能够提供实时离线一体化联合解决方案。在该方案下有着非常丰富的应用场景，例如实时大屏、实时风控、精细化运营等。不同的应用场景对处理的数据量、数据复杂度、数据来源、数据...
云产品联动表示通过自定义规则，联动使用DDoS高防与阿里云公网IP资源，解决网站业务接入高防防护后，正常业务访问延时增加的问题。前提条件 业务使用阿里云公网IP资源，具体包括拥有公网IP的云服务器ECS或负载均衡SLB、弹性公网IP、Web应用...
解决方案：DMS任务编排 DMS的任务编排功能即可解决上述问题，它并不依赖数据库内核的事件调度能力，而是一个外部独立的任务编排与调度系统。任务编排功能的特点如下：支持多种数据库引擎（MySQL、Oracle、PostgreSQL、SQL Server等）和多种...
本文介绍如何将任务调度应用优雅下线。背景信息 在实际业务场景下，定时任务持续地按固定频率在应用进程中执行。当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为...
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
数据开发帮助用户优化智能系统的架构，提高系统的工程化水平，让用户能够集中精力处理计算逻辑问题，提高开发效率。数据开发除了在系统层面上集中管理计算节点，降低计算节点和系统其他组件的耦合之外，也对计算节点内部的实现提供了一组...
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
您可以选择添加串行步骤或导入串行步骤，操作步骤如下：添加串行步骤：单击 添加串行步骤，在右侧弹出的节点列表中选择原子操作，并根据界面提示配置原子操作信息。导入串行步骤：单击 导入串行步骤，在右侧弹出的预案列表中，从已有预案中...
解决线下到线上的配置同步问题和不同环境之间的任务配置同步问题。导出任务 在拓扑任务列表，单击目标任务右侧的 导出。导出的 JSON 文件存放在浏览器设置的默认下载文件夹中。导入任务 单击拓扑任务列表右上角的 导入，然后单击 浏览。...
视频直播 在视频直播中应用CDN，可实现媒资存储、切片转码、访问鉴权、内容分发加速一体化解决方案。视频点播 在视频点播中应用CDN，可减少缓冲时间，实现高流畅度的播放体验。云解析DNS 借助阿里云云解析DNS提供的强大且稳定的解析调度...
DataWorks支持通过OSS对象检查节点检查OSS指定路径的文件是否存在，当下游任务需依赖该OSS文件时，您可使用此功能先检查文件是否存在。例如，同步OSS数据至DataWorks，需先检测出已经产生OSS数据文件，才可执行OSS同步任务。本文为您介绍...
Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。数据集成支持从Hive同步数据到其他目标端，也支持从其他目标端同步数据到Hive。添加数据源 新建MaxCompute数据源 ...
您可以根据根因定位的结果，判断是时序数据的哪些维度（单个维度和若干维度的组合）异常导致的问题，缩小问题排查范围。本文介绍下探分析的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务运行过程中会产生各种各样的时序...
DataWorks周期任务调度新增了年周期调度和月末最后一天调度，可实现按年、季度、指定月最后一天的周期调度。目前DataWorks调度周期支持包括 分钟、小时、日、周、月 和 年。2021.05.19 全部地域。时间属性配置说明 DataWorks支持ClickHouse...