子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
串行化隔离级别事务内的查询语句无法并行。隔离级别是Repeatable-read的情况下，事务内的INSERT.SELECT/REPLACE.SELECT查询部分无法并行。与串行执行结果可能不兼容的地方 错误提示次数可能会变化 串行执行中出现错误提示的查询，在并行...
为了解决这个问题，阿里云提供Gang Scheduling功能，保障所有相关联的进程能够同时启动，防止因部分进程的异常而导致整个关联进程组的阻塞的问题。使用Gang scheduling Capacity Scheduling 当集群中有多个用户时，通过Kubernetes原生的...
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
更低时延，更优体验：部署一套服务端，通过URL转发规则实现不同优先级业务的差异化调度，满足个性化路由转发需要。面向未来，可扩展：ALB 可以作为容器的Ingress入口，容器化技术演进可平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...
更低时延，更优体验：部署一套服务端，通过URL转发规则实现不同优先级业务的差异化调度，满足个性化路由转发需要。面向未来，可扩展：ALB 可以作为容器的Ingress入口，容器化技术演进可平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
说明 提交时，您需要选择提交资源所用的调度资源组，当使用独享调度资源组提交资源时，DataWorks平台将下发对应新建资源的任务到引擎侧执行，并打印执行过程的执行日志，如果资源提交过程中出现问题，您可以通过日志先自助排查。...
问题原因 引擎绑定完成后，您需要对当前引擎所使用的网络环境（即所使用的独享调度资源组）进行初始化操作。确保Hologres实例与DataWorks独享调度资源组的网络环境处于连通状态，否则将无法运行任务。说明 部分Hologres实例类型无需执行...
ADP底座提供了集群整体的精细化调度能力，可以在一个配置文件中，以全局的视角，根据不同业务场景（例如中间件、核心业务应用、非核心业务应用等）筛选不同的Workload，然后配置统一的调度策略和资源隔离策略等。Spec定义 Workload 发布...
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
解决方案 配置安全上下文时，将fsGroupChangePolicy配置为OnRootMismatch，实现当NAS中根目录权限及归属与Pod预期匹配时，跳过chmod/chown操作。更多信息，请参见 为Pod或容器配置安全上下文。如何采集日志到阿里云日志服务SLS？您可以在自...
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
消息 Mesh 流量调度：消息流量精细化调度上的思考和在 Mesh 上的实现与落地。消息 Mesh 简介 Service Mesh 作为云原生场景下微服务架构的基础设施（轻量级的网络代理），正受到越来越多的关注。Service Mesh 不仅负责在微服务架构的复杂...
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行...Spark常见问题：您可了解Spark执行过程中的常见问题，便于出现异常时快速排查解决。
环境准备 一、资源准备 类别 描述 相关文档 版本选择 DataWorks基础版服务可满足 CDP或CDH 基本的数据上云、数据开发与调度生产、简单的数据治理工作，若需获取更专业的数据治理、数据安全解决方案，可选择相应的 标准版、专业版、企业版 ...
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行...Spark常见问题：您可了解Spark执行过程中的常见问题，便于出现异常时快速排查解决。
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
但这种在一个伸缩组上配置多个可用区vSwtich的模型特点，会导致以下问题：当多可用区业务Pod出现由于集群资源不足无法调度时，节点自动伸缩服务会触发该伸缩组扩容，但是无法将需要扩容的可用区与实例的关系传递到ESS弹性伸缩组，因此可能...
本文为您介绍实例异常排查的相关问题。运维中心周期任务没有找到该任务 有周期任务，但是周期实例一个都没有 有周期任务，有其他周期实例，但是这个任务没有产生周期实例 有周期任务，有周期实例但未运行 任务运行必须满足的条件有哪些？运...
执行冒烟测试 查看冒烟测试日志 确认生产环境任务的调度参数配置 为避免周期调度任务运行时，由于调度参数不符合预期，导致任务运行出现问题，建议在任务发布后，前往生产运维中心的 周期任务 界面，查看生产环境下该周期任务的调度参数...
本文介绍关于节点异常问题的诊断流程、排查思路、常见问题及解决方案。本文目录 类别 内容 诊断流程 诊断流程 常见排查方法 节点故障诊断 检查节点的详情 检查节点的状态 检查节点的事件 检查节点的诊断日志 检查节点的关键组件 检查节点的...
调度记录的重试问题 问题现象 在任务的调度记录里，有的记录提供了 重试 按钮，可以重试，有的则不能。问题原因 同一个任务，如果有多次执行记录，那么只有最新的执行记录是有重试选项的，因为旧的记录已经没有意义。基于消息的任务中，...
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
分布式链路跟踪 面向分布式架构、微服务架构和云原生架构的应用可观察性的金融级解决方案，帮助您快速发现并准确定位应用全生命周期的性能问题，具有全链路追踪、简单易用、扩展性强等特点。数据访问代理 提供水平拆分、平滑扩缩容、读写...
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。DataWorks上如何设置调度依赖？在DataWorks上，上游节点的输出作为下游节点的输入，形成节点依赖关系。说明 SQL任务会以如下方式自动配置节点输入输出：select ...
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
如下图：显存隔离 如果没有GPU隔离模块参与，那么共享GPU调度仅能够保证多个Pod运行在一张GPU卡上，并不能解决Pod之间相互影响的问题。以下是一个显存使用的例子。假设Pod1需要申请5 GiB显存使用，Pod2需要申请10 GiB显存使用。在没有GPU...
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
调度应用时，出现错误 0/x node are available,x nodes had volume node affinity conflict。以上这些问题，均会导致应用发布中断受阻，本文推荐一种存储多可用区部署的最佳配置，最大程度的减少上述问题。推荐配置 使用云盘进行持久化存储...
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
问题原因 出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。解决方案 重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在数据源编辑页面查看创建...
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...