本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
在日常工作中会经常需要进行数据导入，此时可以借助DataWorks的强大调度和作业编排能力，实现周期性调度，配置一个调度作业覆盖数据导入两个场景，详情请参见 DataWorks作业案例。考虑到作业较为复杂，所以可以利用DataWorks的迁移助手功能...
使用示例 参数值为AUTO 新建SQL流作业，复制如下测试SQL（显式指定Sink并发度为2），部署 作业。CREATE TEMPORARY TABLE s1(a INT,b INT,ts TIMESTAMP(3))WITH('connector'='datagen','rows-per-second'='1','fields.ts.kind'='random','...
概述 本文主要描述了Dataphin一个同步任务产生两个周期实例的原因。详细信息 在将同步任务A发布以后，会产生了一个周期实例。当同步任务A被重新配置又发布了一次后，产生了第二个周期实例，所有两个周期实例名字一样，但是内容不一样哈。...
查看周期实例 在 周期实例 页签，展示了指标周期性数据统计的列表。您可以单击回刷任务 操作 栏的 查看，查看全部指标类型每个周期数据的统计信息：业务日期、最近一次提交时间、最近一次结束时间、最近一次执行状态 及 运行日志 等信息。...
本文展示如何使用Arena提交PyTorch的分布式训练作业，并通过TensorBoard可视化查看训练作业。前提条件 已创建包含GPU的Kubernetes集群。具体操作，请参见 创建包含GPU的Kubernetes集群。集群节点可以访问公网。具体操作，请参见 为已有集群...
什么时候应该开启生命周期管理功能？当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储...
问题描述 Quick Audience自动化营销任务中设置了营销周期，当任务创建完成后，如何查看已创建任务的周期时间设定情况？解决方案 进入Quick Audience的自动化营销模块，在自动化营销任务列表中找到要查看的任务，单击查看。在自动化营销任务...
您可以通过基于最后一次访问时间（Last Access Time）策略的生命周期规则来自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，从而达到数据的冷热分层存储，最终降低存储成本。使用场景 多媒体场景 某网站的...
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
海量数据明细查询分析 MCQA可以自动识别查询作业特征，既能快速响应，处理小规模作业，同时还可以自动匹配大规模作业资源需求，满足分析人员分析不同规模和复杂度的查询作业的需求。需要探索的历史数据量大、真正需要的有效数据量不大、...
在开通了OSS-HDFS服务的Bucket中配置生命周期规则 在开通了OSS-HDFS服务的Bucket中配置基于OSS文件的生命周期规则 如果您对开通了OSS-HDFS服务的Bucket设置或更新为匹配整个Bucket的生命周期规则，需通过NOT元素排除.dlsdata/，避免因生命...
对周期性高密度计算作业使用包年包月模式，对非周期性的大规模数据处理作业使用按量计费模式。按量计费模式下可以不存储数据，通过读取其它账号下的表获取数据，从而可以节省数据存储费用。不同账号下跨表计算需要通过授权来实现，详细请...
您可以创建基于最后一次修改时间（Last Modified Time）的生命周期规则（Lifecycle），定期将云盒Bucket内的Object和碎片删除，从而节省存储费用。前提条件 仅 华东1（杭州）、华南1（深圳）、华南2（河源）、华北2（北京）、西南1（成都）...
本文介绍数据复制（包括跨区域复制以及同区域复制）结合版本控制、生命周期、服务器端加密、合规保留策略等特殊场景的复制行为。数据复制结合版本控制 数据复制结合版本控制的使用场景中，有如下限制：仅允许同时处于非版本控制或启用版本...
如果您为伸缩组配置了生命周期挂钩功能，您可以根据实际业务需要，调用API CompleteLifecycleAction提前结束伸缩活动的等待状态去执行下一步动作。接口说明 允许设置结束等待状态后的下一步动作是继续响应伸缩活动（CONTINUE），还是弃用...
镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的细节。工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，...
或者基于业务使用场景，希望批量删除Bucket内不再需要保存的数据，您可以配置基于最后一次修改时间（Last Modified Time）的生命周期规则。如果您希望OSS自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，...
延长一个生命周期挂钩触发后被挂起的ECS实例的等待时间。接口说明 ECS 实例的等待时间不能超过 6 小时，每次等待状态最多能被延时 20 次。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI ...
如果您为伸缩组配置了生命周期挂钩功能，您可以根据实际业务需要，调用API CompleteLifecycleAction提前结束伸缩活动的等待状态去执行下一步动作。接口说明 允许设置结束等待状态后的下一步动作是继续响应伸缩活动（CONTINUE），还是弃用...
什么时候应该开启生命周期管理功能？当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储...
ALIYUN:ESS:LifecycleHook类型用于为一个伸缩组创建生命周期挂钩。语法 {"Type":"ALIYUN:ESS:LifecycleHook","Properties":{"LifecycleHookName":String,"NotificationArn":String,"HeartbeatTimeout":Integer,"NotificationMetadata":...
调用RecordLifecycleActionHeartbeat延长一个生命周期挂钩触发后被挂起的ECS实例的等待时间。接口说明 ECS实例的等待时间不能超过6小时，每次等待状态最多能被延时20次。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
或者基于业务使用场景，希望批量删除Bucket内不再需要保存的数据，您可以配置基于最后一次修改时间（Last Modified Time）的生命周期规则。如果您希望OSS自动监测数据的访问模式并识别冷数据，然后将识别出来的冷数据进行存储类型的转换，...
您可以基于最后一次修改时间以及最后一次访问时间的策略创建生命周期规则，定期将存储空间（Bucket）内的多个文件（Object）转储为指定存储类型，或者将过期的Object和碎片删除，从而节省存储费用。本文为您介绍如何调用 ...
部署作业 增强作业排序筛选能力 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。暂无 支持RAM角色、资源目录成员、云SSO用户登录鉴权 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源...
说明 您还可以监控作业等待数，当CPU使用量高，且作业等待数多，时间连续N个周期时，则可能需要人工介入进行资源干预。单击 确认，完成报警规则配置。相关文档 配置作业超时监控告警及出现报警后处理流程请参见 作业超时监控告警。
（可选）如果渐进式计算模式为 PASS_BY_HOUR 时，您需根据实际作业周期长短，配置更细粒度时间列名。如果渐进式计算为其他模式，则不需要配置。配置格式 格式一：set odps.progressive.range.query.time.partition.col.names=default:...
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先...使用DMS进行Spark作业编排和任务周期调度，请参考文档 DMS任务编排调度Spark任务训练机器学习模型。DLA Spark作业配置，请参考文档 作业配置指南。
完成作业开发后，您需要将作业部署。部署将开发和生产隔离，部署后不影响运行中的作业，只有（重新）启动后才会正式上线运行。本文为您介绍如何部署SQL作业、JAR作业和Python作业。前提条件 已完成作业开发。SQL作业开发，详情请参见 SQL...
在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据，从而降低了计算资源消耗、执行调度时间，为客户节省了费用的同时提高了作业的运行...
状态管理 提供完整的系统检查点和作业快照生命周期管理，提供状态兼容性检查和状态数据迁移，以最大可能的复用原来的状态数据。企业安全 空间隔离 支持租户级和项目级的资源和代码隔离，满足跨团队协作需求。提供了企业多部门协同工作互不...
您可以先通过账单查找出耗费较多资源的SQL作业和其具体的运行时间，并参照 查看账单详情 或 MaxCompute账单用量明细分析 进行费用分析及作业优化。长期未使用MaxCompute按量计费功能，为什么每天仍会产生费用？MaxCompute按量计费费用包含...
这种方式不仅简化了作业的运维流程，还使得资源管理更为高效，以下是一些Spark任务的应用场景：数据分析：利用Spark SQL、Dataset以及DataFrame API进行复杂的数据聚合、筛选和转换，快速洞察数据。流处理：利用Spark Streaming处理实时...
本文介绍作业启动相关的常见问题。报错：The difference between the request time and the current time is too large 报错：Job was submitted in detached mode.Results of job execution,such as accumulators,runtime,etc.are not ...
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
预计升级过程不会影响您的作业运行，但在极小概率下，若影响了作业并导致执行失败，请尝试重新执行。您有任何相关问题或需要协助，可以通过您的专属钉群或MaxCompute开发者社区群（钉钉群号：11782920）联系我们。感谢您的配合！2024年05月...
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
开启表生命周期前可以修改表及分区的生命周期配置，防止开启表生命周期后因使用之前的配置导致数据被误回收。disable：禁止表或指定分区的生命周期功能。禁止表本身及其所有分区被生命周期回收，优先级高于恢复表分区生命周期。即当使用 ...