当您需要了解数据值的波动或分布情况时，MaxCompute支持使用VAR_SAMP函数计算指定数值列的样本方差，帮助您从数据中提取出更深层次的价值。此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您...
计算指定两个数值列的样本协方差。此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展...
FC函数创建流程 FC函数是 函数计算 的资源调度与运行的基本单位。FC 函数由函数代码和函数配置构成。下图介绍创建FC函数流程中涉及的概念。创建函数 在创建函数阶段，您可选择函数类型和匹配的运行环境，并上传函数代码到函数计算，其他...
使用弹性高性能计算（E-HPC），您无需采购和管理服务器等基础设施，只需配置所需的计算资源和上传应用程序，就可以实现高性能和弹性的计算能力。本入门教程将引导您了解E-HPC的使用流程，涵盖从创建集群到提交作业的各个步骤，帮助您快速...
Spark on MaxCompute是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 Spark on ...
查看当前项目中的分析样本和样本的安全配置，请参见 查看数据安全配置。新建脚本文件，请参见 新建脚本文件。编辑脚本文件，请参见 编辑脚本文件。执行脚本文件，请参见 执行脚本文件。获取执行脚本文件后的结果，请参见 查看执行结果。
DataWorks支持将您提供的样本文件生成样本库，后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时，则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据，例如，员工姓名、用户地址...
配额（Quota）是MaxCompute的计算资源池，为MaxCompute SQL、MapReduce、Spark、Mars、PAI等计算作业提供所需计算资源（CPU及内存）。您可以根据实际业务合理设置配额组，确保资源的合理分配和利用，防止某一部分任务占用过多资源而影响...
名称 类型 描述 示例值 object 队列配置模版 QueueName string 队列名称。...compute000 MaxCountPerCycle long 队列在每个扩容轮次中最大扩容的计算节点数量。99 ReservedNodePoolId string ReservedNodePoolId rnp-756vlp7a
E-HPC支持将运行不同作业或执行不同任务的计算节点进行分类，便于筛选节点。本文介绍如何使用队列分组管理计算节点，包括创建和删除队列，以及在队列之间移动节点。背景信息 创建集群时会自动创建一个默认队列，计算节点默认会加入到该队列...
什么是作业 在E-HPC集群中，作业是指通过命令行命令、Shell脚本或可执行文件形式提交到集群进行高性能计算的基本工作单元。作业的具体运行方式将根据您设置的队列和调度器配置进行决定。您可以根据自己的需求设置作业的优先级和资源要求，...
本文介绍了在隐私求交控制台中，查看求交样本的操作步骤。查看样本基本信息 在隐私求交控制台的左侧导航栏中，单击 数据目录 菜单。在 隐私求交数据 页面中，您可以查看各节点内样本的名称、状态、列数和任务进度。以下是对样本基本信息的...
欠费前已经处于 重试中 和 运行中 状态的计算作业将受到保护并继续运行，最长保留1天时间，因此欠费可能会累积。欠费超过一天后，E-HPC INSTANT计算服务将强制终止仍处于 重试中 和 运行中 状态的计算作业，并且无法恢复。结清欠费账单 ...
背景信息 本文以统计每5分钟窗口内订单的订单总量和订单总金额的计算逻辑为例，为您介绍如何进行自建Flink作业迁移。为便于介绍，在自建集群上将分别使用Datastream和Table/SQL两种Demo来实现以上计算逻辑。您可以提前下载 代码示例。下载...
每个计算节点是一台ECS实例，它们提供了计算能力和存储能力，能够承载和运行各种类型的计算工作负载，如并行计算、大规模数据处理、深度学习训练等。通过配置多个计算节点，您可以构建一个强大的计算集群，以快速、高效地完成大规模计算...
资源数：包年包月工作空间开通时，一次性开通的计算资源数必须小于或等于1000 CU，大于1000 CU时，需要通过 工单 进行开通。网络：实时计算Flink版不支持访问公网，如果您有访问公网的诉求，请参见 如何访问公网？性能：实时计算Flink版在...
请求body是一个JSON对象，字段说明如下：名称 类型 是否必选 示例值 描述 dataIds JSONArray 否["1","2"]要移除的样本图片的dataId列表。每个元素是字符串类型，一次最多允许移除100张样本图片。说明 如果指定了该参数，则不用指定 urls。...
作业管理 创建作业：提交到E-HPC INSTANT计算服务进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。复制作业：可以快速创建与目标作业相同或相似的作业配置，一般用于复制测试环境、大规模的数据处理、复杂的计算任务、或者是...
不同规格支持购买的 计算资源单元 的步长不同，目前支持的步长取值为1、2、4、8 四种，详情以购买页为准；支持用户 按周 购买AI计算资源，但按周持有资源会有一定成本（20%）上涨，计算公式为：规格周价=规格月价/30*7*1.2。
在多方安全分析控制台中，进行数据分析前，需要先确认离线样本的使用限制。离线样本的使用限制取决于原始数据的安全配置。数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键...
云服务器 ECS 和 函数计算 的使用场景如下所示：云服务器 ECS：提供各种各样的执行环境和选项定制操作系统、网络、安全设置、软件日志记录、软件监视和软件负载平衡，从而允许您自定义端到端的软件栈解决方案。您拥有对ECS实例的完全控制和...
单击页面右上方的 样本数据集 加载数据集。在 加载样本数据集 对话框中单击 确定加载。登录数据库并切换到 adb_sampledata_tpch 库，执行 SELECT count(*)FROM lineitem;语句查询样本数据的行数，完整的样本数据约为599万条。说明 样本数据...
计算逻辑原理 最近邻方法的原理是找到距离新点最近的预定义数量的训练样本，并从中预测标签。样本数量可以是用户定义的常数（k-最近邻学习），也可以根据点的局部密度（基于半径的邻居学习）而变化。通常，距离可以是任何度量标准：标准...
test1 Count integer 否 添加的计算节点数量。取值范围：1~99，并且 MinCount Count。ECS 库存数量 MinCount，添加节点失败。MinCount ECS 库存数量 Count，按照 MinCount 指定的数量添加节点。Count ECS 库存数量，按照 Count 指定的数量...
E-HPC集群支持对运行不同作业或执行不同任务的计算节点进行分类，以实现资源的高效管理。通过对计算节点进行队列分组，可以更灵活地筛选和调度节点，从而优化作业执行效率。本文介绍如何使用队列分组管理计算节点，包括创建和删除队列，...
下文以创建集群，在集群中安装GROMACS软件并运行水分子算例进行高性能计算为例，介绍弹性高性能计算的使用流程，帮助您快速上手使用弹性高性能计算。使用流程如下图所示。创建集群 集群可为E-HPC计算提供计算资源，用于后续提交、调试、...
功能特性 功能特性 描述 边缘一体机 边缘一体机是物联网边缘计算服务配套的硬件，是边缘实例业务的核心，提供整个边缘实例所需要的硬件资源，为实例内边缘业务的计算提供重要保障。当前提供的边缘一体机有A（Application）系列和V（Vision...
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
由于PyODPS DataFrame自身会对整个操作进行优化，您可以通过可视化方式直观地展示整个表达式的计算过程，以便进行调试。可视化DataFrame 可视化需要依赖 graphviz软件 和 graphviz Python包。df=iris.groupby('name').agg(id=iris....
概念 说明 集群 集群指运行高性能计算的节点集合，可以提供单节点不能提供的强大计算能力，拥有高性能、弹性扩展、稳定可靠等优点。集群包含弹性公网IP、集群节点、调度器、域账号、集群用户、运行软件等资源。节点 每个集群包含管理节点、...
自2024年08月27日起，函数计算将统一函数调用和资源使用计费项为 CU使用量 计费项，...试用额度变更 自2024年08月27日起，首次开通函数计算的用户，可0元享免费试用额度，试用额度以月为周期，连续提供3个周期，每周期额度为15万 CU使用量。
在同一个执行阶段内，会有多个进程，也称之为Worker，共同完成该执行阶段的计算工作。同一个执行阶段的不同Worker只是处理的数据不同，执行逻辑完全相同。计算型任务在执行时，会被实例化，您可以对这个实例（Instance）进行操作，例如 ...
二、新建MaxCompute项目 DataWorks标准工作空间下，需绑定开发和生产两个MaxCompute项目，作为DataWorks开发环境下的计算资源以及生产环境下的计算资源。进入 MaxCompute工作台，单击左侧菜单进入 管理配置 项目管理 页面。单击 新建项目，...
如果您有自己的审核平台，您可以直接对接反馈接口，将审核后认为识别有误的样本回流给我们。在收到您的反馈后，我们会在下个版本的模型迭代中将您的反馈数据加入训练。训练后的模型对您的业务场景更具有适应性。样本反馈目前支持 图片样本...
D)配置渲管 登录渲管页面 https://ip/rm/login ,配置完基本信息后（AccessKeys 和 OSS bucket），在镜像管理页中添加上面制作的计算节点镜像 ID，并对该计算节点镜像配置渲染命令行。E)创建项目 在渲管的项目管理页面创建项目，指定 OSS 的...
视图计算产品采用云化架构，既能支持不同协议设备监控视频快速上云，在云上对监控视频集中安全存储，全网跨地域视频分发播放，又拥有强大可弹性扩容的计算能力支持对接不同算法平台实现按需视频智能计算。大规模并发，安全高效 云化高可靠...
MaxCompute计划于北京时间2023年09月01日变更服务等级协议（SLA），为了使您更加清楚新版SLA协议中各项服务可用性及赔偿标准的计算方式，本文为您介绍不同场景下发生服务不可用时的案例说明。背景信息 云原生大数据计算服务MaxCompute计划...
string 否 例外的计算节点主机名。compute000 返回参数 名称 类型 描述 示例值 object 返回结果。RequestId string 请求 ID。04F0F334-1335-436C-A1D7-6C044FE73368 Success boolean 执行命令并获取结果的过程是否成功。取值范围：true：...
计量方式：基于自动弹性生效期间内产生的自动弹性使用CU量计算。系统按秒级别监控自动弹性CU实际使用量，在一级Quota维度按 小时 为一次结算周期统计该小时内使用CU量。例如：假如在一个小时内的前30分钟（1800秒）每秒使用10个CU，后30...
male","_count":100 },{"gender":"female","_count":100 }]Details array object 本次校验的详情 object 校验详情 ReferencedValue string 使用引用的样本，用来参与 CheckedValue 计算的基准值 0.0 CheckedValue string 最终用来与阈值...