pai命令、

_相关内容

TFRecord数据转换

说明 您可以使用 SQL脚本 组件进行PAI命令调用,也可以使用MaxCompute客户端或DataWorks的开发节点进行PAI命令调用,详情请参见 使用本地客户端(odpscmd)连接 或 开发ODPS SQL任务。图片分类或图片多标签分类 使用PAI命令将图片分类或...

特征重要性过滤

组件配置 PAI命令 PAI-name fe_filter_runner-project algo_public-DselectedCols=pdays,previous,emp_var_rate,cons_price_idx,cons_conf_idx,euribor3m,nr_employed,age,campaign,poutcome-DinputTable=pai_dense_10_10-DweightTable=pai...

正态检验

PAI命令 PAI-name normality_test-project algo_public-DinputTableName=normality_test_input-DoutputTableName=normality_test_output-DselectedColNames=x-Dlifecycle=1;输入说明 输入格式:选择需要计算的列,支持选择多列。类型为 ...

百分位

PAI-name Percentile-project algo_public-DinputTableName=maple_test_percentile_3col_input-DcolName=col0,col1,col2-DoutputTableName=maple_test_percentile_3col_output;输出表 quantile:bigint col0:double col1:bigint col2:...

过滤式特征选择

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name fe_select_runner-project algo_public-DfeatImportanceTable=pai_temp_2260_22603_2-DselectMethod=iv-...

x13_auto_arima

执行PAI命令 您可以使用 SQL脚本 执行如下PAI命令,也可以使用 ODPS SQL节点 执行如下PAI命令PAI-name x13_auto_arima-project algo_public-DinputTableName=pai_ft_x13_arima_input-DseqColName=id-DvalueColName=number-Dstart=1949.1-...

KV2Table

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name KVToTable-project algo_public-DinputTableName=test-DoutputTableName=test_out-DoutputKeyMapTableName=...

条件随机场

自动计算 示例 输入数据 sentence_id word f1 label 1 Rockwell NNP B-NP 1 International NNP I-NP 1 Corp NNP I-NP 1‘s POS B-NP…823 Ohio NNP B-NP 823 grew VBD B-VP 823 3.8 CD B-NP 823%NN I-NP 823.O 预测算法PAI命令 PAI-name=...

MaxCompute K均值聚类最佳实践

各个参数的配置说明,请参见 方式二:PAI命令方式。pai-name kmeans-project algo_public-DinputTableName=pai_online_project.pai_kmeans_test_input-DselectedColNames=f0,f1-DappendColNames=f0,f1-DcenterCount=${centerCount}-Dloop=...

数据视图

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name fe_meta_runner-project algo_public-DinputTable="pai_dense_10_10"-DoutputTable="pai_temp_2263_20384_1"-...

GBDT回归

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name gbdt-project algo_public-DfeatureSplitValueMaxSize="500"-DlossType="0"-DrandSeed="0"-DnewtonStep="0"-...

GBDT二分类

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name gbdt_lr-project algo_public-DfeatureSplitValueMaxSize="500"-DrandSeed="0"-Dshrinkage="0.5"-...

特征异常平滑

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name fe_soften_runner-project algo_public-DminThresh=5000-Dlifecycle=28-DsoftenMethod=min-max-thresh-...

分箱

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name binning-project algo_public-DinputTableName=input-DoutputTableName=output 参数 描述 是否必选 默认值 ...

归一化

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。稠密数据的命令 PAI-name Normalize-project algo_public-DkeepOriginal="true"-DoutputTableName="test_4"-...

标准化

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。稠密数据的命令 PAI-name Standardize-project algo_public-DkeepOriginal="false"-DoutputTableName="test_5"-...

线性回归

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name linearregression-project algo_public-DinputTableName=lm_test_input-DfeatureColNames=x-DlabelColName=y-...

PAI视频分类

您可以使用 SQL脚本 组件进行PAI命令调用,也可以使用MaxCompute客户端或DataWorks的开发节点进行PAI命令调用,详情请参见 使用本地客户端(odpscmd)连接 或 开发ODPS SQL任务。pai-name easy_vision_ext-project algo_public-Dbuckets='...

PAI-TF任务参数介绍

PAI-TF命令参数 您可以在 Designer 的SQL节点、DataWorks SQL节点及MaxCompute的命令行客户端使用PAI命令发起任务,或者直接在 Designer 中使用封装好的TensorFlow组件。PAI命令及其参数如下。实际使用中,需要根据业务需求设置参数。pai-...

特征编码

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。PAI-name fe_encode_runner-project algo_public-DinputTable="tdl_pai_bank_test1"-DencodeModel="xlab_m_GBDT_LR_1_...

模型训练

可视化配置参数 输入桩 输入桩(从左到右)建议上游组件 对应PAI命令参数 是否必选 负采样item特征表 说明 一般在DSSM等特定算法中使用负采样参数。数据类型:MaxCompute表 支持的组件:SQL脚本、读数据表 data_config.negative_sampler....

K均值聚类

方式二:PAI命令方式 使用PAI命令方式,配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用,详情请参见 SQL脚本。pai-name kmeans-project algo_public-DinputTableName=pai_kmeans_test_input-DselectedColNames=f0,f1-...

新建实验

MaxCompute 任务类型选择 MaxCompute 时,参数配置如下表所示:参数 描述 命令 配置为SQL命令或运行Designer算法组件的PAI命令。您需要在命令中配置超参数变量${自定义超参数变量},例如:pai-name kmeans-project algo_public-...

PAI图像分类(多标签分类)训练

图像分类训练 您可以使用 SQL脚本 组件进行PAI命令调用,也可以使用MaxCompute客户端或DataWorks的开发节点进行PAI命令调用,详情请参见 使用本地客户端(odpscmd)连接 或 开发ODPS SQL任务。图像分类单机训练 pai-name easy_vision_ext-...

TableWriter API

该参数需要与PAI命令-Doutput 中的输出表名一致,否则系统报 table xxx not predefined 错误。slice_id:int类型,表示在表的不同分区进行写入,避免写冲突。单机场景下,使用默认值 0 即可。分布式场景下,如果多个worker(包括PS)同时...

FM算法

方式二:PAI命令方式 组件 参数 是否必选 描述 默认值 FM训练 tensorColName 是 特征列名称。数据格式为 key:value,多个特征使用英文逗号(,)分隔。例如 1:1.0,3:1.0。无 labelColName 是 label 列名。数据必须是数值类型。如果 task ...

PAI-TF模型导出和部署说明

tf.app.flags.FLAGS 可以获取PAI命令中的 checkpointDir 参数,checkpointDir 指定了模型将要存储到OSS上。以下代码完成了 new_counter 的计算,并将名称为 counter 的变量存储到模型中(值为3),save_path=saver.save(sess,ckp_path)将...

Designer概述

PAICommand框架算法组件除了支持直接使用组件,还支持PAI命令的调用方式。您可以在Designer的SQL组件、DataWorks数据开发、MaxCompute命令行工具中进行调用。Designer 的使用流程 Designer的使用流程图如下所示。创建工作流 使用Designer...

SQL脚本

场景4:在SQL脚本组件中执行PAI命令 取消选中 是否由系统添加Create Table语句 复选框,通过变量${o1} 和${lifecycle} 来创建一个临时表作为输出。SQL脚本代码配置如下所示。drop table if exists${o1};PAI-name type_transform_v1-project...

PAI图像语义分割训练

PAI-EasyVision提供图像语义分割模型的训练及预测功能,本文为您介绍如何通过PAI命令进行图像语义分割模型训练。图像语义分割训练 图像分割组件实现了基于DeepLab-V3的语义分割模型,详情请参见 Encoder-Decoder with Atrous Separable ...

2022年

2022-09-30 全部地域 服务分组 异步推理与队列服务 深度学习组件P100和M40卡型下线 因老款服务器过保下线,从2022年09月30日起,在华东2(上海)地域使用深度学习组件执行PAI命令或在 Designer 页面提交训练任务时,不再支持P100和M40卡型...

PAI图像检测训练

PAI-EasyVision提供图像检测模型的训练及预测功能,本文为您介绍如何通过PAI命令进行图像检测模型训练。PAI-EasyVision对配置进行了简化,您通过-Dparam_config 即可配置常用参数,无需了解PAI-EasyVision的配置文件规则和逻辑。如果需要...

PAI端到端文字识别训练

PAI-EasyVision提供端到端文字识别模型的训练及预测功能,本文为您介绍如何通过PAI命令进行端到端文字识别模型训练。PAI-EasyVision对配置进行了简化,您通过-Dparam_config 即可配置常用参数,无需了解PAI-EasyVision的配置文件规则和逻辑...

PAI-TF数据IO方式介绍

组件API命令 PAI-name tensorflow180_ext-project algo_public-Doutputs="odps:/${当前项目名}/tables/${输出表名}"-DossHost="${OSS的host}"-Dtables="odps:/${当前项目名}/tables/${输入表名}"-DgpuRequired="${GPU卡数}"-Darn="${OSS...

安装和配置

PAI Python SDK 是PAI提供的Python SDK,提供了更易用的HighLevel API,支持机器学习工程师简单地使用Python在PAI完成模型训练和部署,串联机器学习的流程。前提条件 已获取阿里云账号的鉴权AccessKey ID和AccessKey Secret,详情请参见:...

使用TensorFlow实现分布式DeepFM算法

训练数据源为 pai_online_project.dwd_avazu_ctr_deepmodel_train,测试数据源为 pai_online_project.dwd_avazu_ctr_deepmodel_test,都是公开数据源,您可以直接使用。操作步骤 下载 模型文件。修改模型配置代码。修改特征参数,每个特征...

Llama-3开源模型全托管灵骏最佳实践

使用PAI处理好的小规模样本数据 为了方便您试用该案例,PAI提供了已经处理好的小规模样本数据,您可以在DSW的Terminal中执行以下命令下载样本数据。mkdir/mnt/workspace/llama3-datasets cd/mnt/workspace/llama3-datasets wget ...

Diffusion中文文图生成解决方案

执行以下命令下载并解压PAI-Diffusion模型文件。wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/release/pai_diffusion_model_zoo/pai-diffusion-artist-large-zh.tar.gz tar -zxvfpai-diffusion-artist-large-zh.tar.gz将模型...

创建自定义组件

执行命令 组件镜像的执行命令,可以通过环境变量获取实际的值,配置格式如下:python main.py$PAI_USER_ARGS-{CHANNEL_NAME}$PAI_INPUT_{CHANNEL_NAME}-{CHANNEL_NAME}$PAI_OUTPUT_{CHANNEL_NAME}&sleep 150&echo"job finished"执行命令中...

安装Blade

安装Blade的Wheel包的具体命令如下:如果您已安装GPU,则使用如下命令。pip3 install pai-blade-gpu \-f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html如果没有安装GPU,则使用如下命令。pip3 install pai-blade-...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用