行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；对于可解释算子（如算术运算、条件判断等），则需要定义 表达式 以及表达式之间的 关系。数据...
定义 路由算法是减少路由时开销的一种算法，可以通过给逻辑库配置路由算法，实现条件定位查询，提高操作效率。说明 若未配置路由算法，则在对逻辑表的数据进行操作时，会遍历逻辑表对应的每一个物理表，整体操作时间会成倍增加。路由算法由...
数据对接期 1、什么是场景ID，该如何进行埋点，如何在查询中使用，行为表和内容表场景ID是否需要对应，有什么作用？举例1.1内容表(item)中有一个itemA，其item_id为1，场景ID字段值为：1001,1002行为表(behavior)中有两条行为，分别为item_...
cheating_demo_medium_edge】，关系表中包括100000个媒介，其中0.3%的媒介被超过1个用户使用 可参考的MaxCompute建表语句：score主要用于表示用户使用媒介的频繁程度/重要性，可以根据业务逻辑进行赋值，如没有特殊业务逻辑可以默认设置为1...
当有多个算法工程师做召回或者排序实验的时候，我们可以通过划分实验组，可以让他们相互自己不干涉。每个实验组中，一般都会有多个实验。例如下面我们配置了swing、etrec两个实验，而dssm还在测试中，因此流量占比设置为“0%”,但是出于...
规则是进行质检所必须的元素，什么是规则？例如客服接通电话后必须说问候语，这就是一条基本的服务规范规则。在您开通服务时，我们已经为您准备了6个预置规则，您可以通过查看和使用预置规则，来快速理解规则的概念。规则组成说明 一个规则...
您可以将使用频率较高且应用场景相同的脱敏算法配置在同一个脱敏模板中，并在配置静态脱敏规则时使用已有模板，提高配置脱敏规则的效率。本文介绍如何配置脱敏模板和脱敏算法。背景信息 DSC 支持哈希脱敏、遮盖脱敏、替换脱敏、变换脱敏、...
节点 节点的全称为隐私计算节点，是一台计算机、一台虚拟计算机或一个集群，计算方将多方安全计算协议或算法逻辑的软件执行在节点中。节点均被部署在机构本地，通过节点实现机构原始数据连接及本地计算。脚本文件 脚本文件是在联邦建模控制...
密钥是特殊安全算法的必填参数，常用于加盐、哈希和加解密算法。本文为您介绍如何注册及管理密钥。密钥使用说明 为了防止密钥的泄露和管理的不可控性，除了公共层数据外，建议每个项目注册自己的密钥并使用，不建议密钥跨项目或者给过多...
密钥是特殊安全算法的必填参数，常用于加盐、哈希和加解密算法。本文为您介绍如何注册及管理密钥。密钥使用说明 为了防止密钥的泄露和管理的不可控性，除了公共层数据外，建议每个项目注册自己的密钥并使用，不建议密钥跨项目或者给过多...
指定压缩算法 Beam支持多种压缩算法，您可以根据实际业务需要选择不同的压缩算法。Beam支持ZSTD、LZ4、AUTO和GDICT压缩算法。默认使用LZ4 9级压缩，以提供在大部分场景下更优的解压性能。ZSTD 如果您期望获得更高的压缩比，可以使用ZSTD...
支持的安全随机算法 算法 大小 AES-CTR-DRBG(FIPS compliant)AES-CTR-DRBG安全随机算法可以在HSM内为每个API调用生成多达8000字节的随机数。支持的密钥类型 算法 支持的大小（比特）AES 128,192,256(default）RSA密钥对 2048,2304,2560,...
逻辑优化器主要做查询改写等操作的优化，可以产生更优的计划或者更大的搜索空间。物理优化器主要对连接顺序，连接算法，访问路径进行优化，同时会考虑到元数据，统计信息等。综合上述信息后，就能估算出模型的执行代价，然后选择出成本最低...
本文为您介绍如何基于图算法，实现金融风控。背景信息 图算法通常适用于关系网状的业务场景。与常规结构化数据不同，图算法将数据整理为首尾相连的关系图谱，需要考虑边和点。PAI提供了丰富的图算法组件，包括K-Core、最大联通子图及标签...
PAI提供的智能文本挖掘算法可以实现新闻文本分类自动化（包括分词、词型转换、停用词过滤、主题挖掘及聚类等流程）。本工作流首先通过PLDA算法挖掘文章的主题，然后进行主题权重聚类，从而实现新闻自动分类。说明 本工作流数据为虚构数据，...
本文介绍分解类算法（ostl-esd、istl-esd和istl-nsigma）的参数调优方法。背景信息 分解类算法（ostl-esd、istl-esd和istl-nsigma）适用于周期性数据，常见于QPS类数据，如每天或每周在相对固定的时刻出现峰值或者谷值的数据。在使用分解类...
1.简介 AI算法保护，提供内容的加密保护和全生命周期管理；授权过程的自动化和授权管理的统一化，防止内容的拷贝和泄漏，以及提供商业售卖的灵活性、安全性和管理成本。内容加密保护，一次性加密，多种许可分发和管理，支持不同的授权管理...
通过查看逻辑表和物理表的一致性，以便更新物理表，保证逻辑模型和物理表的一致性。本文为您介绍如何查看逻辑表与物理表的一致性。前提条件 已物理化目标逻辑表，具体操作，请参见 物理化逻辑表。操作步骤 登录 数据资源平台控制台。在页面...
背景信息 路由算法是减少路由时开销的一种算法，逻辑表配置了路由算法后，带路由字段则可以快速查询指定物理表，免去人为计算、切换物理库表的操作。路由算法的更多信息，请参见 路由算法。使用场景 分表数据查询 分表数据变更 分表数据...
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
脱敏算法 脱敏算法模块可以看到目前支持的所有脱敏算法，主要包括 遮盖脱敏（如张三，脱敏为*三）、哈希脱敏（如加盐MD5）两大类算法。动态脱敏 不改变底层数据的存储，只在数据进行消费时，进行数据的脱敏。典型应用场景：数据分析场景的...
智能算法列表 类型 算法名称 算法逻辑 异常诊断类算法 One-Class SVM 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 孤立深林 基于历史批量数据的做算法学习并进行异常诊断 异常诊断类算法 Robust Covariance 基于历史批量...
因为我们可以从客户埋点的日志开始做数据分析，然后可以根据业务定制出特征工程、召回、排序的算法代码，引擎的配置文件，实验报表指标和统计代码。帮助客户轻松的搭建推荐系统，完善推荐场景，缩短推荐业务的建设和优化的周期。不管客户是...
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
仅删除逻辑库，并不会对物理分库做任何物理删除操作。DeleteLogicTableRouteConfig 删除逻辑表路由算法 删除逻辑表路由算法配置信息。ListLogicDatabases 返回逻辑库详情列表 调用ListLogicDatabases接口，返回逻辑库详情列表。...
纯文本查询与多路搜索在搜题场景下的对比 为什么搜题要做多路召回？教育拍照搜题场景相比网页/电商的文本搜索有显著差异：搜索Query特别长：常规检索term数上限30，搜题可能需要100 搜索Query可能是由拍照OCR识别之后得到的文本，关键term...
经典逻辑回归是一个二分类算法，PAI提供的逻辑回归可以支持多分类，且支持稀疏及稠密数据格式。组件配置 您可以使用以下任意一种方式，配置逻辑回归多分类组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 ...
逻辑回归多分类 该组件是一个二分类算法，PAI提供的逻辑回归可以支持多分类，且支持稀疏及稠密数据格式。随机森林 该组件是一个包括多决策树的分类器，其分类结果由单棵树输出类别的众数决定。朴素贝叶斯 该组件是一种基于独立假设的贝叶斯...
赌徒要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是多臂赌博机问题（Multi-armed bandit ...
使用可视化大屏查看分析报告 预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即...
您可以使用PyAlink脚本调用Alink的分类算法做分类、调用回归算法做回归、调用推荐算法做推荐等。PyAlink脚本也支持与其他Designer的算法组件无缝衔接，完成业务链路的搭建及效果验证。本文为您介绍如何使用PyAlink脚本。背景信息 PyAlink...
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
新建普通维度逻辑表 新建层级维度逻辑表 新建枚举维度逻辑表 新建虚拟维度逻辑表 事实逻辑表 用于描述业务活动信息形成的事实逻辑表。基于业务活动类型，您可以设计及创建对应的事实逻辑表。新建事实逻辑表 原子指标 对指标统计口径、具体...
新建普通维度逻辑表 新建层级维度逻辑表 新建枚举维度逻辑表 新建虚拟维度逻辑表 事实逻辑表 用于描述业务活动信息形成的事实逻辑表。基于业务活动类型，您可以设计及创建对应的事实逻辑表。新建事实逻辑表 原子指标 对指标统计口径、具体...
使用场景 LightGBM是一个算法框架，包括GBDT模型、随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。例如：在个性化商品推荐场景中，通常需要做点击预估模型。使用用户过往的行为（点击、曝光未点击、购买等）作为训练...
新增逻辑表冒烟测试，可以在开发时验证逻辑表是否可以成功运行。新增衍生指标，可以基于已有的派生指标，通过二次运算快速创建新的指标。逻辑表新增支持小时及分钟级数据时效的配置。汇总逻辑表注册上挂指标取消来源表负责人为当前操作人的...
同时，您还可以基于陀螺仪的数据扩展出更多的算法，比如，用它来开发各种运动监测算法，打造出专属于你的运动监测器等等，将技术应用到身边的实际场景中。2.4 分歧争端机 还记得风靡全国的“摇一摇”吗？摇红包，摇奖券。那么，摇一摇是...
AIRec智能推荐 阿里云智能推荐AIRec（Artificial Intelligence Recommendation，简称AIRec）基于阿里...提供成熟的工程框架，帮助算法从资源管理、运维中解放出来，专注业务逻辑开发、业务效果实验。产品详细介绍见：什么是个性化算法开发平台
动态选择内存磁盘算法 内存算法和磁盘算法不同，如果使用一个固定的阈值来作为选择内存算法或磁盘算法的依据（比如K小于阈值时使用内存算法，否则使用磁盘算法），那么针对不同的可用执行内存就需要设置不同的阈值，带来了人工干预的开销。...
本文为您介绍逻辑回归组件。功能说明 逻辑回归（LogisticRegression）是一种用于解决二分类（0 or 1）问题的模型，用于估计某种事物的可能性。尽管名字是逻辑回归，但它是一种用于分类而不是回归的线性模型。Logistic 回归在文献中也称为 ...