若需要自定义分组列，单击 新增分组列 选取列值，在弹出的 列定义 弹框中定义列值选取规则。用鼠标在日志样本中选中一个目标关键词，系统会根据该关键词的位置自动生成一个列值选取规则，并在下方的列值采样表格中显示根据这一选取规则采样...
选取列值分组的维度，系统将按各维度各 Key 统计数值。说明：列值分组中必须配置一个维度。分组列可配多列。选择统计方式。配置预警。点击 提交。查看数据 点击左侧导航栏 自定义监控，然后点击您新增的监控项，可查看统计值。说明：配置完...
选取列值分组的维度，系统将按各维度各 Key 统计数值。说明：列值分组中必须配置一个维度。分组列可配多列。选择统计方式。设置 Top 报警配置。即设置当 Top 排序中统计出来的值大于指定值的统计项的数量超过指定数量时，触发报警，点击 ...
选取列值分组的维度，系统将按各维度各 Key 统计数值。说明：列值分组中必须配置一个维度。分组列可配多列。选择统计方式。（可选）配置预警。设置 Top 报警配置。即设置当 Top 排序中统计出来的值大于指定值的统计项的数量超过指定数量时...
选取列值分组的维度，系统将按各维度各 Key 统计数值。说明：列值分组中必须配置一个维度。分组列可配多列。选择统计方式。点击 提交。查看数据 点击左侧导航栏 自定义监控，然后点击您新增的监控项，可查看统计值。说明：配置完后，约 2 ...
选取列值分组的维度，系统将按各维度各 Key 统计数值。重要：必须配置 2 个或以上分组列。在 分组排序 区域，设置分组排序列。选择统计方式。输入 最大排名数，选择 求值方式。确认配置无误后，点击 提交。查看数据 点击左侧导航栏 自定义...
选取列值分组的维度，产品将按各维度各 Key 统计数值。说明 列值分组中必须配置一个维度。分组列可配多列。设置 服务指标特定列。常用服务指标可以快速配置总量、成功量、成功率、失败量和平均耗时等 5 个指标数据，所以计算这些量时，需要...
在 白名单筛选列，单击 选取列值。在 列定义 对话框，配置白名单筛选列的位置。用鼠标在日志样本中选中目标一个关键词，系统会根据该关键词的位置自动生成一个 列值选取规则，并在下方的列值采样表格中显示根据这一选取规则采样得到的列值...
选取列值分组的维度，产品将按各维度各 Key 统计数值。说明 列值分组中必须配置一个维度，分组列可配多列。设置 服务指标特定列。常用服务指标可以快速配置总量、成功量、成功率、失败量和平均耗时等 5 个指标数据，所以计算这些量时，需要...
在 白名单筛选列，单击 选取列值。在 日志筛选 对话框，配置白名单筛选列的位置。日志筛选 提供 新增白名单筛选 或 新增黑名单筛选 两种方式进行日志关键字筛选：白名单 相当于 SQL 里的［Where Field=?语义。黑名单 相当于 SQL 里的...
print(iris.dtypes)返回结果：odps.Schema { sepallength float64 sepalwidth float64 petallength float64 petalwidth float64 name string } 列选择和增删 列选择 如果您需要从一个CollectionExpr中选取部分列，产生新的数据集，可以使用...
对两列除法求商（需在 这个数（被除数）、除以（除数）这两个区域分别选取列值）：统计逻辑是，将 1 分钟内日志二个数值分别求和，然后相除。多用于统计日志，如耗时总量除以总计数。文中示例选择 求行数 进行计算。单击+新增告警套餐，再...
您可以在日志样本中选中目标一个关键词，系统会根据该关键词的位置自动生成一个 列值选取规则，并在下方的 列值采样 表格中显示根据这一选取规则采样得到的列值。在最下方填入列名，单击 确定，完成白名单列的选取。配置 白名单值。同一个...
您可以直接勾选运维维度列作为分组列，若需要自定义分组列，单击 新增分组列 选取，在弹出的 日志筛选 弹框中定义列值选取规则。用鼠标在日志样本中选中一个目标关键词，系统会根据该关键词的位置自动生成一个列值选取规则，并在下方的列值...
列值翻译 系统支持将按规则选取的列值进行统一翻译，如4XX状态码统一翻译为error，200翻译为success。便于统计成功或失败结果。白名单值 支持手动设定取值范围内的特定值为白名单，如过滤result:success 的日志数据，将success设为白名单值...
' 或"包裹整个表达式，或是使用 \ 转义：transform:projection:*,42#不是合法的YAML-projection:'*,42'#OK-projection:\*,42#OK 字段筛选 数据摄入Transform模块采用类 SQL 语法来定义字段筛选（Projection）规则，可以完成选取部分列、...
selected_cols 否 STRING None 选取的列，格式为半角逗号（,）分隔的字符串。默认值 None 表示读取所有列。该参数与 excluded_cols 不能同时使用。excluded_cols 否 STRING None 排除的列，格式为半角逗号（,）分隔的字符串。默认值 None ...
创建表时相关参数描述如下：主键列必须放在前面，分区列必须选取自主键列。number_of_replicas：可选项，该值指定了tablet的副本数，且必须为奇数。如果没有指定该配置，则使用Kudu Master 默认配置的副本数。Kudu支持Hash和Range两种类型...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 SELECT 语句用于从表中选取满足指定条件的数据。您可以根据实际场景结合以下功能...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 功能介绍 SELECT 语句用于从表中选取满足指定条件的数据。您可以根据实际场景结合以下功能...
这些操作包括：非分区表：对其进行选取全部或有限条数据、列筛选的操作（不包括列的各种计算），以及计算其数量。不选取分区或筛选前几个分区字段的分区表：对其选取全部或有限条数据、列筛选的操作，以及计算其数量。例如 iris 这个...
在SQL UDF开发中 使用镜像 以下以使用Pandas实现一个列求和的UDF为例，为您介绍如何在SQL UDF开发中使用镜像。编写Python UDF脚本，并将其保存为 sum_pandas.py 文件。脚本示例如下：from odps.udf import annotate import pandas as pd@...
说明 不同于Pandas，对于列上的聚合操作，无论是在MaxCompute还是Pandas后端，PyODPS DataFrame都会忽略空值。这一逻辑与SQL类似。分组聚合 分组聚合操作如下：DataFrame提供了 groupby 函数执行分组操作，分组后通过调用 agg 或者 ...
在实时监控平台中，与日志筛选中的白名单筛选列、黑名单筛选列，以及列值分组中的分组列相关的列值配置页面都有列值翻译功能。列值翻译功能支持脚本导入。当翻译量较大时，可以将之前配置过的类似翻译规则转化为脚本并复制到当前脚本配置框...
当查询仅从包含大量列的派生表或视图中选取少数几列时，可能会因读取和处理不必要的数据而导致性能下降。此问题在处理宽表或复用大而全的通用视图时尤为突出。PolarDB MySQL版 的列裁剪（Column Pruning）功能可自动优化此类查询。它在查询...
selected_cols 否 STRING None 选取的列，格式为半角逗号（,）分隔的字符串。默认值 None 表示读取所有列。该参数与 excluded_cols 不能同时使用。excluded_cols 否 STRING None 排除的列，格式为半角逗号（,）分隔的字符串。默认值 None ...
示例 随机选取一条数据作为查询文本。本文以给定的查询文本“What courses must be taken along with CA course?为例，AnalyticDB PostgreSQL版 向量数据库能够高效准确地找出最相关的文本。Array{query_embedding}:real[]LIMIT {top_k};...
操作 说明 基本操作 列出项目空间下的所有表、判断表是否存在、获取表等基本操作。创建表的Schema 使用PyODPS创建表的Schema。创建表 使用PyODPS创建表。同步表更新 使用PyODPS同步表更新。表记录类型（Record）使用PyODPS读取/写入的记录...
列的数据类型 不可修改 操作限制 不允许修改列的数据类型及列位置。Java UDF函数 不允许为 ABSTRACT 或者 STATIC。操作限制 Java UDF函数不能为 ABSTRACT 或 STATIC。最多查询分区个数 10000个 数量限制 最多查询分区个数不能超过10000个。...
返回值 Pandas的DataFrame或Series。示例 import maxframe.dataframe as md df=md.read_odps_query('select user_id,age,sex FROM `BIGDATA_PUBLIC_DATASET.data_science.maxframe_ml_100k_users`',index_col='user_id')res=df.execute()....
定义“性别”和“种族”为敏感信息#首先从数据集中选取敏感信息相关的列，组成新的Dataframe `sensitive_features` sensitive_features=X_raw[['sex','race']]sensitive_features.head(5)执行以下脚本，删除 X_raw 中的敏感特征及数据，并...
PyODPS支持以下四种采样方式：说明 除了按份数采样外，其余方法如果要在ODPS DataFrame上执行，需要Project支持XFlow，否则，这些方法只能在Pandas DataFrame后端上执行。按份数采样 在这种采样方式下，数据被分为 parts 份，可选择选取的...
在 join 时，如果 on 条件在两表中所选取的字段名称相同，则只会保留其中一个表的此字段。movies.join(ratings,on='movie_id').head(3)movie_id title release_date video_release_date url user_id rating unix_timestamp 0 3 Four Rooms...
本文介绍 AnalyticDB PostgreSQL版 如何选择表...建议选取数据分布平均的列作为分布列，比如通过 ALTER TABLE 命令更改C2为分布键。alter table t1 set distributed by(c2);表t1的分布键被改为c2，该表的数据按照c2被重新分布，数据不再倾斜。
SELECT ST_removeDriftPoints(-删除不精准的漂移点 ST_SetSRID(-更改轨迹的空间参考系（SRID）ST_MakeTrajectory(-构造轨迹对象 array_agg(ROW(traj.sample_time,traj.x,traj.y,traj.z,traj.intensity)-选取需要组成轨迹的列),true,'{...
SELECT ST_removeDriftPoints(-删除不精准的漂移点 ST_SetSRID(-更改轨迹的空间参考系（SRID）ST_MakeTrajectory(-构造轨迹对象 array_agg(ROW(traj.sample_time,traj.x,traj.y,traj.z,traj.intensity)-选取需要组成轨迹的列),true,'{...
SELECT ST_removeDriftPoints(-删除不精准的漂移点 ST_SetSRID(-更改轨迹的空间参考系（SRID）ST_MakeTrajectory(-构造轨迹对象 array_agg(ROW(traj.sample_time,traj.x,traj.y,traj.z,traj.intensity)-选取需要组成轨迹的列),true,'{...
否 predictSelectedColNames 预测表列名，系统默认选取全表。该列名需要与训练表中对应的列相同。否 predictSelectedOriginalColNames 输入表中保持原有数据的列名，默认选择所有列，以英文逗号（,）分隔。否 predictOutputTableName 输出...
列可以分为以下两大类：Key列：Key列是指建表语句中被关键字 UNIQUE KEY、AGGREGATE KEY 或 DUPLICATE KEY 修饰的列。Value列：除Key列外，其余列均为Value列。模型选择指导 在 SelectDB 中，表的数据模型分为三种，分别为Unique模型、...
如果Pandas DataFrame中包含LIST或DICT列，系统不会推断该列的类型，必须手动使用 as_type 指定类型。as_type 参数类型必须是DICT。示例：示例1：指定 null_col2 列类型为 float。df2=DataFrame(df,unknown_as_string=True,as_type={'null_...