轨迹按照天创建分区表，每天导入数据后做统计信息收集，并对分区表创建GIST空间索引。SQL参考：SELECT trace_id FROM vhc_trace_d WHERE ST_Intersects(ST_GeomFromText('Polygon((118.732461 29.207363,118.732366 29.207198,118.732511 ...
指标筛选 从导入的统计表数据中，筛选出满足指定指标要求、维度要求的人群。例如：最近7天移动设备在某城市，且至少发生一次登录app的人群。人群交并 从已有人群通过且（交）、或（并）、差计算生成新的人群。交叉筛选 混合使用以上人群...
HG_ERRCODE_FDW_ERROR 报错：failed to import foreign schema from odps:Can't find file system factory 问题原因：Hologres不支持查询MaxCompute侧的外部表。解决方法：重新创建MaxCompute内部表。ERRCODE_FDW_ERROR 报错：failed to ...
只做统计，不做告警使用。应用示例 示例一 假设存在下述日志：2012-11-1111:11:11粤A123XX,广州北收费站,G25,广州,￥50 2012-11-1111:11:12粤A123XX,广州北收费站,G26,广州,￥50 2012-11-1111:11:13粤A123XX,广州北收费站,G27,广州,￥50 ...
第三方流量统计工具：例如CNZZ、51Yes、51.la等统计工具，该工具的特点是统计内容可能并不完整，以CNZZ和Web Log Explorer为例，具体说明如下所示：CNZZ：通过在网页中植入JavaScript脚本统计代码的方式来统计流量，因此只能统计植入...
在PAI-Rec推荐开发平台中，对用户表、物品表、行为表做数据诊断是一个非常重要的步骤，它确保了哪些特征可以用到特征工程中，一些离散化参数怎么设置，需要统计多少天的数据用于得到用户偏好特征和物品特征，需要多少天的数据用于训练样本...
查询时，与离线方式相似，直接按照查询条件查询聚合结果表，并对其中关键的RoaringBitmap字段做 or 运算后并统计基数，即可得出对应用户数。这样的方式，可以较细粒度的实时得到用户UV、PV数据，同时便于根据需求调整最小统计窗口（如最近5...
说明 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析）。停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。使用DTS（轮询查询CDC实例模式）使用DTS迁移上云。说明 ...
本文为您介绍MaxCompute...现支持Optimizer在Query执行中临时统计表的Stats（统计信息）以发现小表，从而可以主动使用HashJoin、优化Join Order、减少大量Shuffle或缩短执行的Pipeline等方法，最终优化查询计划。详情请参见 Paimon外部表。
更新一个统计表中的统计数据以匹配当前数据：UPDATE summary s SET(sum_x,sum_y,avg_x,avg_y)=(SELECT sum(x),sum(y),avg(x),avg(y)FROM data d WHERE d.group_id=s.group_id);尝试插入新库存项及其库存量。如果该项已经存在，则转而更新已...
时序超表 超表（Hypertable）是时序数据库提供的一种特殊功能的表，可轻松处理时间序列数据，使用常规表可以完成的所有操作都可以使用超表完成。功能特性 超表可自动按时间对数据进行分区。与超表的交互方式与常规表相同，但超表还具有一些...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
一致性：包含 单表字段值一致性比较、单表字段统计值一致性比较、单字段业务逻辑一致性比较、两表字段值一致性比较、两表字段统计值一致性比较、两表字段业务逻辑一致性比较 和 跨源两表字段统计值一致性比较。稳定性：包含 表稳定性校验、...
优化analyze table逻辑，避免对GSI做统计信息采集。统计信息支持对未采集到的时间列数据进行合理预测。优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程...
说明 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析）。停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。使用DTS（轮询查询CDC实例模式）使用DTS迁移上云。说明 ...
复制分布方式通常只会用在数据量小的表中，如果数据量大的表使用复制分布方式，会导致数据急剧膨胀。哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，...
且表比较多，建议将附加字段设置成PK，与源表主键做联合主键，防止多源表主键数据互相冲突，同时将附加字段设置为Distribution Key，能保证将相同的数据写入至同一个Shard，实现更好的性能。单击 目标表名 右边，再进入 SQL建表语句预览 弹...
0 批量源表 1 维表 3（可以通过 connectionSize 参数调整）结果表 3（可以通过 connectionSize 参数调整）连接数计算方法 默认情况 默认情况下，作业使用的最大连接数可以通过如下公式计算：最大连接数=(批量源表数*1+维表数*...
使用 DeviceID 作为表的分区键是一个比较好的选择。使用 OrderNumber 作为表的分区键 由于 OrderNumber 是顺序增长的，因此在同一段时间内产生的消费订单的 OrderNumber 值会集中在一个较小的范围内，这些消费订单记录会集中写入到个别的...
您可以通过统计聚合功能实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内的行、嵌套查询等；...
收集统计信息 两种优化器的选择 使用索引加速查询 查看执行计划 数据倾斜的检查和处理 查看正在运行的语句状态 判断当前锁的状况 使用 Nest Loop JOIN 提升性能 收集统计信息 AnalyticDB PostgreSQL 的优化器在进行查询优化时，会根据统计...
FuzzyKeyword FuzzyKeyword类型也是一种字符串类型，主要特点是支持高性能的通配符查询、前缀查询和后缀查询，在任意规模数据上均能保持比较好的查询性能，查询性能不会随着规模增大而下降。在业务场景中，如果需要使用高性能（毫秒级）的...
多列筛选查询中，在设定排序键的基础上，如果频繁地针对Beam表的其他几列执行高筛选率的查询，您可以使用Beam收集指定列统计信息的能力作为对排序键的补充，获得更优的查询性能。本文介绍如何使用Beam指定列收集统计信息。背景介绍 多维...
因此出现这样的情况，在不升级磁盘空间的前提下，比较好的解决方法是起个新的实例，通过 DTS 工具将数据迁移到新实例中。ib_logfile 日志文件：ib_logfile0 和 ib_logfile1 日志文件保存 InnoDB 引擎表的事务日志信息，其文件大小尺寸固定...
先通过MySQL客户端进行验证，如果MySQL客户端显示正常，那么需要定位您使用的其他客户端软件对返回结果是否做过特殊处理。如何解决AES_ENCRYPT内置函数报错？执行以下语句，出现报错。SELECT CONVERT(AES_DECRYPT(AES_ENCRYPT('ABC123','...
以下内容按照聊天系统的消息存储、关系维护、即时感知、多端同步四个功能模块分块，分别介绍每一部分的功能、方案介绍、表设计以及实现代码等。功能模块 功能：消息存储 消息系统中，消息存储是最基本的功能。对于消息存储（提供消息的读、...
相关文档 MaxCompute支持OSS、Hologres及RDS等多种外部表，具体请参见 OSS外部表（CSV/TSV/纯TEXTFILE外部表、Parquet外部表、ORC外部表、Paimon外部表、JSON外部表、AVRO外部表、Hudi外部表、Delta Lake外部表、RCFILE外部表、...
Count Distinct Count Distinct是原生PG语法，Hologres针对Count Distinct场景做了非常多的性能优化（包括单个Count Distinct、多个Count Distinct、数据倾斜、SQL没有Group By字段等场景），直接使用明细宽表的方案也能很好的提升查询性能...
LAMBDA表达式及相关函数 Serverless能力 Serverless Computing功能场景拓展，支持读写加密表，含内部表加密表和MaxCompute外部表加密表。查询队列能力拓展，支持按表对SQL分类，将某张表的请求自动路由至Serverless Computing中执行。...
用户媒介关系表 使用【igraph_mock.anti_cheating_demo_medium_edge】，关系表中包括100000个媒介，其中0.3%的媒介被超过1个用户使用 可参考的MaxCompute建表语句：score主要用于表示用户使用媒介的频繁程度/重要性，可以根据业务逻辑进行...
JOIN是将多个表以某个或某些列为条件进行连接操作而检索出关联数据的过程，多个表之间以共同列关联在一起。本文主要介绍 PolarDB-X 如何优化和执行JOIN。基本概念 JOIN是SQL查询中常见的操作，逻辑上说，它的语义等价于将两张表做笛卡尔积...
Hash Join中，右表创建Hash，左表去右表中查找符合条件的数据，一般右表要尽量小于左表，以减少创建Hash表的开销以及Hash表的大小。您可以通过检查Join表过滤后的大小来查看对应的左右表选择是否合理。但由于还有多表Join的中间结果，以及...
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
在某些场景下，例如统计信息过期，会导致预估的表大小有偏差，从而导致广播了大量数据，此时可以考虑使用Hint JOIN_DISTRIBUTION_TYPE=repartitioned 来关闭数据的广播功能。Stage输入数据倾斜 问题 导致Stage输入数据倾斜的可能原因如下：...
如上图所示：创建维度表时：可以指定维度表在数据分析使用时，维度表的数据存储于数仓中的哪个数据分层，一般情况下维度表可存储于公共维度层（DIM层），也支持将维度表挂载于应用层。系统默认的应用数据层只能创建应用表，如需在应用层...
1.单列统计信息 如我们在上一节所见，查询规划器需要估计一个查询要检索的行数，这样才能对查询计划做出好的选择。本节对系统用于这些估计的统计信息进行一个快速的介绍。统计信息的一个部分就是每个表和索引中的项的总数，以及每个表和...
更新统计信息 如上述查看统计信息中，参与Join的表如果未及时更新统计信息，可能会导致数据量大的表做了Hash表，从而导致Join效率变低。因此可以通过更新表的统计信息，提升SQL性能。analyze tablename;选择合适的分布列（Distribution Key...
表设计检查 有限使用行存表 行存表使用场景相对有限，主要用在Flink关联维表场景，因此需要避免误用。列出所有行存表命令如下。SELECT table_namespace AS schema,table_name AS tables FROM hologres.hg_table_properties WHERE property_...
使用说明 Word2Vec组件的上游需要接入 词频统计 组件。说明 词频统计的输出结果为三元组，即词和词的统计。组件下游接入Word2Vec组件，Word2Vec组件会先将数据整理成单个单词的形式，后续会按照整个Doc来处理。组件配置 您可以使用以下任意...
多键组合查询 为了比较好的理解多键组合查询场景，使用如下命令将 mf_tab 表改造成Range Clustering表。ALTER TABLE mf_project.mf_tab RANGE CLUSTERED BY(project_name,name)SORTED BY(project_name,name)INTO 1024 BUCKETS;这样做的好处...