外网访问控制：如果需要提供外网访问能力，可以使用NAT网关或弹性IP实现。附录：ECS实例类型 您可以通过 实例规格族 查看在售的ECS实例规格族的特点、规格及适用场景，为您在EMR控制台配置节点实例规格提供参考。实例类型 特性 通用型 vCPU...
在PolarDB中，除原生MySQL的行存串行执行外，还有能够发挥多核计算能力的基于行存的Parallel Query功能。因此，优化器会在行存串行执行、行存Parallel Query和IMCI三个选项之中选择。在目前的迭代阶段，优化器按如下的流程执行：执行SQL的...
修复因容器内存使用率计算错误（误将 pfsd 内存计入），导致内存保护机制未能被正常触发的问题，增强集群在内存高负载下的稳定性和资源管理准确性。2.0.14.17.36.0（2025.09）新增功能 说明 相关文档 新增DynamoDB兼容性能力。新增支持在...
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
在 PolarDB 中，除原生MySQL的行存串行执行外，还有能够发挥多核计算能力的基于行存的Parallel Query功能。因此，实际优化器会在行存串行执行、行存Parallel Query、以及IMCI三个之中选择其一。在目前的迭代阶段，优化器按如下的流程执行：...
发布日期：2024-10-24 产品版本：V2.5.0 组件版本：5.4.20 列存索引相关 类别 说明 新增&优化 包含列存索引的表新增支持TRUNCATE TABLE操作。具体信息，请参见 列存索引DDL语句限制。列存索引新增支持按排序键降序排序。列存索引新增支持重...
并基于offset和limit做truncate，主要原因如下：如果在内存不足时继续使用Self-sharpening Input Filter的设计，就需要将积累的sorted run落盘，并且在pre-merge时同样使用外排序算法，产生大量的读写磁盘的操作，相对于内存充足场景下的...
列存索引中的哈希连接支持左/右外连接（Left/Right Outer），以及左/右半连接（Left/Right Semi）。这些信息也会显示在查询计划的算子名称中，例如 Hash Left Semi Join。哈希连接支持阻塞（Blocking）与流水线（Pipeline）两种执行模式，...
热Key 预期外的访问量陡增，如突然出现的爆款商品、访问量暴涨的热点新闻、直播间某主播搞活动带来的大量刷屏点赞、游戏中某区域发生多个工会之间的战斗涉及大量玩家等。大Key和热Key带来的影响 类别 影响 大Key 客户端执行命令的时长变慢...
日志分析型应用 日志分析型应用底层采用读写分离+存算分离的架构，进一步提升单位资源的写入性能，并优化索引结构、压缩存储消耗，带来成本的大幅降低。该应用设有预留资源，每个应用将预留 5CU/小时 的查询计算资源，存在最低计费门槛，...
对于GPU、本地盘、ARM等除了指定规格外还需要额外配置其他参数的规格，指定多规格时只能指定同类型的规格，无法和其他规格同时指定。示例一：指定GPU规格 apiVersion:apps/v1 kind:Deployment metadata:name:test labels:app:test spec:...
对于GPU、本地盘、ARM等除了指定规格外还需要额外配置其他参数的规格，指定多规格时只能指定同类型的规格，无法和其他规格同时指定。示例一：指定GPU规格 apiVersion:apps/v1 kind:Deployment metadata:name:test labels:app:test spec:...
loose_imci_loadstatus_trx_mem_high_wm Global 用于列存索引处理数据库事务而分配的内存（存储行数据 TRX_ROW 和键数据 TRX_KEY 的部分），当事务处理不及时超过该部分内存时，会控制事务回访速率，等待内存降低到该阈值以下继续处理事务...
PolarDB 的无感秒切技术从故障探测、切换速度和切换体验三个方面对切换场景进行了优化，包括计划内的切换，如集群升降配和小版本升级，以及计划外的容灾切换。整合了多项技术，来解决用户的痛点问题：引入全新的高可用模块Voting Disk...
对于GPU、本地盘、ARM等除了指定规格外还需要额外配置其他参数的规格，指定多规格时只能指定同类型的规格，无法和其他规格同时指定。配置示例如下：apiVersion:apps/v1 kind:Deployment metadata:name:test labels:app:test spec:replicas:...
对于GPU、本地盘、ARM等除了指定规格外还需要额外配置其他参数的规格，指定多规格时只能指定同类型的规格，无法和其他规格同时指定。配置示例如下：apiVersion:apps/v1 kind:Deployment metadata:name:test labels:app:test spec:replicas:...
向量列不能作为主键、外键、唯一键或分区键。示例-以下示例表示在表t1中定义列v1的向量维度为4 CREATE TABLE t1(id INT PRIMARY KEY,v1 VECTOR(4));说明 如果定义维度超过16383，将返回错误 Data size(xxx Bytes,xxx dimensions)exceeds ...
阿里云Logstash结合Logstash官方建议，堆内堆外各占一半内存。检查管道参数配置 管道工作线程：该参数值设置使用多少线程来处理filter和output任务，默认为CPU核数。如果CPU使用率不高，可适当调大该参数，提高处理性能。管道批大小：该...
问题修复 说明 修复 列存索引（IMCI）内部线程池在弹性缩容过程中产生的内存泄露的问题，有效避免Serverless集群在 PCU（PolarDB Capacity Unit）动态调整时出现内存泄漏。修复 列存索引（IMCI）中运行时关闭 Hybrid Plan 时可能导致崩溃的...
列存节点的CPU使用率高/内存使用率高/如何配置列存节点的CPU和内存监控？列存索引的默认配置是单条SQL并发执行，并且在执行时可以用满所有CPU。当存在多条SQL同时执行时，数据库内部的调度器会对SQL进行调度，动态降低各个SQL的CPU上限以及...
2023-05-17 暂不支持 使用弹性保障的私有资源池创建Pod 新增vCPU和内存规格 新增支持以下规格：24 vCPU，24 GiB内存 32 vCPU，32 GiB内存 2023-05-11 指定vCPU和内存创建实例 指定vCPU和内存创建Pod 抢占式实例没有库存时自动转为按量付费...
polar_csi.memory_limit 1~1048576 1024 列存索引可以使用的内存大小，单位：MB。内存阈值越大，索引创建越快。请根据集群规格来调整该参数的值，建议不超过集群内存的25%，否则可能造成OOM的风险。polar_csi.flush_count 2048~20480000 ...
规格系列 支持列存通用规格和列存独享规格 计算节点规格 按照节点规格×节点个数的方式售卖，您可以通过选择规格配置实例物理规格CPU核数和内存大小。说明 列存只读实例，仅包含计算层节点，不包含行存的存储层节点。计算节点个数 选择目标...
针对LSM-tree专用优化的高效PM内存管理器Halloc，提出了优化的基于PM的半持久化内存表用以替换传统方案DRAM中的内存表，使用ROR无锁免日志算法去除传统方案依赖WAL保持事务的ACID属性，设计全局有序的Global Index持久化索引层以及存内合并...
Pod Ephemeral Storage使用情况的统计渠道包括：除tmpfs类型（保存在内存中）的EmptyDir外，Pod挂载的其他类型EmptyDir 节点上存储Pod日志的文件 Pod中所有容器的可写层 Secret和ConfigMap：此类数据卷通常用来存储集群中的资源信息，没有...
loose_imci_min_virtual_memory 使用列存索引进行查询的最小内存。取值范围：1~9223372036854775807。默认值为DBNodeClassMemory*3/20。单位为Byte。loose_imci_max_virtual_memory 使用列存索引进行查询的最大内存。取值范围：1~...
如果发现有单个业务进程占用大量内存，除了升级实例规格外还可考虑优化业务进程。步骤四：持续跟踪 设置报警：建议为该服务器的内存使用率或可用内存指标设置报警规则，具体操作见 云产品监控。持续监控：在 云监控页面 检测服务器的系统...
V1.8.0版本 发布日期 2024年03月11日 功能更新 功能分类 功能更新说明 管控平台能力 实例类型支持三个版本：支持存算一体版、数据湖分析版和存算分离版。诊断分析能力增强：支持SQL查询分析、表分析、导入任务分析等，帮助您快速定位有问题...
如果是列存表，系统会在内存中存储一张标记表，然后Flush成标记表文件，标记表文件会记录删除的数据所在的文件号（file id）和行号（row id），然后在Compaction的时候做合并。更多原理请参见 Hologres高性能写入技术揭秘。为了提高删除...
loose_imci_min_virtual_memory Global 使用 列存索引 进行查询的最小内存。取值范围：1~9223372036854775807。默认值：DBNodeClassMemory*3/20。单位为Byte。loose_imci_max_virtual_memory Global 使用 列存索引 进行查询的最大内存。...
为了达到语义的最终结果，和Aggregation算子类似，同样需要暂存较多的数据到内存中。Join算子 AnalyticDB for MySQL 支持标准的Join查询操作，系统内部实现Join过程一般使用Hash算法和Index算法，更多介绍，请参见 算子。Hash算法会将小表...
不要将所有数据全部存到redis中，redis内存成本昂贵，建议只将高频热数据存储到Redis中，低频访问数据放到MySQL等磁盘存储中。场景六：冷热数据分离存储 业务场景：业务场景中会有数据高频访问周期，例如顾客大多数场景访问的是半年内的...
存储开销 对于字符串类型的数据，开启列存索引pruner查询优化功能后会带来一定的存储开销和占用一定的内存空间，您可以根据使用场景，选择为指定的列构建bloom filter、minmax indexes、token bloom filter或ngram bloom filter。内存占用...
2023年12月 V6.3.10.26 类别 功能 功能描述 相关文档 优化 优化器 优化多表JOIN场景，放大join_collapse_limit（连接操作能合并的最大表数限制）后，时间与内存大幅度增长。无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain...
在 AnalyticDB PostgreSQL版 查询执行过程中，当集群内存不足时，数据库可能会选择将临时结果暂存到磁盘。由于磁盘操作相对内存访问缓慢，避免查询执行过程中的算子下盘有助于提高查询效率。算子下盘常见原因 在数据量较大的表上执行SORT、...
列存索引数据的行组大小主要影响内存常驻部分数据的大小，在表较多或者使用分区表较多的场景下您可以适当进行调整。取值为整数。取值范围为6~18。未指定行组大小时，默认使用 loose_imci_default_pack_shift 参数的值。关于 loose_imci_...
云原生内存数据库Tair是阿里云国产自研的云原生内存数据库。在完全兼容Redis的基础上，提供了丰富的数据模型和企业级能力来帮助客户构建实时在线场景。
列存索引支持除DATE、TIME和TIMESTAMP外的所有基础数据类型。数据类型的说明，请参见 基础数据类型。重要 创建列存索引前，请先开通列存索引功能。开通列存索引将收取文件引擎和计算引擎费用。如何开通，请参见 前提条件。列存索引的索引键...
透明大页THP（Transparent Huge Pages）是Linux内核中的一个通用特性，它可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，同时减轻了转译后备缓冲器TLB...
对于行存、列存、行列共存表的区别一方面是内存的Mem Table的索引格式不同，另外一方面在Flush到文件的过程中：行存表：会Flush成行存储的文件，即SST格式。列存表：会Flush成列存文件，即ORC格式。行列共存表：会分别Flush为行存和列存两...