部分Workload会向HDFS中写入更多的文件，或者随着一段时间的积累HDFS保存的文件数不断增加，当增加的文件数超过默认的内存空间配置时，则默认的内存空间无法存储相应的信息，您需要修改内存大小的设置。建议：修改NameNode JVM内存大小。...
Key总数 推荐的内存规格千万 64 GB、32 GB、16 GB 2千万~5千万 64 GB、32 GB 5千万~1亿 128 GB、64 GB、32 GB>1亿 128 GB、64 GB 说明 内存容量决定创建实例时分配到的CPU资源，因此内存容量越大性能越高。磁盘选型 磁盘中保存Tair的所有...
例如：输入数据（模型）的大小为1 GB，则每个节点使用的内存大小可以配置为30 GB。如何预估使用的节点个数？由于存在通信开销，随着节点数量的增加，分布式训练任务速度会先变快，后变慢。如果您观测到训练任务随着节点数量增加之后，速度...
例如：输入数据（模型）的大小为1 GB，则每个节点使用的内存大小可以配置为30 GB。如何预估使用的节点个数？由于存在通信开销，随着节点数量的增加，分布式训练任务速度会先变快，后变慢。如果您观测到训练任务随着节点数量增加之后，速度...
说明 当Key数量特别多时（例如几亿个），会占用较大的内存。说明 大部分OOM场景是由于动态内存管理失效引起，例如限流时请求堆积导致动态内存快速上升、过于复杂或不合理的Lua脚本也可能导致OOM。步骤一：分析内存使用情况 查询指定时段的...
说明 所有DB存储的数据总量受限于实例的内存大小；单个DB占用内存按照使用情况自动分配，上限为实例内存（例如DB0占用全部内存而其它DB无数据）。Redis命令支持 详情请参见 Tair命令支持概览。监控报警 云原生内存数据库Tair 未提供容量告...
该算法可以支持多大的数据量？数据量小于100万条，维度小于200。说明 如果数据量超出范围，建议先将数据分组，每个分组分别跑DBSCAN算法。一个中心点的聚类中心ID为什么是2147483648？因为该数据点为离散点，不属于任何一个聚类中心。附录2...
假设聚类中心点数量为K，输入数据的向量维度为M，则每个节点需要配置的内存大小为：M×M×K×8×2×12，即M×M×K×8×2×12÷1024÷1024 MB。通常每个节点的内存配置为8 GB。如何预估节点的个数？建议按照输入数据的大小配置。例如：输入...
total：可供系统使用的内存大小，即物理内存减去预留位和内核使用的内存。free：当前系统完全没有使用的内存。查看当前实例是否存在异常服务或进程。如果不存在异常服务或进程：建议您升级实例规格，具体操作，请参见 包年包月实例升配规格...
MemoryReservedMB yarn_cluster_reservedMB 集群被预留调度的内存大小。单位：MB。MemoryAvailableMB yarn_cluster_availableMB 集群可用内存大小。单位：MB。MemoryAllocatedMB yarn_cluster_allocatedMB 集群已分配的内存大小。单位：MB...
您可以通过离线全量Key分析功能来分析 Tair 的备份文件，快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
内存子系统服务质量（memcg QoS）可以用来控制内存子系统（memcg）的内存使用量的保证（锁定）与限制，在社区版内核中只有 cgroup v2 接口支持该功能。Alibaba Cloud Linux 2（内核版本 4.19.91-18.al7 开始）和Alibaba Cloud Linux 3新增 ...
对于开源Flink实时计算引擎的实时实例，可在Dataphin中查看运行分析。运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也...JM所在的JVM创建后，加载类的总数或卸载类的总数过大，会导致占用过大的内存空间，从而影响作业性能。个
大页面（HugeTLB）：使用大页面（HugePages）技术分配的内存。应用程序运行时所使用的内存。内核内存（Kernel Memory）内核内存由以下几个部分组成：Slab：用于管理内核对象缓存的内存池。Vmalloc：用于分配大块虚拟内存空间的机制。...
spark.executor.memory Spark应用程序中每个执行器（Executor）可用的内存大小。spark.executor.instances Spark分配的执行器（Executor）数量。动态资源分配 默认关闭。开启后，需要配置以下参数：executors数量下限：默认为2。executors...
HeapMemory committed trino_Memory_HeapMemoryUsage_committed JVM可使用的内存大小。AbandonedQueries Count trino_QueryManager_AbandonedQueries_OneMinute_Count 中止查询的总数。JVM Max MemHeap trino_Memory_HeapMemoryUsage_max ...
云数据库 MongoDB 版 的内存使用率是一个非常重要的监控指标。本文介绍查看 云数据库 MongoDB 版 实例内存使用率的方法，以及导致内存使用率高的原因和优化策略。背景信息 云数据库 MongoDB 版 进程启动后，不仅会加载二进制文件和依赖的...
0 InstanceMemory string 实例的内存大小。8192M InstanceSystemDiskSize integer 实例的系统盘大小。200 InstanceGpuMemory string 实例的显存大小 0G InstanceUsedCpu float 实例被使用的 CPU 数量。2.4 InstanceUsedGpu float 实例被...
Redis申请内存空间分配时，对于大小不一的内存空间需求，内存分配器按照固定大小分配内存空间，分配的内存空间一般都会比申请的内存空间大一些，这会产生一定的内存碎片。键值对会被修改和删除，会导致空间的扩容和释放。如何判断Redis是否...
任务运行资源是指在Dataphin中创建任务并在运行时任务所占的计算资源，即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可为两大类：...
如果JVM堆空间大小设置过大，可能会导致Linux系统的OOM Killer被激活，进而结束（kill）Java应用进程，在容器环境下可能会表现为频繁异常重启。本文介绍在容器环境下JVM堆参数的配置建议，以及OOM的相关常见问题。通过-XX:MaxRAMPercentage...
使用混合存储型，将所有课程信息存储到磁盘，访问量大的课程和题库数据存储到内存并常驻内存，保证高频访问数据的读写性能，实现高性能与高性价比的有机结合。典型业务场景的示例如下：场景1：使用开源Redis集群存储了100GB的数据，但高峰...
这样的数据结构为访问随机元素、访问指定范围内的多个元素、实现定长Stream等操作提供了高效的支持，同时具有极高的内存利用率。在 Tair 实例中，宏节点中可储存的Stream条目数可通过 stream-node-max-entries 自定义，而单个宏节点占用的...
内存管理函数 函数名 描述 aos_malloc()从系统heap分配内存给用户 aos_zalloc()从系统heap分配内存给用户，并且将分配的内存初始化为0 aos_calloc()从系统heap分配内存给用户，并且将分配的内存初始化为0 aos_realloc()重新调整之前调用 ...
在容器服务K8s集群或Serverless K8s集群中创建或部署应用时，您可以通过Java启动参数对JVM进行内存、GC（垃圾回收）策略以及服务注册与发现等配置。正确配置Java启动参数有助于降低GC（垃圾回收）开销，从而缩短服务器响应时间并提高吞吐量...
实时落盘功能可以使用同样的实时内存，承载更多的实时索引，对于数据量更新较大的应用建议开启。enable_async_dump_segment：是否开启实时索引异步dump功能，true/false，默认为false。开启时dump索引不阻塞实时索引构建，建议设置为true。...
实时落盘功能可以使用同样的实时内存，承载更多的实时索引，对于数据量更新较大的应用建议开启。enable_async_dump_segment：是否开启实时索引异步dump功能，true/false，默认为false。开启时dump索引不阻塞实时索引构建，建议设置为true。...
说明 当Key数量特别多时（例如几亿个），会占用较大的内存。说明 大部分OOM场景是由于动态内存管理失效引起，例如限流时请求堆积导致动态内存快速上升、过于复杂或不合理的Lua脚本也可能导致OOM。云数据库Redis企业版（Tair）增强了对动态...
slab_unreclaimable是指在Linux内存管理中由slab分配器分配的且被标记为不可回收（unreclaimable）的内存。当不可回收内存占用总内存的比例过高时，将会影响可用内存与系统性能。本文介绍如何排查Alibaba Cloud Linux系统slab_...
任务运行资源是指在Dataphin中创建任务并在运行时任务所占的调度资源，即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可分为两大类：...
Container.N.Memory number 1.0 容器的内存大小。单位：GiB。InstanceType String 2-4Gi 指定实例规格。支持指定多个规格（单次最多5个），各规格之间用半角逗号（,）进行分隔。可以指定vCPU和内存规格，也可以指定ECS规格。...
创建ECI实例时，如果指定的vCPU和内存规格不满足ECI规格约束，系统会在满足资源需求的同时自动向最接近的ECI规格进行资源规整，规整后的规格过大可能会造成一定程度的资源浪费。对于一些不影响业务的容器（例如Sidecar容器），可以为其设置...
微软官方提供多种工具来分析Windows系统的内存使用情况，除了系统自带的任务管理器（Task Manager）、资源监视器（Resource Manager）、性能监视器（Performance Monitor），还有SysInternals工具，SysInternals工具如RAMMap和PoolMon，...
分片规格 选择实例的规格，每种规格都有对应的内存大小、连接数上限、带宽限制等，更多信息，请参见 规格查询导航。说明 实例创建后会自动生成数据库元信息，集群架构的实例每个分片均包含30 MB~50 MB的元信息，整个集群中元信息占用的存储...
大部分场景下，如果没有特殊的规格需求（如GPU、本地盘等），推荐您指定vCPU和内存来创建ECI实例，系统会尝试使用多种ECS规格进行支撑，以提供比ECS单规格更好的弹性和资源供应能力。规格说明 您可以指定实例或者容器的vCPU和内存来创建ECI...
您也可以配置为具体的内存大小，例如 10G。如何限制单条查询语句消耗内存的大小？可以使用SQL语句 set MEM_LIMIT=Xg 限制，在该语句Session范围内生效。如何提升非JOIN语句的查询效率？对于单条没有JOIN的查询语句，您可以在Impala控制台...
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
通过离线全量Key分析功能来分析Redis的备份文件，可以快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
概述 微软官方提供多种工具来分析Windows系统的内存使用情况，除了系统自带的任务管理器（Task Manager）、资源监视器（Resource Manager）、性能监视器（Performance Monitor），还有SysInternals工具，SysInternals工具如RAMMap和PoolMon...