如果您在使用 Flink、Spark、Storm 等大数据计算引擎时，需要将日志进行压缩、批量 上传日志到日志服务、减少网络传输资源的占用，API或者SDK往往无法满足大数据场景对数据写入能力的要求，您可以使用Aliyun Log Java Producer，便捷高效地...
在SQL语句中使用自定义函数时，如果计算的数据量过大并且存在倾斜，会导致作业占用的 内存超出默认分配的内存。此时，您可以在Session级别设置 set odps.sql.udf.joiner.jvm.memory=xxxx;属性来解决此问题。更多自定义函数常见问题，请参见...
289)at org.apache.flink.streaming.runtime.tasks.StreamTask.invokeProcessingTimeCallback(StreamTask.java:1435)报错原因 List State中单个key对应的State数据过大，即超过了2 GB。State数据过大产生的过程如下：在作业正常运行时，...
Mem_Usage JVM（Java Virtual Machine，Java虚拟机）堆内存使用率。计算方法：堆内存使用总量/堆内存分配的大小*100%，单位为%。Logic_RT 平均逻辑响应时间，一个逻辑请求（用户请求）的响应时间的计算方法：发送完返回结果的时间点-接收完...
在java NIO（New Input/Output）类，引入了一种基于通道（Channel）与缓冲区（Buffer）的I/O方式，direct_memory可以使用Native函数库直接分配堆外内存，然后同一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。...
在java NIO（New Input/Output）类，引入了一种基于通道（Channel）与缓冲区（Buffer）的I/O方式，direct_memory可以使用Native函数库直接分配堆外内存，然后同一个存储在Java堆中的DirectByteBuffer对象作为这块内存的引用进行操作。...
本文为您介绍使用Java语言编写的MaxCompute UDF的常见问题。类或依赖问题 调用MaxCompute UDF运行代码时的常见类或依赖问题如下：问题现象一：运行报错描述为 ClassNotFoundException 或 Some dependencies are missing。产生原因：原因一...
通过这个配置项，SkyWalking可评估应用程序内存使用量。未设置 agent.ignore_suffix 如果这个集合中包含了第一个span的操作名，这个segment将会被忽略掉。未设置 agent.is_open_debugging_class 如果为true，SkyWalking会将所有经...
通过这个配置项，SkyWalking可评估应用程序内存使用量。未设置 agent.ignore_suffix 如果这个集合中包含了第一个span的操作名，这个segment将会被忽略掉。未设置 agent.is_open_debugging_class 如果为true，SkyWalking会将所有经...
若集群实例仅有单个节点的内存使用率达到100%，该实例中可能存在大Key，您可以通过 离线全量Key分析 或 实例诊断 进行定位分析。WRONGTYPE Operation against a key holding the wrong kind of value 可能原因：命令使用错误，例如对String...
处理方法：可以使用 head 和 tail 命令结合日志中生成的时间戳信息，来判断是否由于Java Logging APIs生成的日志导致存储空间占用过大。通常情况下，这些依赖库产生的都是INFO级别日志，不影响组件正常功能使用，但为了避免数据盘存储空间...
堆内存详情 堆（Heap）部分是Java内存中的核心部分，所有对象都在这里分配内存，是垃圾收集的主要区域。根据Java垃圾收集器的不同，ARMS展示的最大允许使用堆内存有可能会略小于用户设置的堆内存上限。例如在ParallelGC垃圾收集器中，设置-...
MaxCompute Type Java Type Java Writable Type TINYINT java.lang.Byte ByteWritable SMALLINT java.lang.Short ShortWritable INT java.lang.Integer IntWritable BIGINT java.lang.Long LongWritable FLOAT java.lang.Float ...
说明 应用程序使用 MADV_HUGEPAGE 标记时，内核就会知道应用程序希望使用大页进行内存分配。碎片整理配置 除了上述全局配置外，还有下列两个与透明大页THP相关的碎片整理配置。透明大页THP碎片整理：透明大页的碎片整理可以合并系统中分散...
说明 应用程序使用 MADV_HUGEPAGE 标记时，内核就会知道应用程序希望使用大页进行内存分配。碎片整理配置 除了上述全局配置外，还有下列两个与透明大页THP相关的碎片整理配置。透明大页THP碎片整理：透明大页的碎片整理可以合并系统中分散...
内存使用率高的现象分类 内存使用率高，通常分为以下三种情况：内存使用率在较长一段时间内 一直处于较高水位。通常，当内存使用率超过95%时需要及时关注。内存使用率一直较低，但从某个时间点开始 突然上升至较高水位，甚至达到100%。实例...
本文介绍使用数据迁移工具ossimport的常见问题及解决方法。通用说明 本文提到的所有涉及ossimport的命令均为简写，实际操作时，需补全命令。Windows系统需加上 console.bat 进行补全，例如 submit 实际为 console.bat submit。Linux系统...
true,开启https解析 false,关闭https解析 是否允许使用过期IP SDK在解析域名时，会把解析结果缓存在内存中，过了TTL时间，则为过期IP，我们默认允许返回过期IP，如果您期望不使用过期IP，需要配置不使用过期IP。重要 当设置为 YES 时，SDK...
进程组生态 计算公式 Memcg rss+cache（active cache+inactive cache）Docker rss K8s rss+active cache Java内存统计 Java进程的虚拟地址空间 Java进程虚拟地址空间中数据存储区域分布如下：通过JMX获取内存指标 Java进程可以通过JMX暴露...
当攻击者拿到代码执行权限后，可以通过Java Native函数去调用外部的恶意动态链接库，从而绕过Java层的安全防护，并隐匿具体的恶意行为。您的服务器可能存在代码执行漏洞，请检查漏洞的位置并限制执行代码的功能。SQL注入 SQL注入手段通过把...
Spark-Submit内存消耗大，作业过多会造成Header节点资源紧张，导致整个集群不稳定。在Worker节点提交 Spark-Submit进程运行在Worker节点上，占用YARN的一个Container，受YARN监控。此模式可以缓解Header节点的资源使用。在E-MapReduce集群...
在Linux系统中，错误码137表示进程被SIGKILL信号强制中止了，最常见的原因是内存使用量过高，即OOM（Out Of Memory）错误。您可以结合任务详情中worker的内存水位来进一步判断内存不足的原因，或更换内存规格更大的实例，或增加worker数量...
解决方案 上述报错遇到该类报错时需要您调大内存或者分析作业内存使用情况来进一步定位原因。报错java.lang.OutOfMemoryError:GC overhead limit exceeded，该如何处理？报错原因 该报错代表为作业设定的内存不够，导致GC超时。常见原因为...
当攻击者拿到代码执行权限后，可以通过Java Native函数去调用外部的恶意动态链接库，从而绕过Java层的安全防护，并隐匿具体的恶意行为。您的服务器可能存在代码执行漏洞，请检查漏洞的位置并限制执行代码的功能。JSTL任意文件包含 JSP标准...
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
Continuous Profiler Agent为阿里云JVM团队自研性能采集工具，具有高性能、稳定、大规模生产验证等优势。您可以通过Logtail接入Continuous Profiler Agent上报的Java程序性能数据到全栈可观测应用中，进行可视化的性能监控和分析。前提条件...
接入方式 说明 应用场景 自动接入主机和容器（推荐）以服务器为单位进行接入，服务器接入后，在应用程序运行时，应用防护功能会使用JVM Attach能力自动识别并接入服务器中的存在监听端口的Java进程（包括容器环境），将应用防护功能集成到...
即便是临时调大Java的 JAVA_OPTS 配置参数也依旧会出现错误。为了解决该问题，您需要选择使用自定义的连接数压测程序。压测程序的逻辑如下：循环生成若干线程，每个线程生成1个MongoClient客户端，客户端执行查询后保持一段时间内部不释放...
Arthas诊断页面默认显示 JVM概览 页签，您可以在 JVM概览 页签查看以下信息：JVM内存：JVM内存的相关信息，包括堆内存使用情况、非堆内存使用情况、GC情况等。操作系统信息：操作系统的相关信息，包括平均负载情况，操作系统名称、操作系统...
性能数据概览：包含 App CPU（均值）、App Memory（均值）、Stutter（卡顿率）、FPS（均值）、Traffic Usage（总和）、CPU 使用率折线图、内存使用折线图、内存详情折线图、虚拟内存折线图、流量折线图和 FPS 折线图。各项指标说明如下：...
Arthas诊断页面默认显示 JVM概览 页签，您可以在 JVM概览 页签查看以下信息：JVM内存：JVM内存的相关信息，包括堆内存使用情况、非堆内存使用情况、GC情况等。操作系统信息：操作系统的相关信息，包括平均负载情况，操作系统名称、操作系统...
集群节点内存使用率超过90%ZooKeeper 基础版、开发版、专业版 ZooKeeper CMS Gc次数过多 一分钟内集群CMS Gc次数超过5次 ZooKeeper CMS Gc时间过长 一分钟内CMS Gc总时间超过6s Serverless Snapshot限流 Snapshot大小超过20M，接近25M限制...
在CloudDBA中可以实时查看 云原生内存数据库Tair 实例的性能，包括内存使用信息、QPS（每秒访问次数）、网络流量、Server信息、Key信息、Client信息、连接信息等。操作步骤 访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在左侧...
性能数据概览：包含 App CPU（均值）、App Memory（均值）、Stutter（卡顿率）、FPS（均值）、Traffic Usage（总和）、CPU 使用率折线图、内存使用折线图、内存详情折线图、虚拟内存折线图、流量折线图和 FPS 折线图。各项指标说明如下：...
新增SDK端使用内存统计日志，可以看到当前JindoSDK使用的内存大小。JindoTable计算优化 JindoTable新增native加速功能，可以对使用Spark、Hive或Presto读取存储在OSS和JindoFS上的ORC或Parquet格式的文件进行加速，详情请参见 开启native...
单机指标-详 用于实时可视化展示主机的CPU、内存等资源处于不同状态的使用趋势，包括CPU（处于Total、System、User、IOWait状态的CPU使用趋势）、内存（处于Total、Availableused、Used状态的内存使用趋势）等。Kubernetes监控 仪表盘 说明...
total_mem_limit_rate 限制集群内存使用的百分比，当集群内存使用超过该百分比后，开始强制对内存资源进行限制，默认值为95。total_mem_limit_remain_size 集群内存预留值，当集群空闲内存小于预留值后，开始强制对内存资源进行限制，单位...
total_mem_limit_rate 限制集群内存使用的百分比，当集群内存使用超过该百分比后，开始强制对内存资源进行限制，默认值为95。total_mem_limit_remain_size 集群内存预留值，当集群空闲内存小于预留值后，开始强制对内存资源进行限制，单位...
内存使用量 字节（Byte）集群各节点的内存使用量。内存使用率 百分比（%）集群各节点的平均内存使用率。Data Part个数 个 数据分片的总数。Inactive Data Part个数 个 不活跃的数据分片个数。ZooKeeper CPU使用率 百分比（%）集群ZooKeeper...
使用说明 在kubernetes中开启大页内存管理的方法如下 需要在工作负载中加入启动参数：apiVersion:apps/v1 kind:DaemonSet metadata:name:privileged spec:selector:matchLabels:name:privileged-container template:metadata:labels:name:...