python计算非内置数据类型占用内存

简介:

getsizeof的局限

python非内置数据类型的对象无法用sys.getsizeof()获得真实的大小,例:

复制代码
import networkx as nx
import sys
G = nx.Graph()
l = [i for i in xrange(10000)]
print "size of l:", sys.getsizeof(l)
G.add_nodes_from(l)
print "size of graph:", sys.getsizeof(G)
复制代码

结果

size of l: 87632
size of graph: 64

分析

图graph中包含点序列l,而大小还不如l的大小,所以用getsizeof计算python的非内置类型的对象大小时是不准的。

使用psutil模块获取内存

例1:

复制代码
import networkx as nx
import psutil
import sys
import os
G = nx.Graph()
l = [i for i in xrange(10000)]
print "size of l:", sys.getsizeof(l)
G.add_nodes_from(l)
print "size of graph:", sys.getsizeof(G)
process = psutil.Process(os.getpid())
max_mem = process.memory_info().rss
print 'max_mem:', max_mem
复制代码

这样得到的有问题,需要把一开始系统所占的内存去掉

复制代码
import psutil
import sys
import os

process = psutil.Process(os.getpid())

max_mem_1 = process.memory_info().rss
print 'max_mem:', max_mem_1

G = nx.Graph()
l = [i for i in xrange(10000)]
G.add_nodes_from(l)

max_mem_2 = process.memory_info().rss
print 'max_2:', max_mem_2
print 'max_mem:', max_mem_2 - max_mem_1
复制代码

结果

max_mem: 23724032
max_2: 31637504
max_mem: 7913472

例2:

复制代码
import psutil
import os
import sys
from datetime import datetime

process = psutil.Process(os.getpid())

max_mem_1 = process.memory_info().rss / 1024.0 / 1024.0 / 1024.0
print 'max_mem 1:', max_mem_1

all_road_nx = 'a' * 1024 * 1024 * 1024 * 10;
print 'size:', sys.getsizeof(all_road_nx)/ 1024.0 / 1024.0 / 1024.0
print 'len all_road_nx:', len(all_road_nx)


max_mem_2 = process.memory_info().rss / 1024.0 / 1024.0 / 1024.0
print 'max_mem 2:', max_mem_2

print 'max_mem 3:', max_mem_2 - max_mem_1
复制代码

结果:

复制代码
max_mem 1: 0.00862503051758
size: 10.0000000345
len all_road_nx: 10737418240
max_mem 2: 10.0086517334
max_mem 3: 10.0000267029
复制代码

python模块psutil简介

psutil提供了个接口,可以用来获取信息,包括:

  • 当前运行的进程
  • 系统(资源使用)信息
  • CPU
  • 内存
  • 磁盘
  • 网络
  • 用户

psutil实现了很多功能,包括了如下工具所具有的:

  • ps
  • top
  • df
  • kill
  • free
  • lsof
  • free
  • netstat
  • ifconfig
  • nice
  • ionice
  • iostat
  • iotop
  • uptime
  • pidof
  • tty
  • who
  • taskset
  • pmap

psutil获取系统状态举例

复制代码
#! coding:utf-8
import networkx as nx
import psutil
import sys
import os

p = psutil.Process(os.getpid())

psutil.pids()  #查看系统全部进程
p = psutil.Process(6241)  #查看系统全部进程
print "name:", p.name()   #进程名
print "bin 路径", p.exe()    #进程的bin路径
print "进程绝对路径", p.cwd()    #进程的工作目录绝对路径
print "进程状态", p.status()   #进程状态
print "进程创建时间", p.create_time()  #进程创建时间
print "进程uuid信息", p.uids()    #进程uid信息
print "进程gid信息", p.gids()    #进程的gid信息
print "进程的cpu时间信息", p.cpu_times()   #进程的cpu时间信息,包括user,system两个cpu信息
print "get进程cpu亲和度", p.cpu_affinity()  #get进程cpu亲和度,如果要设置cpu亲和度,将cpu号作为参考就好
print "进程内存利用率", p.memory_percent()  #进程内存利用率
print "进程内存rss,vms信息", p.memory_info()    #进程内存rss,vms信息
print "进程的IO信息", p.io_counters()    #进程的IO信息,包括读写IO数字及参数
print "进程列表", p.connections()   #返回进程列表
print "进程开启的线程数", p.num_threads()  #进程开启的线程数
复制代码

结果

复制代码
name: python
bin 路径 /home/tops/bin/python2.7
进程绝对路径 /home/jihite/iu_iso_test
进程状态 sleeping
进程创建时间 1463322002.74
进程uuid信息 puids(real=124674, effective=124674, saved=124674)
进程gid信息 pgids(real=100, effective=100, saved=100)
进程的cpu时间信息 pcputimes(user=14.38, system=2.38, children_user=0.0, children_system=0.0)
get进程cpu亲和度 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31]
进程内存利用率 0.0432284208934
进程内存rss,vms信息 pmem(rss=58548224, vms=534482944, shared=6922240, text=1536000, lib=0, data=268894208, dirty=0)
进程的IO信息 pio(read_count=4166, write_count=1192, read_bytes=0, write_bytes=0)
进程列表 [pconn(fd=3, family=2, type=1, laddr=('10.184.70.11', 57785), raddr=('10.184.70.13', 8018), status='ESTABLISHED')]
进程开启的线程数 4
复制代码

 





本文转自jihite博客园博客,原文链接:http://www.cnblogs.com/kaituorensheng/p/5491705.html,如需转载请自行联系原作者

相关文章
|
5天前
|
Python
【Python操作基础】——数据类型
【Python操作基础】——数据类型
|
2天前
|
安全 Java C语言
【Python 的内存管理机制专栏】Python 内存管理机制与底层实现:C 语言视角的剖析
【5月更文挑战第18天】Python的内存管理涉及对象分配、引用计数和垃圾回收。对象分配类似C的动态内存,但更自动化。引用计数跟踪对象引用,计数为0时回收。垃圾回收机制自动清理不再使用的对象,避免内存泄漏。这种高效自动化管理让开发者能专注于业务逻辑,而底层实现的理解有助于解决特殊问题和优化性能。
【Python 的内存管理机制专栏】Python 内存管理机制与底层实现:C 语言视角的剖析
|
2天前
|
算法 Java Python
【Python 的内存管理机制专栏】Python 内存管理实战:性能优化与内存泄漏检测
【5月更文挑战第18天】Python内存管理关乎程序性能与稳定性。优化包括避免过多临时对象,如优化列表推导式减少对象创建。警惕循环引用造成的内存泄漏,如示例中的Node类。使用`gc`模块检测泄漏,通过`gc.set_debug(gc.DEBUG_LEAK)`和`gc.collect()`获取信息。实践中需持续分析内存使用,优化算法、数据结构和资源释放,以提升程序质量与效率。
【Python 的内存管理机制专栏】Python 内存管理实战:性能优化与内存泄漏检测
|
2天前
|
存储 Java 程序员
【Python 的内存管理机制专栏】深入解析 Python 的内存管理机制:从变量到垃圾回收
【5月更文挑战第18天】Python内存管理关乎程序性能与稳定性,包括变量存储和垃圾回收。变量存储时,如`x = 10`,`x`指向内存中值的引用。垃圾回收通过引用计数自动回收无引用对象,防止内存泄漏。了解此机制可优化内存使用,避免循环引用等问题,提升程序效率和稳定性。深入学习内存管理对成为优秀Python程序员至关重要。
【Python 的内存管理机制专栏】深入解析 Python 的内存管理机制:从变量到垃圾回收
|
3天前
|
数据采集 数据挖掘 关系型数据库
Excel计算函数(计算机二级)(1),2024年最新2024Python架构面试指南
Excel计算函数(计算机二级)(1),2024年最新2024Python架构面试指南
|
3天前
|
Python
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交
|
3天前
|
存储 算法 Python
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交(2)
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交(2)
|
3天前
|
存储 算法 Python
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交(1)
【Python 百练成钢】高精度加法、阶乘计算、矩阵幂运算、矩阵面积交(1)
|
3天前
|
存储 安全 数据库
阿里云服务器计算型、通用型、内存型主要实例规格特点、适用场景及最新价格参考
在阿里云服务器的实例规格中,有共享型也有企业型,一般用户选择较多的企业级实例规格有计算型、通用型、内存型,每一种实例规格又有多个实例规格族可选,不同的云服务器实例规格在架构、计算、存储、网络、安全等方面有着不同,因此,其适用场景也有所不同。本文来详细介绍一下阿里云服务器计算型、通用型、内存型主要实例计算、存储等性能及其适用场景,以供参考。
阿里云服务器计算型、通用型、内存型主要实例规格特点、适用场景及最新价格参考
|
5天前
|
存储 安全 Java
Python中的引用和赋值机制允许变量引用内存中的对象,并通过引用计数来管理对象的生命周期
【5月更文挑战第14天】Python中的变量是对象引用,不存储数据,而是在内存中创建对象。赋值操作创建新变量并使其指向已有对象。引用计数用于管理对象生命周期,引用数为0时对象被回收。理解这些机制对编写高效Python代码很重要。
18 6