Python读写LMDB文件

简介: Python读写LMDB文件 LMDB的全称是Lightning Memory-Mapped Database,它的文件结构简单,包含一个数据文件和一个锁文件。 LMDB文件可以同时由多个进程打开,具有极高的数据存取速度,访问简单,不需要运行单独的数据库管理进程,只要在访问数据的代码里引用LMDB库,访问时给文件路径即可。

Python读写LMDB文件

LMDB的全称是Lightning Memory-Mapped Database,它的文件结构简单,包含一个数据文件和一个锁文件。

LMDB文件可以同时由多个进程打开,具有极高的数据存取速度,访问简单,不需要运行单独的数据库管理进程,只要在访问数据的代码里引用LMDB库,访问时给文件路径即可。

让系统访问大量小文件的开销很大,而LMDB使用内存映射的方式访问文件,使得文件内寻址的开销非常小,使用指针运算就能实现。数据库单文件还能减少数据集复制/传输过程的开销。

在python中使用lmdb: linux中,可以使用指令‘pip install lmdb’ 安装lmdb包。

1. 生成一个空的lmdb数据库文件


import lmdb  
  
# 如果train文件夹下没有data.mbd或lock.mdb文件,则会生成一个空的,如果有,不会覆盖  
# map_size定义最大储存容量,单位是kb,以下定义1TB容量  
env = lmdb.open("./train",map_size=1099511627776)  
env.close()  

2. LMDB数据的添加、修改、删除


import lmdb  
  
# map_size定义最大储存容量,单位是kb,以下定义1TB容量  
env = lmdb.open("./train", map_size=1099511627776)  
  
txn = env.begin(write=True)  
  
# 添加数据和键值  
txn.put(key = '1', value = 'aaa')  
txn.put(key = '2', value = 'bbb')  
txn.put(key = '3', value = 'ccc')  
  
# 通过键值删除数据  
txn.delete(key = '1')  
  
# 修改数据  
txn.put(key = '3', value = 'ddd')  
  
# 通过commit()函数提交更改  
txn.commit()  
env.close()  

3. 查询lmdb数据库内容


import lmdb  
  
env = lmdb.open("./train")  
  
# 参数write设置为True才可以写入  
txn = env.begin(write=True)  
############################################添加、修改、删除数据  
  
# 添加数据和键值  
txn.put(key = '1', value = 'aaa')  
txn.put(key = '2', value = 'bbb')  
txn.put(key = '3', value = 'ccc')  
  
# 通过键值删除数据  
txn.delete(key = '1')  
  
# 修改数据  
txn.put(key = '3', value = 'ddd')  
  
# 通过commit()函数提交更改  
txn.commit()  
############################################查询lmdb数据  
txn = env.begin()  
  
# get函数通过键值查询数据  
print txn.get(str(2))  
  
# 通过cursor()遍历所有数据和键值  
for key, value in txn.cursor():  
    print (key, value)  
      
############################################  
  
  
env.close()  

4. 读取已有lmdb文件内容


import lmdb  
  
env_db = lmdb.Environment('trainC')  
# env_db = lmdb.open("./trainC")  
  
txn = env_db.begin()  
  
# get函数通过键值查询数据,如果要查询的键值没有对应数据,则输出None  
print txn.get(str(200))  
  
for key, value in txn.cursor():  #遍历  
    print (key, value)  
  
env_db.close()  

 

相关文章
|
16天前
|
Python
【python】python跨文件使用全局变量
【python】python跨文件使用全局变量
|
24天前
|
监控 数据处理 索引
使用Python批量实现文件夹下所有Excel文件的第二张表合并
使用Python和pandas批量合并文件夹中所有Excel文件的第二张表,通过os库遍历文件,pandas的read_excel读取表,concat函数合并数据。主要步骤包括:1) 遍历获取Excel文件,2) 读取第二张表,3) 合并所有表格,最后将结果保存为新的Excel文件。注意文件路径、表格结构一致性及异常处理。可扩展为动态指定合并表、优化性能、日志记录等功能。适合数据处理初学者提升自动化处理技能。
21 1
|
29天前
|
存储 并行计算 Java
Python读取.nc文件的方法与技术详解
本文介绍了Python中读取.nc(NetCDF)文件的两种方法:使用netCDF4和xarray库。netCDF4库通过`Dataset`函数打开文件,`variables`属性获取变量,再通过字典键读取数据。xarray库利用`open_dataset`打开文件,直接通过变量名访问数据。文中还涉及性能优化,如分块读取、使用Dask进行并行计算以及仅加载所需变量。注意文件路径、变量命名和数据类型,读取后记得关闭文件(netCDF4需显式关闭)。随着科学数据的增长,掌握高效处理.nc文件的技能至关重要。
104 0
|
1月前
|
Python
python中文件和异常处理方法(二)
python中文件和异常处理方法(二)
13 0
|
1月前
|
Python
python中文件和异常处理方法(三)
python中文件和异常处理方法(三)
19 0
|
16天前
|
C++ Python
【C++/Python】C++调用python文件
【C++/Python】C++调用python文件
|
16天前
|
JSON 数据处理 数据格式
Python中的文件读写操作详解
【4月更文挑战第2天】在Python中,文件读写操作是数据处理和程序开发的重要部分。通过文件,我们可以将信息持久化地保存在磁盘上,并在需要时读取和使用这些数据。Python提供了丰富的内置函数和模块,使得文件读写变得简单而高效。本文将详细介绍Python中文件读写的基本操作和常用方法。
|
28天前
|
开发者 Python
Python语言的文件及目录访问
Python语言的文件及目录访问
|
1月前
|
存储 数据管理 Serverless
Python实现:教你轻松统计文件夹下文件个数
Python实现:教你轻松统计文件夹下文件个数
23 0
|
1月前
|
Python
如何使用Python去除文件后缀名?
如何使用Python去除文件后缀名?
19 0

热门文章

最新文章