windows 下 forfiles 与rsync 同步指定文件夹下的文件

简介:

场景:windowds服务器,某一个目录下文件数有数万个。

采用rsync 同步的时候 可以看出rsync 服务端卡在build filelist阶段 客户端 卡在receiving incremental file list 阶段。

考虑到一个目录下文件太多,rsync在处理文件列表的时候可能会很慢,逐结合windows下的forfiles使用

比如该文件夹路径为:

e:\webroot\upload.xxx.com\upload\upload12\2014\

DST的地址为 192.168.0.2::web_bak/webroot/upload.xxx.com/upload/upload12/2014/

SRC为 /upload.ccc.com/upload/upload12/2014/

则 同步命令可为


forfiles /p e:\webroot\upload.xxx.com\upload\upload12\2014\ /c "cmd /c rsync -ztopg /upload.ccc.com/upload/upload12/2014/@file  192.168.0.2::web_bak/webroot/upload.xxx.com/upload/upload12/2014/@file"


其中@file 是forfiles返回的变量 文件名

其他forfiles 的变量还有 @path 文件的全路径  @fname 无扩展的文件名 @ext 文件的扩展名 @relpath  文件的相对路径 @fsize 文件的大小 @fdate 文件的上一次修改日期 @ftime 文件的修改时间



————————————————————————————————————————————

事实证明用forlfiles 和rsync来配置实际是forfiles遍历目录,每个文件执行一次rsync 将会导致重复的rsync连接 断开,一个目录下数十万个文件下 速度更慢,是不可行的,唯一解决了的是 以前卡在filelist的阶段,并且卡到数小时不见开始传输(估计与文件系统和单目录下文件过多导致列不出文件有关) 而用forfiles可以马上开始传输,但是没有提高效率




      本文转自天山三害 51CTO博客,原文链接:http://blog.51cto.com/skybug/1402263 ,如需转载请自行联系原作者




相关文章
|
18天前
|
C# Windows
.NET开源免费的Windows快速文件搜索和应用程序启动器
今天大姚给大家分享一款.NET开源(MIT License)、免费、功能强大的Windows快速文件搜索和应用程序启动器:Flow Launcher。
|
1月前
|
Linux Shell Windows
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
|
1月前
|
存储 安全 数据安全/隐私保护
Windows部署WebDAV服务并映射到本地盘符实现公网访问本地存储文件
Windows部署WebDAV服务并映射到本地盘符实现公网访问本地存储文件
273 0
|
1月前
|
开发框架 数据安全/隐私保护 开发者
HBuilder开发者必备!Windows上传IPA文件的软件分享
HBuilder开发者必备!Windows上传IPA文件的软件分享
21 1
|
7天前
|
存储 安全 文件存储
Windows系统本地部署HFS并结合内网穿透实现公网访问本地存储文件
Windows系统本地部署HFS并结合内网穿透实现公网访问本地存储文件
Windows系统本地部署HFS并结合内网穿透实现公网访问本地存储文件
|
14天前
|
Windows
【Windows】 手写脚本更快编辑hosts文件
【Windows】 手写脚本更快编辑hosts文件
15 0
|
1月前
|
Windows
Windows 命令提示符(CMD)操作(一):文件和目录管理
Windows 命令提示符(CMD)操作(一):文件和目录管理
42 0
|
1月前
|
程序员 Docker Windows
Windows 10系统压缩C盘WSL虚拟磁盘文件
Windows 10系统压缩C盘WSL虚拟磁盘文件
35 1
|
1月前
|
安全 Linux 网络安全
|
2月前
|
Python Windows
为什么在Windows系统直接点击.py文件总是“一闪而过”?
为什么在Windows系统直接点击.py文件总是“一闪而过”?
210 0