有很多小文件(百万级)需要转移,用U盘拷太慢了,于是压缩成zip后进行转移。压缩的时候倒是挺快的(不到1小时),但是解压缩的需要很长很长时间(10天左右)。
请问有什么高效的转移方式,谢谢。
请问有什么高效的转移方式,谢谢。
|
1
linux系统下可以tar命令分类型打包,每包10k个以下,速度不慢,对内存要求高,win下容易资源耗尽
|
|
skydiverMay 12, 2012
2
处理小文件的速度跟 文件系统类型 有很大关系的
|
|
3
Windows的ntfs系统本身对于小文件的处理就很慢。。。
|
|
5
打包但不压缩呢?
|
|
6
不知道用ftp方式转移,是否够快?
|
|
7
下面两个方法效率应该都不错,前提是网速要给力。
1. rsync -avz user@host:/src /dst 2. tar cf - dir | ssh user@host tar xf - -c /dest-dir |
|
8
推荐用tar打包.
|
|
9
TAR打包没有压缩会快很多。。
嘛其实最快的是磁盘对拷,直接用dd命令,就没有小文件和大文件的区别了,直接整个分区过去。。 |
|
9hillsMay 12, 2012
10
P.S. dd命令生成img,然后又把img还原到分区。
|