百万数量级小文件迁移怎么做?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 1281 天前的主题，其中的信息可能已经有所发展或是发生改变。

服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了不太好使

tar

rsync

硬盘

文件

29 条回复 • 2021-06-10 09:25:51 +08:00

wtfcworld

2021-06-02 17:44:14 +08:00

dd ?

AoEiuV020

2021-06-02 17:44:51 +08:00

ghost?
或者整个硬盘 dd 过去再 resize 分区,

liprais

2021-06-02 17:45:04 +08:00

tar

doyel

2021-06-02 17:46:11 +08:00

dd 最快

hulala1021

2021-06-02 18:09:43 +08:00

rsync 应该没问题诶，我现在同步上百万的文件，没啥问题
不过我是从无到有增量同步的，不是一下字有上百万文件

westoy

2021-06-02 18:11:23 +08:00

dd 到新硬盘，再 resize2fs 扩容

lerry

2021-06-02 18:26:36 +08:00

硬盘快照，具体要看是什么文件系统

mingl0280

2021-06-02 22:20:54 +08:00 via Android

partclone 好。

liuguangxuan

2021-06-02 23:48:35 +08:00 via Android

rsync 会碰到什么问题？

kokutou

2021-06-03 08:42:14 +08:00 via Android

先看看你的 5t 硬盘是不是叠瓦。。。

挂着不管放机房拷几天也就拷完了。

FenixVu

2021-06-03 08:53:05 +08:00

@kokutou 是个希捷的移动硬盘
我刚才才想到需不需要重新格式化成 ext4 在挂载拷贝
默认的应该是 ntfs

kokutou

2021-06-03 09:02:07 +08:00

@FenixVu #11
十有八九是叠瓦

aloxaf

2021-06-03 09:15:29 +08:00

@FenixVu #11
建议格式化，ntfs-3g 是基于 fuse 的，性能不是很高，而你这有 3T 数据……、
虽然有公司开源了一个 ntfs 的内核模块，但没有刚需的话还是建议格式化省事儿

heguangyu5

2021-06-03 09:39:05 +08:00

机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.

Variazioni

2021-06-03 09:56:28 +08:00

@wtfcworld 不懂就问。。dd 是什么。。。

Pythondr

2021-06-03 10:16:35 +08:00

@Variazioni https://en.wikipedia.org/wiki/Dd_(Unix)

MarkLeeyun

2021-06-03 12:38:14 +08:00

rm -rf .* 最快，哈哈。

wangkun025

2021-06-03 13:30:35 +08:00

dd: Copy and convert (called dd because cc is already in use by C compiler)

wangkun025

2021-06-03 13:30:47 +08:00

@MarkLeeyun 差评

iphoneXr

2021-06-03 13:49:13 +08:00

只要是涉及到大量文件迁移备份和同步的统一推荐使用开源软件 rclone 自带校验比对和状态输出。
上面很多人回复都是没实践过，瞎扯淡。

AoEiuV020

2021-06-03 14:24:13 +08:00

@iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧，
而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的，

X0ray

2021-06-03 17:13:48 +08:00

请问下楼主 cp / mv 哪里不好了

wzq001

2021-06-03 17:28:28 +08:00

@MarkLeeyun

wzq001

2021-06-03 17:28:49 +08:00

[sudo] password for root:

@MarkLeeyun

newmlp

2021-06-03 19:29:07 +08:00

当然是硬盘对拷最快

msg7086

2021-06-04 04:53:05 +08:00

叠瓦盘拷 3T 小文件可以拷一年……

FenixVu

2021-06-04 09:29:20 +08:00

@X0ray 我预估了下我这边估计 3000w 左右的文件个数刚开始还好后面就夯死了,考一会歇半天

maxbon

2021-06-04 16:53:08 +08:00

试试 unison，之前百万级别的文件用这个效率还行

FenixVu

2021-06-10 09:25:51 +08:00

@heguangyu5 谢谢老哥用你推荐的方法成功了