如何解决从美国下载数 TB 的数据的难题?

This topic created in 3197 days ago, the information mentioned may be changed or developed.

前提:
1.服务器是 windows 系统.而且不能重装 linux.
2.文件总量以 TB 级,单文件最大 50GB.
3.服务器在美国.
问题(主要集中在怎么提供稳定的下载服务):
1.HFS 不知道是为什么,下载一段时间,32G 内存就占满了,服务器就死机了.
2.APACHE 和 NGINX 我都装过,不知道为什么,在 windows 下,并发不是很好.如果有优化方案也可以.
3.文件名里有中文.nginx 搞了好久都没解决中文文件名的文件,在下载时自动转义了中文的问题.
4.有什么其他的方案能以 10MB/s 左右的速度来同步文件么?目前 HTTP 半小时重启一次服务器,可以达到 10MB/s 的速度.

Supplement 1 · Feb 2, 2018

额...请不要再把想法固定在怎么从国外传回来...
我要的是有什么办法能让我稳定的提供 HTTP 或者 FTP 服务?
另:HFS 这种软件还有其他类似的么?还在持续开发的新一点的?

Supplement 2 · Feb 3, 2018

#88 说的这个 raysync,已经试用了一下.速度还真不错.什么都没设置,只是装上激活,就能跑满网卡...

真心不错..有我这种需求的可以去看看了...

文件

Nginx

服务器

下载

101 replies • 2018-08-15 16:50:28 +08:00

1 2

❮

❯

kmahyyg

Feb 1, 2018 via Android

硬盘对拷，快递回来更快

qiuai

Feb 1, 2018

@kmahyyg 这个方案很早就考虑过了.不行啊.服务器是租用的.他们不提供这个服务.花钱也不行.

Showfom

PRO

Feb 1, 2018

@kmahyyg 还得看数据量，要是就一两个 T，那慢慢传也没事，要是有几十个 T，那肯定是快递快了

maemual

Feb 1, 2018 via Android

当地找个人去机房拿硬盘拷，然后寄给你？

kmahyyg

Feb 1, 2018 via Android

@qiuai 那就备案开企业国际专线。Nginx 因为 WIN API 实现的原因，性能不好。个人建议可以考虑试试 resilo sync 或者看看之前 V2 有个朋友写的那个 1.76 倍 Nginx 性能的 http server

xmoiduts

Feb 1, 2018 via Android

在美国下载好带回来？

qiuai

Feb 1, 2018

@xmoiduts @maemual 都是些冷备数据,非必要的话,不想让第二个人接触.
@Showfom 慢慢传是没事..但是他不能稳定的提供下载啊...下半小时就死机了..
@kmahyyg sync 国内墙了咋用...还有其他这种软件么?

hadoop

Feb 1, 2018 via Android

开 ftp 呢？ win 上 ftp 还挺稳定吧

shakoon

Feb 1, 2018

找个在美国的家伙下载到硬盘后再快递回国

qiuai

Feb 1, 2018

@hadoop 也存在死机的问题...windows 2012,用 IIS 和 filezilla 都开过 server..都会死机...我都苦恼死了...

kmahyyg

Feb 1, 2018 via Android

@qiuai 试试这个 https://github.com/jiajunhuang/guard

Rheinmetal

Feb 1, 2018

拷贝到支持硬盘快递的美国云服务？
或者试试 cygwin rsync

kmahyyg

Feb 1, 2018 via Android

@qiuai 还有个叫微力同步的国内版，爱好者们自己改的

loginv2

Feb 1, 2018

做成种子慢慢挂回来

l1093178

Feb 1, 2018

Syncthing / Rsync

ovear

Feb 1, 2018

上 synctrayzor，断点续传，实时同步，增量同步，要啥有啥。
闲速度慢还可以挂代理啊。

ynyounuo

Feb 1, 2018

@qiuai 如果只有个位数 TB 的话可以试试用 lftp 多线程分段传输。

l1093178

Feb 1, 2018

@l1093178 哦，Windows 好像没有 Rsync 实现？那就 Syncthing 吧

qiuai

Feb 1, 2018

@ynyounuo lftp 有 windows 版本?

rssf

Feb 1, 2018 via iPhone

你自己飞去美国硬盘拷贝，或者在他机房租个网线端口，再飞回来

qiuai

Feb 1, 2018

@kmahyyg 正在测试.
@loginv2 几个 T 的文件做成种子...会不会爆种啊...没试过.
@ovear 我先试试微力同步,不行的话再试试这个.
@l1093178 我先试试微力同步,不行的话再试试这个.

qiuai

Feb 1, 2018

@rssf 带宽不缺.

loginv2

Feb 1, 2018

@qiuai BT 不会爆但是做种子需要校验一次数据估计要等很久而且你得有个能用的 tacker 虽然可以自己搭但是也不一定能保证效率扯远了，一个建设性的意见，如果能压缩的话压缩一下顺便分卷打包加上恢复记录然后多文件多线程小体积 HTTP 下回来，但是服务器需要临时增加硬盘容量。除此之外还真没什么好的想法，同步的方案估计也要校验数据效率不一定真的就更好。

ynyounuo

Feb 1, 2018

@qiuai 貌似有，没试过不过

loginv2

Feb 1, 2018

@qiuai 还有服务器虽然不能重装系统但是你可以在美国临时再买个 linux 服务器啊，然后该干嘛干嘛

webjin1

Feb 1, 2018 via Android

单文件最大 50GB，我猜是母鸡开出来的小鸡 vm 文件。

qiuai

Feb 1, 2018

@loginv2 最大的问题就是服务器之间的传输..我国内拖也可以用服务器拖...只要有靠谱的 windows 到 linux 的超大量数据同步解决方案...其他的倒都是小事了.

Feb 1, 2018

你为何不反向思考一下呢？既然你的 windows 做服务极不稳定，那就把它当客户端用算逑，然后在你国内的机器上开服务，ftp 或 rsync 之类的均可，再从国外的 windows 服务器上主动上传到国内，这对你国内的机器来说，只要下行带宽足够即可，普通家用光纤即可，只不过得搞到公网 ip。

qiuai

Feb 1, 2018

@pq 你这个思路很不错啊...我现在在测试上面的方案..晚点我试试这个方案怎么样...

alcarl

Feb 1, 2018 via Android

ftp 多线程断点续传不行吗？

CEBBCAT

Feb 1, 2018

@webjin1 #26 嗯哼？拿 Windows 做母鸡？

liyvhg

Feb 1, 2018 via Android

那就买下那台服务器

hadoop

Feb 1, 2018 via Android

怎么感觉你系统硬件有问题导致的死机呢

function007

Feb 1, 2018

跑个 Linux 虚拟机把文件目录挂进去，外头开个端口映射看行不

fiht

Feb 1, 2018

TB 级别的数据其实并不算大难题。
当时在 DigitalOcean 的机器上下载了 500GB 的小视频，用 rsync+ipv6 拖回来的，速度大概 7-8MB/s，反正能在很可观的速度。
另：感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync，感觉 HTTP 不如 rsync

qiuai

Feb 1, 2018

@pq 测试了下..只能跑 100KB 的速度.白天我再测试下看看

h4lbhg1G

Feb 1, 2018

加密，打包，保持一定冗余。然后校验码。最后用 bypy 来搞吧。多开两个会员账户。又看了下 Windows 系统。好吧，Winrar 带冗余打包，传度盘。看你的网了，好的情况下，可能数 MB。

azh7138m

Feb 1, 2018 via Android

@loginv2 tacker 不是必须的，A 做种，B 直接手动加 peer，输 A 的地址和端口就成。我用 BT 同步过数据，不过只有几十 G 的数据量。

clino

Feb 1, 2018

syncthing 试试,多加几个节点应该能够加速吧
另外开 bbr 速度应该也能快不少

yech1990

Feb 1, 2018 via Android

为什么纠结于 Windows 啊，拿个笔记本或是树莓派安个 Linux，然后 samba 挂载 Windows 目录，这不就要啥有啥了么？

lyhiving

Feb 1, 2018 via Android

主要的还是网络问题，首先化大为小，将文件用 rar 压缩分块，每块 1G。传阿里米西 OSS，然后再批量拉回，解压。

nciyuan

Feb 1, 2018 via Android

@qiuai 如果有钱的话，开几台 HK 或者 EU 的跳板机然后多台一起工作，最后一起回传
当然因为 ss 倒闭的那家子的锐速也可以试试
当然美国到中国由于一个伟大的东西和地理原因，还有硬盘 IO 性能，直连一定不会有国内网那么快
考虑好速度和提升和钱再决定把

chocolatesir

Feb 1, 2018

rsync+挂阿里云 hk 的代理

qiuai

Feb 2, 2018

@nciyuan 我不需要代理...这台机器如果不是因为软件方案的问题的话,早就传完了..
机器是 10MB 的口子,家里是 20MB 的口子...只要能跑多线程,是可以跑满的..

qiuai

Feb 2, 2018

@lyhiving 费用呢...

uptime

Feb 2, 2018

IIS 也死？
为什么不开个国外网盘的会员？挑个国内速度不错的，你服务器打包，再上传到网盘，你这边一边拖回来就是。
用 zip 分包就是。别是用 rar，这样的数量级的，解压会很痛苦的事，zip 足够了

yexm0

Feb 2, 2018 via iPhone

@nciyuan 锐速那只是人家公司不做你个人的生意而已(要求多多还不给肯钱)

lyhiving

Feb 2, 2018 via Android

@qiuai 用云就按量来，一个 T 大概要 300 这样

RangerWolf

Feb 2, 2018

aws 呢?

看你的出口带宽了~

yulitian888

Feb 2, 2018

这个瓶颈在于出口带宽和伟大的墙吧？
硬盘发快递是唯一的选择，既然机房不提供这种服务，那么，找个美国本土(同一网络运营商)的电脑，下载过去再快递硬盘不就好了吗？难道还有更快的解决方案？

20has

Feb 2, 2018 via Android

Windows 的 rsync 方案是 cwrsync 吧我只通不过小文件这种大文件不知道怎么样

Felldeadbird

Feb 2, 2018

楼主应该先找一台美国的服务器（允许硬盘对拷）。将现有数据拷过去后，再写入硬盘空运快递回来。
毕竟如果你直接将服务器数据用各种方法折腾，成本和时间都很漫长。

qiuai

Feb 2, 2018

@yulitian888 我现在最大的问题不是说怎么传回来...是怎么提供稳定的下载服务,让我有机会去拖...

shixinyu

Feb 2, 2018

给 Windows 安装 AWS CMD Tool，然后使用 aws s3 sync 传到 AWS S3 上，再从 S3 上 sync 到本地来。

cnkuner

Feb 2, 2018 via Android

加密打包分割传网盘，开会员取回，校验 md5

yulitian888

Feb 2, 2018

@qiuai 下载的话，FileZilla Server + FileZilla Client ？我试过最大的是单个 300G 的文件，貌似只是挂则就好，没遇到特别的麻烦啊

qiuai

Feb 2, 2018

@shixinyu 这样倒一下...500 块钱就没了.

keepfun

Feb 2, 2018

上传到 aws 的 s3 上,然后下载下来,还是很快的.

shixinyu

Feb 2, 2018

@qiuai 花钱解决难题嘛

tees

Feb 2, 2018

那就买个 vps 一个月,先上传到 vps 再从 vps 拖回来.
vps 开 1T 的硬盘贵的话,就先开个 80G,分批传.

01802

Feb 2, 2018 via Android

多台机开 btsync

discrete

Feb 2, 2018 via iPad

Windows 上开个 Linux 虚拟机？

bullettrain1433

Feb 2, 2018

装个 dropbox 备份呢？然后从 dropbox 上下应该快很多吧

pingsheng

Feb 2, 2018 via Android

@yulitian888 同方案，前些天从杜甫拉几 T 电影回本地，就是遇到了带宽瓶颈，拉了差不多 3 天

qiuai

Feb 2, 2018

@pingsheng 你是怎么拖的.介绍下...

kimqcn

Feb 2, 2018

对头，用压缩软件拆包成 10000 个，慢慢下。

yanze0613

Feb 2, 2018

如果信任阿里云,可以用 oss 同步回来,速度不好嗦,但稳定应该还可以
建一个国外地区的 oss,你把数据推进去
然后使用 oss 的跨区同步,拉回来
同步回来,然后在考虑怎么拉下来,链路是阿里云的
不过这个方案我没试过,但是应该有一定可行性

pingsheng

Feb 2, 2018 via Android

@qiuai 单文件可能只有 20G，在 filezilla client 设置同时下载 10 文件，占满本地 100m 带宽了

daiqiangbudainiu

Feb 2, 2018

@pq 这个方案赞啊，国内开个 Linux 的服务器，美国的 Win 作为客户端上传数据到服务器上。如果楼主解决了，可以搞个教程之类的讲讲，学习一下

Tink

Feb 2, 2018

rsync 慢慢传不行吗

qiuai

Feb 2, 2018

@warcraft1236 速度不行.
@Tink 新服务器准备就这么做.

harker

Feb 2, 2018

网盘中转

exuxu

Feb 2, 2018

收费的 aspera 考虑下，
我司在做类似的产品，但是贵。。。

Rorysky

Feb 2, 2018

先同步到阿里云，再从阿里云拉回本地

lycc

Feb 2, 2018 via Android

主机上存到阿里云 OSS，再下载

tees

Feb 2, 2018

突然想到,你用 putty 的 pscp 往回传

bullfrog

Feb 2, 2018

网络蚂蚁网际快车。。

omph

Feb 2, 2018

国内开服务器，美国作客户端我感觉是可行的。
但不要用常规软件，要使用大文件传输软件。
https://www.zhihu.com/question/22354402

rrfeng

Feb 2, 2018

rsync 应该比 http 好的多。不要用 ssh 模式，多开几个进程并发，因为可能打满单核 cpu

laxenade

Feb 2, 2018 via Android

土办法传到 onedrive 吧 onedrive 连国内的速度还可以

cxbig

Feb 2, 2018

买硬盘，让人加密拷贝了寄回来。

shadownet

Feb 2, 2018

服务器上传 google drive，然后国内下载，应该快的

defunct9

Feb 2, 2018

简单。装个 apache，断点续传就好

defunct9

Feb 2, 2018

忘记标准语了。开 RDP，我来搞

rssf

Feb 2, 2018 via iPhone

如果没有墙，楼上说的各种技术都没问题，可现实是有墙，还是越来越高的墙，加上你这么大数据量，老老实实想办法在墙外拷到硬盘上，再寄或者带回来吧

l4y3

Feb 2, 2018 via iPhone

dropbox 是的不错的方案，最贵的套餐也就 25 刀一个月，足够拖回来了。

zingl

Feb 3, 2018

切小块，任何方法都能弄回来

yibei

Feb 3, 2018 via iPhone

试试 raysync，使用 ftp 协议，内部集成可靠 udp 加速，只要两端带宽够，跑满 10M 非常容易

t43p

Feb 3, 2018

服务器用 ISCSI 软件，PC 机直接出盘，用命令拷贝。
解决了

qiuai

Feb 3, 2018

@yibei 软件不错.不过联系不到人..

Izual_Yang

Feb 3, 2018

迅雷离线。

yibei

Feb 3, 2018 via iPhone

@qiuai dnNiZXJtQGdtYWlsLmNvbQ== （ base64 ）

qiuai

Feb 3, 2018

@yibei 已经开始用了...轻轻松松跑满速.不错不错~~

cfcboy

Feb 4, 2018

你一直强调的稳定性，raysync，怎么样？

qiuai

Feb 4, 2018

@cfcboy 速度稳定性非常不错,白天轻松跑满速,晚上都可以保证不错的速度.
还在持续测试

cfcboy

Feb 4, 2018

@qiuai 我的意思是，软件运行的稳定性怎么，速度的话，有很多种方法。打洞，跳板，转存，等等，前提是软件要稳定。

qiuai

Feb 4, 2018

@cfcboy 昨天开始用,昨天用了一晚上.测试时间不长,但是没出什么 BUG.运行稳定.

cfcboy

Feb 4, 2018

@qiuai 感谢回复。我也刚试了，速度确实不错。

qiuai

Feb 4, 2018

@cfcboy 嗯.我已经拖了快 1T 回来了..

wkl17

Aug 3, 2018

100

最后怎么拖回来的？

Filezilla server 50G 拉不动？上面评论里有说 300G 也搞过...

而且可以断点续传，正常应该是可行的才对，

1 2

❮

❯