10TB数据上传方案。

0

我有10TB图片扫描数据需要上传到北京/宁夏服务器上后续做识别分析,但实验室上传速度只有10MB/s,这种情况下最佳的传输方案怎么推荐呢?

profile picture
EXPERTE
gefragt vor 6 Monaten47 Aufrufe
1 Antwort
0

理论上: 10MB/s * 3600s = 36GB 36GB/h * 24h = 864GB 10TB / 864GB = 11.6 days 专线施工周期长,snowball 来回流程也不快。就10MB/s慢慢传吧。或者,把数据 拷到硬盘里。在带宽较好的情况下,先对数据的文件夹进行分散,启用S3上传加速,使用脚本并行上传。

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen

Relevanter Inhalt