Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso

S3へアップロードする際、データが破損するリスクを考慮する必要はありますか

0

初歩的な質問になります。 アーカイブ用途でAmazon S3 Glacier Deep Archiveを利用しています。 S3 コンソール、AWS CLIを使用してファイルをアップロードしています。 アップロードする際にデータが破損するリスクを考慮する必要はあるでしょうか。

ドキュメントを読むと 「Amazon S3 は、チェックサム値を使用して、Amazon S3 にアップロード またはダウンロードするデータの整合性を検証します。」 「PUT リクエストが成功した場合、データは安全に保存されています。」など、 データが破損するリスクを考慮する必要性は低い様に感じました。

一方で、MD5やチェックサムアルゴリズムを用いて整合性をチェックする方法も案内されています。 これは例えば、元からチェックサムを利用してデータに損傷がないかを検証しているユーザー向けに S3上で検証する手段を用意したり、特に厳格な検証を求めるユーザー向けに提供されているものなのか、 そうではなく、S3へアップロードする際にデータが破損するリスクがあるために、SDKなどを用いて常に 検証しながらアップロードする様な用途を想定したものなのか、気になっています。

アップロード操作の頻度は低く、月に1回ほどです。 アップロードしたデータは年単位で保管することを想定しています。 望ましいアップロード手順を教えて下さい。

preguntada hace 2 años1,1 mil visualizaciones
1 Respuesta
0

ご質問ありがとうございます。 こちらは以下のドキュメント箇所をご参照いただいていると認識しております。

Q: Amazon S3 はデータ整合性チェックのためにどのようなチェックサムをサポートしていますか? https://aws.amazon.com/jp/s3/faqs/

ドキュメントにも記載どおりですが、経験上もデータが破損するリスクは低いと思っております。 また、チェックサムでの整合性を検証する場合は、例えば、S3へのデータ移行に伴うデータ破損の確認のために実施するなどの要件があった場合にご活用いただければよいのではと考えます。

アップロードは月1回とのことですが、もしデータ量が多い(100MB以上)ようであればマルチパートアップロードの利用をお勧めします。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/mpuoverview.html

profile picture
respondido hace un año

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas