S3へアップロードする際、データが破損するリスクを考慮する必要はありますか

0

初歩的な質問になります。 アーカイブ用途でAmazon S3 Glacier Deep Archiveを利用しています。 S3 コンソール、AWS CLIを使用してファイルをアップロードしています。 アップロードする際にデータが破損するリスクを考慮する必要はあるでしょうか。

ドキュメントを読むと 「Amazon S3 は、チェックサム値を使用して、Amazon S3 にアップロード またはダウンロードするデータの整合性を検証します。」 「PUT リクエストが成功した場合、データは安全に保存されています。」など、 データが破損するリスクを考慮する必要性は低い様に感じました。

一方で、MD5やチェックサムアルゴリズムを用いて整合性をチェックする方法も案内されています。 これは例えば、元からチェックサムを利用してデータに損傷がないかを検証しているユーザー向けに S3上で検証する手段を用意したり、特に厳格な検証を求めるユーザー向けに提供されているものなのか、 そうではなく、S3へアップロードする際にデータが破損するリスクがあるために、SDKなどを用いて常に 検証しながらアップロードする様な用途を想定したものなのか、気になっています。

アップロード操作の頻度は低く、月に1回ほどです。 アップロードしたデータは年単位で保管することを想定しています。 望ましいアップロード手順を教えて下さい。

質問済み 2年前1117ビュー
1回答
0

ご質問ありがとうございます。 こちらは以下のドキュメント箇所をご参照いただいていると認識しております。

Q: Amazon S3 はデータ整合性チェックのためにどのようなチェックサムをサポートしていますか? https://aws.amazon.com/jp/s3/faqs/

ドキュメントにも記載どおりですが、経験上もデータが破損するリスクは低いと思っております。 また、チェックサムでの整合性を検証する場合は、例えば、S3へのデータ移行に伴うデータ破損の確認のために実施するなどの要件があった場合にご活用いただければよいのではと考えます。

アップロードは月1回とのことですが、もしデータ量が多い(100MB以上)ようであればマルチパートアップロードの利用をお勧めします。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/mpuoverview.html

profile picture
回答済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ