Storage Gateway(S3共有)へのデータ転送について(コストの急増原因と代替策を知りたい)

0

状況 ・Storage GatewayをEC2で構築してファイル共有(SMB)を設定(Private IPのみ) ・AWSのVPCとオンプレ環境はSite To Site VPNで接続 ・オンプレサーバーはWindowsでファイルサーバーとして利用 ・データのバックアップはrobocopyコマンドを利用(robocopy /E /R:1 /W:30 /PURGE /MT:16 以下略)

上記の環境下でオンプレのファイルサーバーのバックアップをS3に格納しようとしています。 接続自体は問題ないのですが、データ転送を実施すると「APN1-DataTransfer-Out-Bytes」の項目のコストが急増することがわかりました。 技術的なしくみが不明ですが、このコストの原因がわからず、なにか思い当たる原因をお教えいただきたいです。

また、他の手段でオンプレのバックアップを取る方法があれば、お教えいただきたいです。 なお、AWS CLIによるsyncコマンドは検証済みですが、より確実にバックアップを取る方法で検討しています。

よろしくお願いいたします。

1回答
0

ご質問の状況について、以下のように回答いたします。

「APN1-DataTransfer-Out-Bytes」のコスト急増の原因について:

このコストの増加は、Storage GatewayがS3とデータを同期する際に発生している可能性が高いです。Storage Gatewayは、ローカルキャッシュとS3の間でデータを頻繁に同期させます。特に大量のファイルや頻繁な変更がある場合、この同期プロセスによってデータ転送量が増加し、結果としてコストが上昇することがあります。

また、robocopyコマンドの/PURGEオプションを使用していることも、データ転送量増加の一因かもしれません。このオプションは、コピー先にあって元にないファイルを削除するため、追加のデータ転送を引き起こす可能性があります。

代替策として、以下の方法を検討することをお勧めします:

  1. AWS DataSync: オンプレミスとAWS間のデータ転送に特化したサービスです。高速で安全なデータ転送が可能で、ネットワーク帯域幅の使用を最適化し、転送コストを削減できる可能性があります。

  2. AWS Backup: EC2、EBS、RDS、DynamoDB、EFSなど、様々なAWSリソースのバックアップを一元管理できるサービスです。Storage Gatewayと組み合わせて使用することで、より効率的なバックアップ戦略を立てられる可能性があります。

  3. Amazon S3 Glacier: 長期保存用のデータをより低コストで保管できるストレージクラスです。頻繁にアクセスする必要のないバックアップデータの保存に適しています。

  4. 増分バックアップの実施: フルバックアップではなく、変更されたファイルのみをバックアップすることで、データ転送量を削減できる可能性があります。

これらの方法を組み合わせることで、より効率的で低コストなバックアップ戦略を構築できる可能性があります。具体的な実装方法については、AWSのドキュメントを参照するか、AWSサポートに相談することをお勧めします。
Sources
DescribeCachediSCSIVolumes - Storage Gateway
DescribeStorediSCSIVolumes - Storage Gateway
DescribeWorkingStorage - Storage Gateway

回答済み 5ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ