私の Amazon FSx for Lustre のデータリポジトリの関連付け (DRA) では Amazon Simple Storage Service (Amazon S3) にファイルをエクスポートできません。この問題のトラブルシューティングを行いたいと考えています。
解決方法
ファイルシステム設定に問題がないかを確認する
- FSx for Lustre のデータリポジトリが正しく設定されているかどうかを確認します。
- ファイルシステムが正しくマウントされていることを確認します。
エクスポート設定に問題がないかを確認する
FSx for Lustre のデータリポジトリと Amazon S3 バケットの間のエクスポートの設定を確認します。データリポジトリの関連付け (DRA) を作成するときは、適切なエクスポートオプションを必ず選択してください。FSx for Lustre が S3 バケットにデータをエクスポートできるように、データが UTF-8 互換形式で保存されることを確認します。Amazon S3 オブジェクトキーの最大長は 1,024 バイトです。FSx for Lustre は、対応する S3 オブジェクトキーが 1,024 バイトを超えるファイルをエクスポートしません。
エラーとログを確認する
FSx for Lustre ログと S3 バケットログを確認して、同期オペレーションに関連するエラーや警告がないか確認します。これらのログは、対処すべき問題を特定するのに役立ちます。詳細については、「Logging with Amazon CloudWatch Logs」(Amazon CloudWatch Logs によるログ記録) を参照してください。CloudWatch 上のファイルシステムの AgeOfOldestQueuedMessage メトリクスを確認します。このメトリクスは、ファイルシステムから S3 への同期操作の遅延時間を特定するのに役立ちます。
注: さらに調査するには、AgeOfOldestQueuedMessage が大きくなり始めた時刻に対応するエラーおよび失敗ログを確認します。
FSx for Lustre ファイルシステム用のログ記録をオンにした場合は、Cloudwatch/aws/fsx/lustre ロググループで対応するログを見つけることができます。S3 へのエクスポートに失敗したファイルの情報がある場合は、相対ファイルパス (dir1/file.txt など) を使用して、ログ文字列を検索してください。データリポジトリタスクの失敗と自動エクスポートの失敗の場合、ロググループ内に、対応する JSON オブジェクトのエントリが存在します。これらのエントリから、特定の errorCode を検索できます。これらのログメッセージと根本原因の詳細については、「Data repository event logs」(データリポジトリのイベントログ) を参照してください。
アクセス許可の問題がないかを確認する
FSx for Lustre データリポジトリに関連付けられた AWS Identity and Access Management (IAM) ロールが、S3 バケットにアクセスするのに必要なアクセス許可を付与されていることを確認します。この IAM ロールには、オブジェクトの一覧表示、読み取り、書き込みなど、S3 バケットへの必要なアクションを実行するのに求められるアクセス許可を付与されている必要があります。IAM ロールが適切なアクセス許可を付与されていない場合、同期オペレーションは失敗します。
FSx for Lustre データリポジトリに関連付けられた IAM ロールのアクセス許可を確認および変更するには、以下の手順を実行します。
- IAM コンソールを開きます。
- ナビゲーションペインで [ロール] をクリックします。
- [ロール] で、AWSServiceRoleForFSxS3Access_fs-01234567890 に類似する IAM ロールを検索します。これは、FSx for Lustre データリポジトリに関連付けられている IAM ロールです。
- IAM ロールを選択します。
- [アクセス許可] タブをクリックし、ロールに関連付けられているアクセス許可を表示します。
- アタッチされているカスタマーインラインポリシーを展開します。次に、ポリシーで、ロールに S3 バケットにアクセスするために必要なアクセス許可が付与されていることを確認します。少なくとも、このロールに s3:ListBucket、s3:GetObject、s3:PutObject アクセス許可が付与されていることが必要です。
S3 バケットポリシーでは、FSx for Lustre データリポジトリに関連付けられた IAM ロールからのアクセスを許可する必要があることに注意してください。また、Amazon S3 コンソールで S3 バケットポリシーを確認し、必要に応じて、IAM ロールからのアクセスを許可するようにこのポリシーを変更します。
重要: 以下のいずれかの条件を満たすように、AWS Key Management System (AWS KMS) のアクセス許可を適切に設定する必要があります。
- さまざまな AWS アカウントにあるファイルシステムや s3 バケットなどのクロスアカウント設定がある。
- Amazon S3 バケットに対して AWS KMS を使用している。
詳細については、「Linking your file system to an S3 bucket」(Amazon S3 バケットにファイルシステムにリンクする) を参照してください。
ファイルの場所を確認する
ファイルが DRA 名前空間内にあることを確認します。ファイルがこれらの名前空間にない場合はスキップされます。例えば、DRA 名前空間が /ns1/dir1/ の場合、ns1/file.txt などのファイルはスキップされます。