私の Amazon FSx for Lustre のデータリポジトリの関連付けではファイルを Amazon S3 にエクスポートできないのはなぜですか?

所要時間2分
0

私の Amazon FSx for Lustre のデータリポジトリの関連付け (DRA) では Amazon Simple Storage Service (Amazon S3) にファイルをエクスポートできません。この問題のトラブルシューティングを行いたいと考えています。

解決方法

ファイルシステム設定に問題がないかをチェック

  • FSx for Lustre のデータリポジトリが正しく設定されているかどうかをチェックしてください。
  • ファイルシステムが正しくマウントされていることを確認します。

エクスポート設定の問題がないかをチェック

FSx for Lustre のデータリポジトリと Amazon S3 バケットの間のエクスポートの設定をチェックします。データリポジトリの関連付け (DRA) を作成するとき、適切なエクスポートオプションを必ず選択してください。FSx for Lustre が S3 バケットにデータをエクスポートできるように、データが UTF-8 互換形式で保存されることを確認します。Amazon S3 オブジェクトキーの最大長は 1,024 バイトです。FSx for Lustre は、対応する S3 オブジェクトキーが 1,024 バイトを超えるファイルをエクスポートしません。

エラーとログを確認する

FSx for Lustre ログと S3 バケットログをチェックして、同期オペレーションに関連するエラーや警告があるかどうかを確認します。これらのログは、対処すべき問題を特定するのに役立ちます。詳細については、「Logging with Amazon CloudWatch Logs」を参照してください。CloudWatch 上のファイルシステムの AgeOfOldestQueuedMessage メトリクスを確認します。このメトリクスを使用すると、ファイルシステムから S3 への同期操作の遅延時間を見きわめるのに役立ちます。

注: さらに調査するには、AgeOfOldestQueuedMessage が大きくなり始めた時刻に対応するエラーおよび失敗ログをチェックします。

FSx for Lustre ファイルシステム用のログ記録をオンにした場合は、Cloudwatch/aws/fsx/lustre ロググループ内で、対応するログを見つけることができます。S3 へのエクスポートに失敗したファイルの情報がある場合は、相対ファイルパス ( dir1/file.txt など) を使用して、ログ文字列を検索してください。データリポジトリタスクの失敗と自動エクスポートの失敗の場合、ロググループ内に、対応する JSON オブジェクトのエントリが存在します。これらのエントリから、特定の errorCode がわかります。これらのログメッセージと根本原因の詳細については、「Data repository event logs」を参照してください。

アクセス許可の問題がないかをチェックする

FSx for Lustre データリポジトリに関連付けられた AWS ID およびアクセス管理 (IAM) ロールが、S3 バケットにアクセスするのに必要なアクセス許可を付与されていることを確認します。この IAM ロールには、オブジェクトの一覧表示、読み取り、書き込みなど、S3 バケットへの必要なアクションを実行するのに求められるアクセス許可を付与されている必要があります。IAM ロールが適切なアクセス許可を付与されていない場合、同期オペレーションは失敗します。

FSx for Lustre データリポジトリに関連付けられた IAM ロールのアクセス許可を確認および変更するには、以下の手順を実行します。

  1. IAM コンソールを開きます。
  2. ナビゲーションペインで、[ロール] を選択します。
  3. [ロール] で、AWSServiceRoleForFSxS3Access\_fs-01234567890 に類似する IAM ロールを検索します。これは、FSx for Lustre データリポジトリに関連付けられている IAM ロールです。
  4. その IAM ロールが見つかったら選択します。
  5. [アクセス許可] タブを選択すると、ロールに関連付けられているアクセス許可を確認できます。
  6. 関連付けられているカスタマーインラインポリシーを展開します。次に、ポリシーで、ロールに S3 バケットにアクセスするために必要なアクセス許可が付与されていることを確認します。少なくとも、このロールに s3:ListBuckets3:GetObjects3:PutObject アクセス許可が付与されていることが必要です。

S3 バケットポリシーでは、FSx for Lustre データリポジトリに関連付けられた IAM ロールからのアクセスを許可する必要があることに注意してください。また、Amazon S3 コンソールで S3 バケットポリシーを確認し、IAM ロールからのアクセスを許可する必要がある場合はそのようにこのポリシーを変更します。

**重要:**以下のいずれかの条件を満たすように、AWS Key Management System (AWS KMS) のアクセス許可を適切に設定する必要があります。

  • ファイルシステムや s3 バケットなど、さまざまな AWS アカウントにあるクロスアカウント設定を使用できます。
  • Amazon S3 バケットに対して AWS KMS を使用します。

詳細については、「Linking your file system to an S3 bucket」を参照してください。

ファイルの場所を確認する

ファイルが DRA 名前空間内にあることを確認します。ファイルがこれらの名前空間にない場合はスキップされます。たとえば、DRA 名前空間が /ns1/dir1/ の場合、 ns1/file.txt などのファイルはスキップされます。

AWS公式
AWS公式更新しました 1年前
コメントはありません