Amazon Bedrock でモデルをファインチューニングすると発生するエラーの解決方法を教えてください。

解決策

注: AWS コマンドラインインターフェイス (AWS CLI) コマンドの実行中にエラーが発生した場合は、「AWS CLI で発生したエラーのトラブルシューティング」を参照してください。また、AWS CLI の最新バージョンを使用していることを確認してください。

アクセスと可用性の問題

前提条件 ベースモデルへのアクセスをリクエストすること。

Amazon Bedrock は、特定の AWS リージョンと基盤モデルでのファインチューニングをサポートします。ファインチューニング機能を備えており、モデルがサポートされる AWS リージョンを使用していることを確認します。使用するリージョンが当該モデルをサポートしていない場合、Amazon Bedrock モデルピッカーのロードが継続的に発生します。ファインチューニングジョブを作成できない場合、次のエラーメッセージが表示される可能性があります。

"Unable to Create a fine-tuning job ("The provided model identifier is invalid" error)"

アクセスエラーを解決するには、モデルとファインチューニング機能が、利用を意図している AWS リージョンでサポートされていることを確認します。

空白の画面が表示されるか、モデルを選択できない場合は、モデルはそのリージョンでは利用できないか、AWS アカウントはそのモデルにアクセスできないことが示唆されます。解決するには、複数のネットワークやブラウザでモデルを選択します。モデルの選択時に、HAR ファイルをキャプチャします。次に、VPN、ファイアウォール、または仮想デスクトップインフラストラクチャ (VDI) に制限が適用されていないことを確認します。依然として Amazon Bedrock コンソールにアクセスできない場合は、ネットワーク管理者に相談してください。

IAM 権限の問題

Amazon Simple Storage Service (Amazon S3) バケットにアクセスしてモデルをカスタマイズするには、AWS Identity and Access Management (IAM) ロールに適切な権限をアタッチする必要があります。IAM ロールの権限が適切に構成されていない場合、次のエラーメッセージが表示されます。

"Encountered an unexpected error when processing the request, please try again","AccessDenied"."

このエラーを解決するには、Amazon Bedrock でモデルをカスタマイズするための IAM 権限を付与します。

クロスリージョンアクセスエラー

ファインチューニングジョブは、ジョブが実行されるリージョン内の Amazon S3 データのみにアクセスできます。ファインチューニングジョブとは異なるリージョン内の S3 バケットに保存されたトレーニングデータにアクセスを試行すると、次のエラーメッセージが表示されます。

"Could not validate GetObject permissions to access S3 bucket"

このエラーを解決するには、S3 バケット、Amazon Bedrock ファインチューニングジョブの両方が同じリージョンに配置されていることを確認します。次に、トレーニングデータを Amazon Bedrock と同じリージョン内の S3 バケットに移動します。

データ形式と検証に関するエラー

データセットは、トレーニングモデルおよび検証モデルの要件を満たす必要があります。JSON 構造または形式に誤りがあるトレーニングデータセットを送信した場合、次のいずれかのエラーが表示される可能性があります。

"The provided S3 URI is invalid", ";validation error detected: Value 's3://..' failed to satisfy constraint:" Member must satisfy regular expression pattern.."

"Invalid training input data configuration.Check the input data S3 Uris(Uri should be a file, not a directory) and retry request"

この問題を解決するには、ディレクトリの統一リソース識別子 (URI) ではなく、ファイルの URI を使用していることを確認します。

**URL の例:**s3://bucket-name/datasets/train/train.jsonl

**ディレクトリ URL の例:**s3://bucket-name/datasets/train/

次に、パスが正確なファイル位置を指していることを確認します。パスが正確なファイル位置を指していない場合は、S3 バケットの完全なパス構造を確認します。ファイルの URI を更新し、トレーニングデータの保存場所とファイル名と正確に一致させます。

データセット構造を検証する

テキストモデルにより、データ要件と想定される JSON スキーマは異なります。JSON 構造または形式に誤りがあるトレーニングデータセットを送信した場合、次のエラーが発生する可能性があります。

"JSON structure is not supported: JSON schema error: JSON does not match JSON schema at line."

このエラーを解決するには、text-to-text モデルのファインチューニング用のデータを用意します。

画像のファインチューニングに関する問題

Amazon Bedrockは、指定された寸法の画像ファイルにアクセスできる必要があります。アップロードする画像が、ファインチューニングするモデルの特定の寸法要件を満たさない場合、次のエラーが発生する可能性があります。

"Image Dimensions are Invalid.Check that the images conform to accepted dimensions."

画像の寸法が特定のモデルでの要件を満たしていることを確認します。次に、特定のモデル用の画像データセットが準備できていることを検証します。

注: 一部のモデルでは、テキストのファインチューニングのみがサポートされており、画像のファインチューニングはサポートされません。

検証エラー

ファイルはモデルと互換性がある必要があります。送信するトレーニングデータが、モデルの形式要件を満たさないか、構造上の問題を含む場合、次のエラーが発生する可能性があります。

"Validation error: failed during preprocessing"

このエラーを解決するには、データ形式を検証します。

• JSONL ファイルの 1 行ごとに、1 つの有効な JSON オブジェクトが含まれていることを確認します。
• 例ごとに、必須フィールドが含まれていることを確認します。
• それぞれの例がモデルの最大トークンクォータを超えていないことを確認します。
• ファイルのエンコーディングが UTF-8 であり、特殊文字に関連する問題がないことを確認します。

ジョブの状態を監視する

ジョブのステータスを監視するには、Amazon Bedrock コンソールまたは AWS CLI を使用します。Amazon Bedrock では、リアルタイムの進捗を監視できません。

コンソールを使用する場合は、「モデルのカスタマイズジョブを監視する」を参照してください。

AWS CLI を使用する場合は、次の get-model-customization-job コマンドを実行します。

aws bedrock get-model-customization-job -job-identifier "jobARN"

注: jobARN をジョブの Amazon リソースネーム (ARN) に置き換えてください。

次に、モデルの実際の完了時間に対するベンチマークとして、各ジョブの完了時間を見積もります。見積もりの際には、次の要素を考慮してください。

• ファインチューニングの所要時間は、データサイズ、エポック数、およびバッチサイズによって異なります。
• 初期エラーは最初の数分以内に発生します。
• 大規模なデータセットでは、ファインチューニングが完了するまでに数時間かかる可能性があります。
• トレーニングの所要時間は 3 ～ 4 時間ですが、構成やトラフィック次第では、最大 24 時間を要する場合があります。

ジョブが失敗する場合は、「モデルのカスタマイズに関するトラブルシューティング」を参照してください。

ジョブのステータスが 24 時間を超えて Training である場合は、AWS サポートにお問い合わせください。

ファインチューニングされたモデルの推論

カスタムファインチューニングが行われたモデルでは (Amazon Nova 以外)、プロビジョンドスループットを購入することで、本来のモデルの ARN の代わりに使用する Provisioned Model ARN を別途作成する必要があります。

API コールで本来のモデルの ARN を直接使用すると、次のエラーが発生する可能性があります。

"An error occurred (ValidationException) when calling the xxxx operation: 1 validation error detected: Value 'arn:aws:bedrock:xxxxx' at 'modelId' failed to satisfy constraint: Member must satisfy regular expression pattern: ..."

このエラーを解決するには、次の手順を実行します。

1. ファインチューニングされたモデル用のプロビジョンドスループットを作成します。
2. 応答に含まれる Provisioned Model ARN を書き留めます。
3. API 経由でファインチューニングされたモデルを呼び出す際、カスタムモデル固有の、次のモデル ARN 形式を使用します。
   arn:aws:bedrock:[region]:[account]:provisioned-model/[name]
   注: 実際のケースに合わせ、region をリージョンに、account をアカウント情報に、name をモデル名にそれぞれ置き換えてください。
4. GetProvisionedModelThroughput API コールを行う前に、プロビジョンドモデルのステータスが InService であることを確認してください。

関連情報

カスタムモデルの推論を設定する

モデルをカスタマイズし、ユースケースに合わせてパフォーマンスを改善する