Amazon Bedrock のバッチ推論ジョブを最適化する方法を教えてください。

解決策

バッチジョブの実行時間は、使用可能な容量、キュー内の並行ジョブ、モデル固有のリソース割り当てに応じて変化します。Amazon Bedrock のバッチ推論ジョブを最適化するには、次の解決方法を実施します

シンプルで完全な入力プロンプトを指定する

ジョブの処理時間を短縮し、結果の質を改善するには、不必要なコンテキストを含めずに、明確で簡潔なプロンプトを作成します。

サービスクォータを超えないようにする

複数のバッチ推論ジョブを並行して実行する場合は、モデルや AWS リージョンに固有のサービスクォータを超えないようにしてください。

大規模プロジェクトの詳細については、「Amazon Bedrock バッチ推論の自動化: スケーラブルで効率的なパイプラインを作成する」を参照してください。

ジョブをスケジュールし、オフピーク時に実行する

Amazon EventBridge を使用し、リソースの可用性が向上する可能性があるオフピーク時にバッチ推論ジョブをスケジュールします。

クロスリージョン推論を使用する

CreateModelInvocationJob API リクエストでクロスリージョン推論プロファイルを使用すると、複数リージョンにワークロードを分散できます。