Bedorockエージェントビルダーにてテストエージェントを実行するとエラーになります
お世話になります
Bedorockエージェントビルダーにてアクショングループを設定した上でテストエージェントを実行すると以下のエラーが発生します。
Your request rate is too high. Reduce the frequency of requests. Check your Bedrock model invocation quotas to find the acceptable frequency.
クオータの制限に抵触している項目を特定する方法はありますか？ なお、モデルには、Claude 3.5 Sonnet v2を利用していますが、Claude 3.5 Sonnet v1でも再現しています。また、アクショングループで設定されたLambdaは2度呼び出しされていることがCloudWatch Logsより把握できています。
- 言語
- 日本語
- 新しい順
- 投票が多い順
- コメントが多い順
このエラーメッセージは、AWS Bedrockサービスのリクエストレート制限に達したことを示しています。Claude 3.5 Sonnet v2モデルの使用において、短時間に多くのリクエストを行った可能性があります。
この問題を解決し、クオータ制限に抵触している項目を特定するために、以下の方法を試すことができます：
-
AWS Management ConsoleのService Quotasページで、Bedrockサービスの現在のクオータを確認します。特に、Claude 3.5 Sonnet v2モデルに関連する制限を確認してください。
-
CloudWatch Metricsを使用して、APIコールのパターンを監視します。Bedrockサービスに関連する以下のメトリクスを確認することで、制限に近づいているかどうかを把握できます：
- Invocations（呼び出し回数）
- InvocationThrottles（スロットリングされた呼び出し回数）
- InputTokenCount（入力トークン数）
- OutputTokenCount（出力トークン数）
-
アプリケーションにスロットリングやリトライメカニズムを実装することを検討してください。これにより、APIコールを時間的に分散させ、制限を超えるのを防ぐことができます。
-
Lambda関数が2回呼び出されていることに注意してください。これが意図的でない場合、アクショングループの設定を見直し、不要な呼び出しを削除することで、リクエスト数を減らせる可能性があります。
-
本当により高いリクエストレートが必要な場合は、AWS Supportに連絡してクオータの引き上げをリクエストすることができます。ただし、需要が高いため、既存のクオータ割り当てを消費するトラフィックを生成しているお客様が優先される可能性があることに注意してください。
これらの手順を踏むことで、問題の原因を特定し、適切な対策を講じることができるでしょう。
Sources
Question regarding Error invoking RetrieveAndGenerateCommand: Your request rate is too high. Reduce the frequency of request: | AWS re:Post
Request rate is too high - Claude 3.5 Sonnet v1 and v2 Models in Bedrock | AWS re:Post
[AWS Bedrock] ThrottlingException occurs randomly for Claude-2.1 Runtime | AWS re:Post
