Amazon Bedrock 온디맨드 리소스를 사용할 때 발생하는 "503 서비스 이용 불가 오류"를 해결하려면 어떻게 해야 합니까?

해결 방법

참고: AWS Command Line Interface(AWS CLI) 명령 실행 시 오류가 발생하는 경우, AWS CLI 오류 문제 해결을 참고하십시오. 또한 최신 AWS CLI 버전을 사용하고 있는지 확인하십시오.

Amazon Bedrock은 특정 서버 측 예외에 대해 503 서비스 이용 불가 오류 코드를 반환합니다.

서버 측 예외는 장애로 인해 서버가 응답할 수 없거나 요청 수가 급증하는 경우에 발생합니다. 이러한 급증은 공유 리소스에 부담을 줍니다. 이 오류의 원인을 확인하려면 다음 작업을 수행하십시오.

요청 재시도

오류가 일시적인 API 수요 증가로 인한 것인지 확인하려면 증가된 수요를 해결해야 합니다. 지수 백오프를 사용하여 요청을 재시도하십시오. AWS SDK를 사용하는 경우 재시도 동작을 참조하십시오.

다른 리전 사용

한 AWS 리전에서 수요가 증가하거나 장애가 발생하는지 확인하려면 다른 AWS 리전을 사용하도록 리소스 설정을 변경하십시오. 다른 리전으로 변경할 경우 해당 리전의 Amazon Bedrock에 대한 모델 액세스를 활성화하십시오. AWS SDK를 사용하는 경우 AWS SDK와의 호환성을 참조하십시오.

여러 리전에 걸쳐 트래픽을 자동으로 라우팅하려면 교차 리전 추론을 활성화하십시오.

다른 기반 모델 사용

특정 기반 모델에서 수요가 증가하거나 장애가 발생하면 다른 기반 모델은 문제 없이 작동할 수 있습니다.

참고:

• 필요한 파라미터는 각 기반 모델마다 다릅니다. 자세한 내용은 기반 모델에 대한 추론 파라미터를 참조하십시오.
• Converse API는 메시지를 지원하는 모든 Amazon Bedrock 모델에서 작동하는 일관된 API를 제공합니다. 코드를 한 번 작성하여 다른 모델에서 사용할 수 있습니다.

프로비저닝된 처리량 사용

더 많은 처리량을 프로비저닝하려면 프로비저닝된 처리량을 구매하십시오. 자세한 내용은 Amazon BedRock 기반 모델 액세스를 참조하십시오. AWS 관리 콘솔의 경우 프로비저닝된 처리량 사용을 참조하십시오. AWS CLI 또는 Python SDK의 경우 Amazon Bedrock의 프로비저닝된 처리량에 대한 코드 예시를 참조하십시오. 프로비저닝된 처리량이 지원되는 리전 및 모델에서 사용할 수 있습니다.