Amazon Bedrock에서 “503 Service Unavailable” 오류를 해결하려면 어떻게 해야 합니까?

해결 방법

참고: AWS Command Line Interface(AWS CLI) 명령을 실행할 때 오류가 발생하면 AWS CLI의 오류 해결을 참조하십시오. 또한 최신 AWS CLI 버전을 사용하고 있는지 확인하십시오.

장애로 인해 서버가 응답할 수 없을 때 서버 쪽에서 발생하는 예외에 대해 503 Service Unavailable 오류 메시지가 표시됩니다. 또는 요청 급증으로 공유 리소스에 부담이 가해질 때 오류가 발생합니다. 오류의 원인을 확인하려면 다음 조치를 취하십시오.

서비스 상태 확인

Amazon Bedrock에 액세스할 수 없는 경우 서비스 가용성을 확인하십시오. AWS Health Dashboard에서 서비스 상태를 확인하여 AWS 리전의 Amazon Bedrock에서 문제가 발생하고 있는지 확인하십시오.

요청 재시도

일시적인 API 수요 증가로 인한 오류인지 확인하려면 지수 백오프를 사용하여 요청을 재시도하십시오. 이 방법을 사용하면 서버의 부하가 감소하고 요청이 성공할 가능성이 높아집니다.

AWS SDK에 재시도 로직이 내장되어 있는 경우가 많습니다. 요구 사항에 따라 AWS SDK의 재시도 동작을 구성하십시오.

다른 리전 사용

수요 증가 또는 장애가 하나의 특정 리전에서만 발생하는지 확인하려면 다른 리전을 사용하도록 리소스를 업데이트하십시오. 다른 리전으로 변경할 경우 해당 리전의 Amazon Bedrock에 대한 모델 액세스 권한을 부여하십시오.

AWS SDK를 사용하는 경우 AWS SDK의 리전 호환성을 확인하십시오. 다른 리전을 사용하도록 AWS SDK를 업데이트하려면 set AWS CLI 명령을 실행합니다.

aws configure set region new-region-name

참고: new-region-name을 새 리전으로 바꾸십시오.

교차 리전 추론을 사용하여 여러 리전의 용량을 자동으로 사용

교차 리전 추론을 사용하여 계획되지 않은 트래픽 버스트를 원활하게 관리할 수 있습니다. 교차 리전 추론은 동적 방식을 통해 용량이 있는 리전으로 요청을 라우팅합니다. 이를 통해 수요에 따라 워크로드를 조정할 수 있습니다.

다른 기반 모델 사용

특정 기반 모델에서 수요가 증가하거나 장애가 발생하면 다른 기반 모델을 사용하십시오.

참고: 필요한 파라미터는 각 기반 모델마다 다릅니다. Converse API는 메시지를 지원하는 모든 Amazon Bedrock 모델에서 작동하고, 코드를 한 번 작성하면 다른 모델에서 사용할 수 있습니다.

프로비저닝된 처리량 사용

전제 조건: 프로비저닝된 처리량이 지원되는 리전을 사용해야 합니다.

애플리케이션의 사용 패턴과 최대 요구 사항을 분석하십시오. 더 높은 처리량을 제공해야 하는 경우 프로비저닝된 처리량을 사용하십시오. AWS CLI 또는 AWS SDK for Python(Boto3)을 사용하여 프로비저닝된 처리량을 사용하려면 프로비저닝된 처리량에 대한 코드 예제를 참조하십시오.