Amazon Bedrock에서 가져온 모델을 사용할 때 발생하는 ModelNotReadyException 오류를 해결하려면 어떻게 해야 합니까?

간략한 설명

Amazon Bedrock은 내부 제거 정책을 사용하여 리소스를 효율적으로 관리합니다. 이 정책은 Amazon Bedrock이 특정 기간(일반적으로 한 시간) 동안 사용하지 않은 모델을 제거합니다. 활성화되지 않은 모델을 사용하려고 하면 ModelNotReadyException 오류가 발생할 수 있습니다.

정책에서 하드웨어 사용률을 최적화하기 위해 제거한 가져온 모델을 Amazon Bedrock에서 사용하려고 하면 다음과 비슷한 ModelNotReadyException 오류 메시지가 표시될 수 있습니다.

"errorMessage": "Model is not ready for inference. Wait and try your request again."

참고: 가져온 모델의 프로비저닝된 처리량에 상응하는 것은 없습니다.

모델에 일정한 로드를 유지하도록 작업을 예약하는 것이 가장 좋습니다. 또한 유사한 요청을 일괄 처리하여 모델 간접 호출 간의 유휴 시간을 최소화할 수 있습니다.

해결 방법

모델을 올바르게 가져왔는지 확인

Amazon Bedrock 콘솔 또는 AWS API를 사용하여 모델을 가져왔는지 확인합니다.

Amazon Bedrock 콘솔 사용

다음 단계를 완료하십시오.

1. Amazon Bedrock 콘솔을 엽니다.
2. 탐색 창에서 파운데이션 모델을 확장한 다음, 가져온 모델을 선택합니다.
3. 작업 탭을 선택합니다.
4. 작업 이름을 선택한 다음, 상태가 완료인지 검토합니다.

AWS API 사용

모델을 가져왔는지 확인하려면 GetModelImportJob API를 직접적으로 호출하십시오. 모델을 성공적으로 가져오고 배포했는지 확인하려면 출력의 상태 필드에 완료 상태가 있는지 확인하십시오.

재시도 구성

복원 프로세스는 제거 후 처음으로 모델을 간접적으로 호출할 때 시작됩니다. 복원 시간은 온디맨드 플릿의 가용성과 모델 크기에 따라 달라집니다. 모델이 복원될 때 InvokeModel 또는 InvokeModelWithResponseStream API 요청에서 ModelNotReadyException을 반환하면 기본적으로 지수 백오프를 사용하여 요청이 자동으로 재시도됩니다.

최대 재시도 횟수를 구성하려면 ModelNotReadyException 처리를 참조하십시오.

하트비트 전략 구현

정기적으로 모델에 핑 요청을 보내는 하트비트 전략을 구현합니다. 핑 요청은 Amazon Bedrock에 해당 모델이 아직 사용 중임을 알립니다. Amazon Bedrock이 모델을 제거한 후 콜드 스타트가 발생하지 않도록 중요한 작업 전에 워밍업 요청을 실행하는 것이 가장 좋습니다.

하트비트 전략을 구현하려면 다음 단계를 완료하십시오.

1. 가져온 모델에서 InvokeModel API를 직접적으로 호출하는 AWS Lambda 함수를 생성합니다.
2. Amazon EventBridge에서 마지막 모델 간접 호출 후 30~50분 이내에 활성화하는 규칙 일정을 생성합니다.
3. Lambda 함수를 배포하고 테스트합니다.
4. Lambda 함수 로그를 Amazon CloudWatch Logs에 전송합니다.
5. Amazon CloudWatch에서 모델의 사용 지표를 분석하여 이상적인 하트비트 빈도를 결정합니다.

지원팀에 문의

여전히 문제가 발생하면 AWS Management Console의 지원 센터에서 지원 티켓을 생성하십시오.

관련 정보

사용자 지정 모델 실행 비용 계산