Amazon Bedrock에서 대형 모델을 사용할 때 Python에서 읽기 시간 초과를 방지하려면 어떻게 해야 합니까?

간략한 설명

---

Amazon Bedrock의 대규모 언어 모델을 사용하여 텍스트를 생성할 때 읽기 시간 초과 오류가 발생하는 경우가 있습니다. 이러한 오류는 Python boto3 클라이언트가 대규모 언어 모델을 쿼리하지만 botocore의 기본 읽기 제한 시간 내에 응답을 받지 못할 때 발생합니다. 읽기 시간 초과 오류를 해결하려면 읽기 제한 시간을 늘리십시오.

해결 방법

클라이언트의 읽기 제한 시간 값을 늘리는 예제 코드:

from boto3 import client
from botocore.config import Config

config = Config(read_timeout=1000)

client = client(service_name='bedrock-runtime',
                      config=config)

LangChain과 같은 타사 라이브러리를 사용하는 경우 먼저 botocore 구성으로 boto3 클라이언트를 인스턴스화하십시오. 그런 다음 이를 클라이언트 파라미터로 호출 가능 모델 클래스에 전달합니다.

boto3 클라이언트를 타사 라이브러리에 전달할 때 읽기 제한 시간 값을 늘리는 예제 코드입니다.

from boto3 import client
from botocore.config import Config
from langchain_community.llms import Bedrock

config = Config(read_timeout=1000)

client = client(service_name='bedrock-runtime',
                      config=config)

llm = Bedrock(model_id="anthropic.claude-v2:1",
              client=client)

위 예제에서는 읽기 제한 시간이 1000초로 설정되었습니다. 읽기 제한 시간은 botocore가 읽기 시간 초과 예외를 발생시키기 전에 서버의 응답을 기다리는 시간을 지정합니다.
참고: Anthropic Claude Opus와 같은 대형 모델은 응답을 반환하는 데 60초 이상 걸릴 수 있습니다.

모범 사례

쿼리를 완료할 수 있을 만큼 읽기 제한 시간을 길게 설정합니다. 1000초와 같은 큰 값으로 시작한 다음 시간 초과 오류가 더 이상 발생하지 않을 때까지 이 시간을 조정합니다.