지연 문제를 해결하고 Amazon Bedrock Agents의 성능을 최적화하려면 어떻게 해야 합니까?

간략한 설명

Amazon Bedrock Agents는 추론 기능을 사용하여 지식 기반에서 정보를 검색하므로 지연 시간이 길어질 수 있습니다. Amazon Bedrock Agents의 응답 시간에 영향을 미치는 요인은 다음과 같습니다.

• 모델 크기
• 프롬프트 구조 및 복잡성
• 입력 및 출력 토큰 수
• 네트워크 연결 및 AWS 리전 인프라

해결 방법

에이전트 지연 문제 해결

모델 크기 업데이트

대규모 기반 모델을 사용하고 지연 시간이 길다면 지연 시간에 민감한 사용 사례에는 더 가벼운 모델을 사용하십시오. 간접 호출 지연 시간은 입력 및 출력 토큰의 총 개수에 따라 조정됩니다. 출력 토큰의 크기를 줄이려면 에이전트에게 사용자 쿼리에 명확하고 짧은 응답을 제공하라는 지침을 제공하면 됩니다.

참고: Amazon Bedrock은 Amazon CloudWatch의 Bedrock 아래에 간접 호출 지연 시간 지표를 자동으로 게시합니다. 자세한 내용은 Amazon Bedrock의 성능 모니터링을 참조하십시오.

오케스트레이션 전략 검토

모델 간접 호출 수가 늘어날수록 지연 시간도 늘어납니다. 에이전트의 지침과 함수 및 파라미터를 효율적으로 정의해야 합니다. 응답이 느리고 사용 사례에 오케스트레이션 기능이 필요하지 않은 경우 오케스트레이션을 꺼서 지연 시간을 줄이십시오. 전처리, 오케스트레이션 및 사후 처리와 같은 기능으로 인해 처리 시간이 늘어날 수 있습니다.

오케스트레이션 템플릿을 끄려면 다음 단계를 완료하십시오.

1. 에이전트가 배포된 AWS 리전에서 Amazon Bedrock 콘솔을 엽니다.
2. 탐색 창에서 빌더 도구를 확장하고 에이전트를 선택합니다.
3. 에이전트를 선택한 다음 에이전트 빌더에서 편집을 선택합니다.
4. 오케스트레이션 전략 세부 정보 섹션에서 편집을 선택합니다.
5. 전처리 탭을 선택하고 전처리 템플릿 활성화를 끕니다.
6. 후처리 탭을 선택하고 후처리 템플릿 활성화를 끕니다.
7. 저장 후 종료를 선택합니다.

사용자 지정 오케스트레이션을 사용하는 경우 성능을 최적화하도록 오케스트레이션을 구성하십시오. 명확한 지침을 제공하십시오. 중복되거나 모호한 지침을 포함하면 모델의 인지 부하가 증가하고 응답 시간에 영향을 미칠 수 있습니다.

Amazon Bedrock 네트워크 구성 확인

AWS Lambda를 가상 프라이빗 클라우드(VPC)와 함께 사용하는 경우 Amazon Bedrock과의 네트워크 상호 작용이 느리면 트래픽이 퍼블릭 인터넷을 통해 라우팅될 수 있습니다. 이 문제를 해결하려면 AWS PrivateLink를 사용하여 Amazon Bedrock에 대한 프라이빗 액세스를 설정하십시오.

CRIS 활성화

리전 수요가 많은 기간에 지연 시간이 발생하면 리전 병목 현상이 발생할 수 있습니다. 이 문제를 해결하려면 교차 리전 추론(CRIS)으로 처리량을 늘려 추론 워크로드를 여러 리전에 분산하십시오.

에이전트 성능 최적화

스트리밍 응답 활성화

출력의 토큰 수가 많으면 사용자가 전체 응답을 기다려야 합니다. 토큰 수가 많은지 확인하려면 CloudWatch의 OutputTokenCount 지표를 사용하십시오. 스트리밍 응답을 활성화하려면 InvokeModelWithResponseStream API를 사용하여 콘텐츠가 생성되는 대로 도착하도록 하십시오.

지식 기반 구성

반환되는 문서 청크 수를 제한하지 않으면 응답 생성 시간이 늘어납니다. 이 문제를 해결하려면 NumberOfResults 파라미터를 사용하여 지식 기반에서 검색되는 문서 청크 수를 제한하십시오.

관련 정보

CloudWatch Logs 및 Amazon S3를 사용하여 모델 간접 호출 모니터링