- 최신
- 최다 투표
- 가장 많은 댓글
안녕하세요.
특정 리전에서 모델 별 스트리밍이 가능한 지 확인은 GetFoundationModel 을 호출하여 responseStreamingSupported
값이 true 인 모델에서 사용이 가능합니다.
매뉴얼 상으로는, 지원하는 모델들과 리전들이 말씀하신 상황에 대해 모두 된다고 명시되어 있고 Stream/일반 응답에 대한 차이는 response 시의 청크를 스트림으로 보내는 차이 정도만 있기 때문에 원하시는 방법은 가능할 것으로 보여집니다.
또한 말씀하신 메시지가, AWS API 를 호출하고 나온 에러라기 보다는 SDK 를 사용한 부분에서 발생한 것으로 보여집니다.
'AgentsforBedrockRuntime' object has no attribute 'retrieve_and_generate_stream'
언급하신 1.35.97 에서는 해당 function 이 있기 때문에 정상적으로 동작해야 하고, 오류가 있다면 AWS API의 응답 메시지여야 할 것으로 생각됩니다. 혹시나 소스가 참조하고 있는 SDK 가 다른 버전은 아닌 지 다시 한 번 확인해 보시기 바랍니다.
RetrieveAndGenerateStream API의 사용과 관련하여 몇 가지 중요한 점을 말씀드리겠습니다.
먼저, RetrieveAndGenerateStream API는 Amazon Bedrock의 Knowledge Base 기능을 위해 도입된 새로운 API입니다. 이 API는 Knowledge Base를 쿼리하고 검색된 결과를 기반으로 스트리밍 형식으로 응답을 생성합니다.
그러나 현재 상황에 대해 몇 가지 고려해야 할 사항이 있습니다:
-
리전 가용성: 공지에서는 Knowledge Base를 지원하는 모든 리전에서 사용 가능하다고 언급했지만, 실제 구현은 리전별로 다를 수 있습니다. ap-northeast-2 리전에서 아직 이 API가 완전히 활성화되지 않았을 가능성이 있습니다.
-
boto3 지원: boto3 라이브러리가 이 새로운 API를 지원하도록 업데이트되어야 합니다. 최신 버전의 boto3를 사용 중이시지만, 라이브러리 업데이트가 API 출시와 완전히 동기화되지 않았을 수 있습니다.
-
API 이름: 'retrieve_and_generate_stream'이라는 메서드 이름은 Python에서 일반적으로 사용되는 스네이크 케이스 명명 규칙을 따르고 있습니다. 그러나 AWS CLI는 스트리밍 작업을 지원하지 않는다는 점을 유의해야 합니다.
-
대체 방법: 현재 RetrieveAndGenerate API가 정상적으로 작동한다고 하셨으므로, 당분간은 이 API를 계속 사용하시는 것이 좋겠습니다.
API의 가용성과 정확한 출시 일정에 대해서는 AWS 공식 지원 채널을 통해 직접 문의하시는 것이 가장 정확한 정보를 얻을 수 있는 방법일 것 같습니다. AWS는 일반적으로 새로운 기능이나 API를 점진적으로 롤아웃하므로, 귀하의 리전에서도 곧 사용 가능해질 것으로 예상됩니다.
Sources
RetrieveAndGenerateStream - Amazon Bedrock
RetrieveAndGenerate API response is giving empty list for retrievedReferences even when output is being generated and mapped to source docs. | AWS re:Post
RetrieveAndGenerate - Amazon Bedrock
관련 콘텐츠
- AWS 공식업데이트됨 2년 전
답변 감사드립니다. 파이썬이 다른 경로에 중복으로 설치되어 있었고 서버와 어플리케이션에서 boto3 버전이 다름을 확인하고 조치했습니다. 많은 도움이 되었습니다.