Bedrock FM API chunk token streaming

0

I notice when I use titan and claude with streaming. The results come out in chunk, compared to one token at a time. Is there a way to control the chunk size, or it is determined in real-time on your side.

Thanks!

주제

기계 학습 및 AI AWS의 제너레이티브 AI

태그

아마존 Bedrock

언어

English

질문됨 5달 전298회 조회

1개 답변

최신
최다 투표
가장 많은 댓글

1

Currently there is no way to control the length of the chunking responses. More details on what parameters you can control are available in the documentation at InvokeModelWithResponseStream and Inference parameters for foundation models

전문가

Francis Flannery

답변함 5달 전

관련 콘텐츠

Unable to delete an ENI that is being used by a Lambda function (none). Lambda 함수(없음)가 사용하고 있는 ENI를 삭제할 수 없습니다.
Ryan Jang
질문됨 2달 전
The aws cost came out unexpectedly, is there a way to save money?
rePost-User-0762112
질문됨 일 년 전
무료 버전을 사용하고 있는데, 요금이 부과되었습니다. / I'm using the free version, but there's a charge.
seongho
질문됨 8달 전
CodeDeploy UnrecognizedClientException - The security token included in the request is inval
수락된 답변
Hoon
질문됨 10달 전
CloudFormation 스택을 삭제할 때 "NetworkInterfaces associated with the Lambda Function to be cleaned up"이라는 메시지가 표시됩니다.
AWS 공식업데이트됨 3년 전
AWS 중국(베이징) 리전에서 Hive 및 Presto를 사용하여 Amazon EMR 클러스터를 시작할 때 "제공된 토큰이 잘못 구성되었거나 잘못됨(The provided token is malformed or otherwise invalid)" 오류가 표시되는 이유는 무엇입니까?
AWS 공식업데이트됨 2년 전
Amazon EKS API 서버에 연결할 때 발생하는 “You must be logged in to the server(Unauthorized)” 오류를 해결하려면 어떻게 해야 하나요?
AWS 공식업데이트됨 일 년 전
Amazon EC2에서 Java 애플리케이션을 실행할 때 ‘The security token included in the request is expired’ 오류를 해결하려면 어떻게 해야 합니까?
AWS 공식업데이트됨 2년 전
“The remote session was disconnected because there are no Remote Desktop License Servers available to provide a license.” 메세지와 함께 RDP 연결이 불가능한 경우 해결 방안
지원 엔지니어
MinJu_K
게시됨 3달 전
EC2 Windows 인스턴스에서 현재 위치 업그레이드 복구(A repair in-place upgrade)를 수행하는 방법
지원 엔지니어
Woopyoung_Y
게시됨 4달 전