If the real time inference in sagemaker does not return output in 1 min , how many times does it retries? and how can we stop those retry ?

0

I hosted one large model in Sagemaker using real-time inference but it is not giving any error in case of timeout and retrying by itself after 1 min 2 times. Also how much size is considered to be too large for sagemaker models ?

sparsh
gefragt vor 8 Monaten66 Aufrufe
Keine Antworten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen