If the real time inference in sagemaker does not return output in 1 min , how many times does it retries? and how can we stop those retry ?

0

I hosted one large model in Sagemaker using real-time inference but it is not giving any error in case of timeout and retrying by itself after 1 min 2 times. Also how much size is considered to be too large for sagemaker models ?

sparsh
demandé il y a 8 mois66 vues
Aucune réponse

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions