Comment résoudre l'erreur ModelNotReadyException lorsque j'utilise des modèles importés dans Amazon Bedrock ?

Brève description

Amazon Bedrock applique une politique d'éviction interne pour gérer efficacement les ressources. Cette politique supprime les modèles qu'Amazon Bedrock n'a pas utilisés pendant un certain temps, généralement une heure. Si vous essayez d'utiliser un modèle qui n'est pas actif, l'erreur ModelNotReadyException peut s'afficher.

Si vous essayez d'utiliser un modèle importé dans Amazon Bedrock que la politique a supprimé pour optimiser l'utilisation du matériel, vous pouvez recevoir un message d'erreur ModelNotReadyException qui ressemble au suivant :

« errorMessage » : « Model is not ready for inference. Wait and try your request again. »

Remarque : Il n'existe pas d'équivalent au débit provisionné pour les modèles importés.

Il est recommandé de planifier les tâches afin de maintenir une charge constante sur le modèle. Vous pouvez également regrouper des requêtes similaires afin de minimiser le temps d'inactivité entre les invocations de modèles.

Résolution

Vérifier que vous avez correctement importé le modèle

Utilisez la console Amazon Bedrock ou l'API AWS pour vérifier que vous avez importé le modèle

Utiliser la console Amazon Bedrock

Procédez comme suit :

1. Ouvrez la console Amazon Bedrock.
2. Dans le volet de navigation, développez Modèles de fondation, puis sélectionnez Modèles importés.
3. Choisissez l'onglet Tâches.
4. Sélectionnez le nom de votre tâche, puis examinez le statut pour Terminé.

Utiliser l'API AWS

Pour vérifier que vous avez importé le modèle, appelez l'API GetModelImportJob. Pour confirmer que vous avez correctement importé et déployé le modèle, vérifiez que le statut Terminé s’affiche dans le champ Statut de la sortie.

Configurer les nouvelles tentatives

Un processus de restauration commence lorsque vous invoquez votre modèle pour la première fois après l'éviction. Le délai de restauration dépend de la disponibilité de la flotte à la demande et de la taille du modèle. Si votre demande d'API InvokeModel ou InvokeModelWithResponseStream renvoie ModelNotReadyException lors de la restauration du modèle, la demande effectue automatiquement une nouvelle tentative avec backoff exponentiel par défaut.

Pour configurer le nombre maximal de tentatives, consultez la section Gestion de ModelNotReadyException.

Implémenter une stratégie de pulsation

Implémentez une stratégie de pulsation pour envoyer une requête ping au modèle à intervalles réguliers. La requête ping indique à Amazon Bedrock que le modèle est toujours utilisé. Il est recommandé d'exécuter une demande de préparation avant les opérations critiques afin d'éviter un démarrage à froid après l'éviction du modèle par Amazon Bedrock.

Pour implémenter une stratégie de pulsation, procédez comme suit :

1. Créez une fonction AWS Lambda qui appelle l'API InvokeModel sur le modèle importé.
2. Créez un calendrier de règles dans Amazon EventBridge à activer dans les 30 à 50 minutes suivant la dernière invocation du modèle.
3. Déployez et testez la fonction Lambda.
4. Envoyez les journaux de fonctions Lambda à Amazon CloudWatch Logs.
5. Analysez les métriques d'utilisation de votre modèle dans Amazon CloudWatch pour déterminer la fréquence de pulsation idéale.

Contacter le support

Si les problèmes persistent, créez un ticket d'assistance dans le centre de support de la console de gestion AWS.

Informations connexes

Calculer le coût d'exécution d'un modèle personnalisé