Wie behebe ich den ModelNotReadyException-Fehler, wenn ich importierte Modelle in Amazon Bedrock verwende?

Kurzbeschreibung

Amazon Bedrock verwendet eine interne Bereinigungsrichtlinie, um Ressourcen effizient zu verwalten. Diese Richtlinie entfernt Modelle, die Amazon Bedrock für einen bestimmten Zeitraum, in der Regel eine Stunde, nicht verwendet hat. Wenn du versuchst, ein Modell zu verwenden, das nicht aktiv war, wird möglicherweise der ModelNotReadyException-Fehler angezeigt.

Wenn du versuchst, ein importiertes Modell in Amazon Bedrock zu verwenden, das durch die Richtlinie entfernt wurde, um die Hardwarenutzung zu optimieren, erhältst du möglicherweise eine ModelNotReadyException-Fehlermeldung, die wie folgt aussieht:

„errorMessage“: „Model is not ready for inference. Wait and try your request again.“

Hinweis: Für importierte Modelle gibt es kein Äquivalent zu Bereitgestellter Durchsatz.

Es hat sich bewährt, Aufgaben so zu planen, dass das Modell konstant belastet wird. Außerdem kannst du ähnliche Anfragen stapeln, um die Leerlaufzeit zwischen Modellaufrufen zu minimieren.

Lösung

Sicherstellen, dass du das Modell korrekt importiert hast

Die Amazon Bedrock-Konsole oder die AWS-API verwenden, um zu überprüfen, ob du das Modell importiert hast

Amazon Bedrock-Konsole verwenden

Führe die folgenden Schritte aus:

1. Öffne die Amazon Bedrock-Konsole.
2. Erweitere im Navigationsbereich Basismodelle und wähle dann Importierte Modelle.
3. Wähle die Registerkarte Aufträge.
4. Wähle den Auftragsname aus und überprüfe dann den Status für Abgeschlossen.

AWS-API verwenden

Rufe die GetModelImportJob-API auf, um zu überprüfen, ob du das Modell importiert hast. Um zu bestätigen, dass du das Modell erfolgreich importiert und bereitgestellt hast, überprüfe, ob du im Feld Status der Ausgabe den Status Abgeschlossenhast.

Wiederholungsversuche konfigurieren

Ein Wiederherstellungsprozess beginnt, wenn du das Modell nach der Räumung zum ersten Mal aufrufst. Die Zeit für die Wiederherstellung hängt von der Verfügbarkeit der On-Demand-Flotte und der Größe des Modells ab. Wenn die InvokeModel- oder InvokeModelWithResponseStream-API-Anforderung ModelNotReadyException zurückgibt, wenn das Modell wiederhergestellt wird, wird die Anforderung standardmäßig automatisch mit exponentiellem Backoff wiederholt.

Informationen zur Konfiguration der maximalen Anzahl von Wiederholungen findest du unter Umgang mit ModelNotReadyException.

Eine Heartbeat-Strategie implementieren

Implementiere eine Heartbeat-Strategie, um in regelmäßigen Abständen eine Ping-Anfrage an das Modell zu senden. Die Ping-Anfrage teilt Amazon Bedrock mit, dass das Modell noch verwendet wird. Es hat sich bewährt, vor kritischen Vorgängen eine Aufwärmanfrage auszuführen, um einen Kaltstart zu verhindern, nachdem Amazon Bedrock das Modell entfernt hat.

Gehe wie folgt vor, um eine Heartbeat-Strategie zu implementieren:

1. Erstelle eine AWS Lambda-Funktion, die die InvokeModel-API für das importierte Modell aufruft.
2. Erstelle in Amazon EventBridge einen Regelzeitplan, der innerhalb von 30 bis 50 Minuten nach dem letzten Modellaufruf aktiviert wird.
3. Stelle die Lambda-Funktion bereit und teste sie.
4. Sende Lambda-Funktionsprotokolle an Amazon CloudWatch Logs.
5. Analysiere die Nutzungsmetriken des Modells in Amazon CloudWatch, um die ideale Taktfrequenz zu ermitteln.

Support kontaktieren

Wenn du weiterhin Probleme hast, erstelle ein Support-Ticket im Support Center der AWS-Managementkonsole.

Ähnliche Informationen

Die Kosten für die Ausführung eines benutzerdefinierten Modells berechnen