Wie optimiere ich Batch-Inferenzaufträge in Amazon Bedrock?

Lösung

Die Ausführungszeiten von Batch-Aufträgen hängen von der verfügbaren Kapazität, den gleichzeitigen Aufträgen in der Warteschlange und der modellspezifischen Ressourcenzuweisung ab. Verwende die folgenden Lösungsmethoden, um deine Batch-Inferenzaufträge in Amazon Bedrock zu optimieren.

Stelle einfache und vollständige Eingabe-Prompts bereit

Um den Zeitaufwand für die Auftragsverarbeitung zu verkürzen und die Qualität der Ergebnisse zu verbessern, solltest du klare, präzise Prompts erstellen, die keinen unnötigen Kontext enthalten.

Überschreite nicht die Service Quotas

Wenn du mehrere Batch-Inferenzaufträge parallel ausführst, stelle sicher, dass diese die Service Quotas, die je nach Modell und AWS-Region unterschiedlich ausfallen, nicht überschreiten.

Weitere Informationen zu Großprojekten siehe Automatisieren der Amazon-Bedrock-Batch-Inferenz: Aufbau einer skalierbaren und effizienten Pipeline.

Plane Aufträge so, dass sie außerhalb der Spitzenzeiten ausgeführt werden

Verwende Amazon EventBridge, um Batch-Inferenzaufträge außerhalb der Spitzenzeiten zu planen, wenn die Ressourcenverfügbarkeit möglicherweise höher ist.

Verwende regionsübergreifende Inferenz

Verwende regionsübergreifende Inferenzprofile in CreateModelInvocationJob-API-Anfragen, um Workloads auf Regionen zu verteilen.