AWS announces preview of AWS Interconnect - multicloud

AWS announces AWS Interconnect – multicloud (preview), providing simple, resilient, high-speed private connections to other cloud service providers. AWS Interconnect - multicloud is easy to configure and provides high-speed, resilient connectivity with dedicated bandwidth, enabling customers to interconnect AWS networking services such as AWS Transit Gateway, AWS Cloud WAN, and Amazon VPC to other cloud service providers with ease.

如何對在 Amazon Bedrock 中使用匯入的模型時，出現的 ModelNotReadyException 錯誤進行疑難排解？

1 分的閱讀內容

我想在 Amazon Bedrock 中使用匯入的模型，但收到 ModelNotReadyException 錯誤。

簡短描述

Amazon Bedrock 使用內部移出政策來有效地管理資源。此政策會移除 Amazon Bedrock 在一定時間內 (通常為一小時) 未使用的模型。如果您嘗試使用尚未啟動的模型，則可能會收到 ModelNotReadyException 錯誤。

如果您嘗試在 Amazon Bedrock 中，使用政策為最佳化硬體使用率而移除的已匯入模型，則可能會收到如下的 ModelNotReadyException 錯誤訊息：

"errorMessage": "Model is not ready for inference.Wait and try your request again."

**注意：**匯入的模型沒有相當於佈建輸送量的功能。

最佳做法是排程任務，以維持模型的持續負載。此外，您還可以批次處理類似的請求，以最大限度地減少模型調用之間的閒置時間。

解決方法

確認您是否正確匯入了模型

使用 Amazon Bedrock 主控台或 AWS API 確認您是否已匯入模型

使用 Amazon Bedrock 主控台

請完成下列步驟：

開啟 Amazon Bedrock console (Amazon Bedrock 主控台)。
在導覽窗格中，展開 Foundation models (基礎模型)，然後選擇 Imported models (匯入的模型)。
選擇 Jobs (作業) 索引標籤。
選取您的 Job name (作業名稱)，然後查看狀態是否為完成。

使用 AWS API

若要確認您是否已匯入模型，請呼叫 GetModelImportJob API。若要確認您是否已成功匯入並部署模型，請檢查輸出的狀態欄位是否為完成。

設定重試

當您在移出後第一次調用模型時，會進行還原程序。還原時間取決於隨需機群的可用性和模型的大小。如果您的 InvokeModel 或 InvokeModelWithResponseStream API 請求在模型還原時傳回 ModelNotReadyException，則預設情況下，該請求將自動以指數退避進行重試。

若要設定最大重試次數，請參閱處理 ModelNotReadyException。

實作活動訊號策略

實作活動訊號策略，定期向模型傳送 ping 請求。ping 請求會告知 Amazon Bedrock 該模型仍在使用中。最佳做法是在關鍵作業之前執行預熱請求，以避免在 Amazon Bedrock 移出模型後出現冷啟動。

若要實作活動訊號策略，請完成以下步驟：

建立 AWS Lambda 函式，用於呼叫匯入模型上的 InvokeModel API。
在 Amazon EventBridge 中建立規則排程，以在最後一次模型調用後的 30 到 50 分鐘內啟動。
部署並測試 Lambda 函式。
將 Lambda 函式日誌傳送到 Amazon CloudWatch Logs。
分析 Amazon CloudWatch 中的模型使用指標，以確定理想的活動訊號頻率。

聯絡 Support

如果您仍然遇到問題，請在 AWS 管理主控台的 Support 中心建立支援票證。