Come posso prevenire gli errori ThrottlingException o Rate exceeded quando utilizzo AWS Glue?

Breve descrizione

Quando effettui una richiesta API AWS Glue, potresti ricevere un errore simile a uno dei seguenti:

• "Error Code: ThrottlingException; Request ID: 07512ede-123f-49c8-8933-1298742297b9; Proxy: null)" } }{ "taskSubmitFailedEventDetails": { "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400;"
• "TaskSubmitFailed": {"resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)" }"
• "botocore.exceptions.ClientError: An error occurred (ThrottlingException) when calling the GetCrawler operation (reached max retries: 4): Rate exceeded cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Request ID: 70ea5ab7-2bb8-4a47-b957-799ef46c129e; Proxy: null)"

Le richieste API AWS Glue per gli account AWS sono limitate in base alla regione per migliorare le prestazioni del servizio. Per ulteriori informazioni, consulta Endpoint e quote di AWS Glue.

Risoluzione

Segui queste best practice per mitigare un errore del tipo ThrottlingException o Rate exceeded:

• Riduci la frequenza delle chiamate API.
• Scagliona gli intervalli tra le chiamate API in modo che non vengano eseguite tutte contemporaneamente.
• Utilizza API che restituiscono più di un valore. Ad esempio, GetPartitions supporta una chiamata di 1.000 valori con una singola chiamata API. Allo stesso modo, GetTables supporta una chiamata di 100 parametri con una chiamata API.
• Implementa una ripetizione dei tentativi in caso di errore e un backoff esponenziale quando effettui chiamate API.
• Utilizzando la console AWS CloudTrail, controlla quali e quante chiamate API vengono inviate in un determinato periodo di tempo.

Se hai eseguito questi passaggi per la risoluzione dei problemi, ma continui a ricevere errori di superamento della frequenza, richiedi un aumento della quota di servizio.

Nota: prima di inviare una richiesta per aumentare la tua quota, identifica la chiamata API che ha causato l'errore e la frequenza delle chiamate.

Informazioni correlate

Errori comuni