Perché il mio cluster EMR non scala anche se il dimensionamento gestito è attivato o le soglie delle metriche di ridimensionamento sono raggiunte?

Risoluzione

Le soglie delle metriche di Amazon CloudWatch per il dimensionamento non sono raggiunte

Il dimensionamento automatico dipende dalle metriche di Amazon CloudWatch. Se le soglie delle metriche per l’aumento o la riduzione verticale non vengono raggiunte, il dimensionamento non avviene.

Controlla le metriche di Amazon EMR in Amazon CloudWatch per verificare che le metriche impostate nelle regole di dimensionamento, ad esempio ContainerPendingRatio and YARNMemoryAvailablePercentage, siano compilate.

Le metriche di Amazon EMR potrebbero non essere compilate come previsto in CloudWatch per uno dei seguenti motivi:

• Il file /etc/hadoop/conf/hadoop-metrics2.properties non esiste o è danneggiato. Ad esempio, un'azione di bootstrap personalizzata potrebbe aver sovrascritto il file.
• Potrebbero esserci problemi con i componenti relativi alle metriche come Hadoop o YARN. Esamina i log delle applicazioni corrispondenti per verificare la presenza di errori.
• Il daemon MetricsCollector potrebbe non essere in esecuzione. Per il dimensionamento gestito, esegui questo comando sul nodo primario per verificare se il daemon MetricsCollector è in esecuzione:

  sudo systemctl status MetricsCollector

Utilizzi applicazioni che non sono basate su YARN

Le applicazioni come Presto che non sono basate su YARN utilizzano metodi di dimensionamento basati su metriche generate da YARN. Pertanto, i cluster non scalano anche se l'utilizzo delle query di Presto è elevato. Se utilizzi applicazioni che non sono basate su YARN, utilizza il dimensionamento manuale. Ad esempio, puoi impostare l'API resize di Amazon EMR per utilizzare metriche di Presto personalizzate.

I gruppi di istanze core o attività sono sospesi o arrestati

I gruppi di istanze core o attività sospesi o arrestati si bloccano quando si ridimensionano o scalano. Per ulteriori informazioni, consulta SuspendedState.

Le riconfigurazioni potrebbero far sì che i gruppi di istanze si arrestino. Per ulteriori informazioni, consulta Risoluzione dei problemi relativi alla configurazione del gruppo di istanze.

Sono presenti problemi relativi alle applicazioni HDFS in Amazon EMR che causano problemi quando scali i nodi core

Se entrambe le seguenti condizioni sono vere, è consigliabile mantenere fissi i nodi core:

• I dati sono archiviati in bucket Amazon Simple Storage Service (Amazon S3).
• L'utilizzo di Hadoop Distributed File System (HDFS) è minimo.

Nota: è consigliabile scalare i nodi attività solo per evitare problemi HDFS.

Il dimensionamento dei nodi core richiede più tempo del dimensionamento dei nodi attività. Questo perché i nodi core dispongono di un servizio aggiuntivo (Datanode) utilizzato per archiviare i dati HDFS. La disattivazione dei dati HDFS richiede tempo. Se il caso d'uso richiede il dimensionamento del nodo core e il dimensionamento è bloccato, potrebbe esserci un problema con la disattivazione di HDFS.

Per risolvere i problemi di dimensionamento bloccato a causa della disattivazione di HDFS, intraprendi le seguenti azioni:

• Controlla lo stato dei servizi HDFS (Namenode e Datanode).
• Esegui il comando hdfs dfsadmin -report per verificare se mancano blocchi o se sono presenti blocchi danneggiati o non replicati.
• Controlla la presenza di nodi core non integri a causa di problemi di disco, memoria o CPU.
• Verifica se hai impostato il fattore di replica HDFS su un numero elevato, ad esempio 3 o 2. Se tenti di scalare il nodo core fino a 1 quando il fattore di replica è impostato su 3 o 2, l'operazione di dimensionamento si blocca. Questo perché Amazon EMR deve mantenere il numero minimo di repliche.

In Amazon EMR non è disponibile la capacità richiesta

Se in Amazon EMR non è disponibile la capacità Amazon Elastic Compute Cloud (Amazon EC2) richiesta, dopo il periodo di timeout il dimensionamento ha esito negativo. Se il dimensionamento è bloccato per più di 2 o 3 ore e ricevi errori di capacità insufficiente negli eventi di AWS CloudTrail, esegui un dimensionamento manuale.

Informazioni correlate

Utilizzo del dimensionamento automatico con una policy personalizzata, ad esempio gruppi in Amazon EMR

Ridimensiona manualmente un cluster Amazon EMR in esecuzione

Utilizzo del dimensionamento gestito in Amazon EMR

Top 9 performance tuning tips for PrestoDB on Amazon EMR (I 9 migliori consigli per l'ottimizzazione delle prestazioni di PrestoDB in Amazon EMR)