Wie konfiguriere ich die automatische Skalierung in Amazon EMR?

Lösung

Führe die folgenden Schritte aus, um die automatische Skalierung in Amazon EMR zu konfigurieren:

Amazon-EMR-Version 5.30.0, 6.1.0 und höher

Wenn du Amazon EMR 5.30.0 und höher nutzt (außer Amazon EMR Version 6.0.0), verwende eine der folgenden Methoden zur Konfiguration der automatischen Skalierung:

• Aktiviere Amazon EMR Managed Scaling, um die Anzahl der Instances oder Einheiten in deinem Cluster je nach Workload automatisch zu erhöhen oder zu verringern. Weitere Informationen findest du unter Verwaltete Skalierung für Amazon EMR konfigurieren
• Verwende die automatische Skalierung mit einer benutzerdefinierten Richtlinie für Instance-Gruppen.

Amazon-EMR-Version 4.0.0 und höher

Die automatische Skalierung mit einer benutzerdefinierten Richtlinie ist mit der Konfiguration für Instance-Gruppen verfügbar und ist nicht verfügbar, wenn du Instance-Flotten verwendest. Weitere Informationen findest du unter Automatische Skalierung mit einer benutzerdefinierten Richtlinie für Instance-Gruppen verwenden.

Um Amazon CloudWatch-Metriken für die automatische Skalierung in Amazon EMR zu verwenden, siehe Amazon EMR-Metriken mit Amazon CloudWatch überwachen. Die folgenden Metriken werden für die automatische Skalierung empfohlen:

• YarnMemoryAvailablePercentage: Diese Metrik gibt den Prozentsatz des Speichers an, der für YARN verfügbar ist.
• ContainerPendingRatio: Diese Metrik gibt das Verhältnis zwischen ausstehenden und zugewiesenen Containern an. Du kannst diese Metrik verwenden, um einen Cluster auf der Grundlage des Containerzuweisungsverhaltens für unterschiedliche Lasten zu skalieren.

Um zu überprüfen, ob die Skalierungsrichtlinie der Instance-Gruppe zugeordnet ist, kannst du die Amazon EMR-Konsole öffnen und dann Ereignis aus dem linken Navigationsbereich auswählen. Suche dann nach Ereignisse – Richtlinie zur automatischen Skalierung.

Ähnliche Informationen

Amazon EMR-Clusterskalierung zur Anpassung an sich ändernde Workloads nutzen