Wie kann ich die Kosten für CloudWatch Logs für hochvolumige Datenerfassung und langfristige Speicherung optimieren?

Lösung

Protokollgruppen mit hohem Volumen identifizieren

Verwende mathematische Ausdrücke für CloudWatch-Metriken, um Protokollgruppen mit hoher Datenerfassung zu identifizieren:

SORT(SEARCH('{AWS/Logs,LogGroupName} MetricName="IncomingBytes"', 'Sum', 86400), MAX, 10)

Dieser Ausdruck hilft dir, die Top-10-Protokollgruppen nach eingehendem Datenvolumen in den letzten 24 Stunden zu identifizieren.

Hinweis: Wenn du beim Ausführen von AWS Command Line Interface (AWS CLI)-Befehlen Fehlermeldungen erhältst, findest du weitere Informationen dazu unter Troubleshooting errors for the AWS CLI (Problembehandlung bei der AWS CLI). Stelle außerdem sicher, dass du die neueste Version der AWS CLI verwendest.

Aufbewahrungsrichtlinien für Protokolle implementieren

Überprüfe und ändere die Aufbewahrungszeiträume für deine Protokollgruppen mit diesen Schritten:

1. Öffne die CloudWatch-Konsole.
2. Navigiere zum Abschnitt Protokollgruppen.
3. Wähle die Protokollgruppe aus, die du ändern möchtest.
4. Wähle im Menü Aktionen die Option Aufbewahrungseinstellung bearbeiten aus.
5. Lege einen angemessenen Aufbewahrungszeitraum (z. B. 7, 14 oder 30 Tage) basierend auf deinen Compliance- und betrieblichen Anforderungen fest.

Verwendung der Protokollklasse „Infrequent Access“

Für Protokollgruppen, auf die du nicht häufig zugreifst, erstelle neue Protokollgruppen mit der Klasse Infrequent Access. Weitere Informationen findest du unter CreateLogGroup.

Hinweis: Du kannst diese Protokollgruppenklasse nur bei der Erstellung zuweisen. Du kannst sie nachträglich nicht ändern.

Detailgrad der Protokolle reduzieren

Überprüfe deine Anwendungen und AWS-Services, um unnötige Protokollierung durch folgende Aktionen zu reduzieren:

• Analysiere deine Protokolldaten, um Debug-Level- oder sich wiederholende Nachrichten zu identifizieren und zu entfernen. Weitere Informationen findest du unter Analyse von Protokolldaten mit CloudWatch Logs Insights.
• Für AWS Lambda-Funktionen kannst du die Ausführungsrollenrichtlinie ändern, um die Protokollerfassung zu begrenzen, falls dies für deinen Anwendungsfall angemessen ist.
• Implementiere für AWS Glue-Aufträge Strategien zur Reduzierung der CloudWatch Logs-Ausgabe.

Protokollfilterung und -aggregation implementieren

Um Protokollfilterung und -aggregation zu implementieren, führe die folgenden Aktionen aus:

• Verwende CloudWatch Logs Insights, um Protokollmuster zu analysieren und Möglichkeiten zur Filterung zu identifizieren.
• Implementiere Metrikfilter für CloudWatch Logs, um benutzerdefinierte Metriken basierend auf bestimmten Protokollmustern zu erstellen.
• Verwende AWS Lambda-Funktionen, um Protokolle vor der Erfassung zu verarbeiten und zu aggregieren. Weitere Informationen findest du unter Create your first Lambda function (Deine erste Lambda-Funktion erstellen).

Verwendung von Amazon S3 zur langfristigen Speicherung

Um Amazon Simple Storage Service (Amazon S3) für die langfristige Speicherung zu nutzen, führe die folgenden Aktionen aus:

• Richte einen CloudWatch Logs-Abonnementfilter ein, um Protokolle zur Archivierung an Amazon S3 zu senden. Weitere Informationen findest du unter Export log data to Amazon S3 using the console (Protokolldaten über die Konsole in Amazon S3 exportieren).
• Implementiere einen Protokollexportprozess, um ältere Protokolle von CloudWatch in Amazon S3 zu verschieben.
• Verwende Amazon S3-Lebenszyklusrichtlinien, um Protokolle für die langfristige Aufbewahrung in günstigere Speicherklassen (z. B. Amazon S3 Glacier) zu verschieben.

Kosten überwachen und analysieren

Überwache und analysiere Kosten durch die folgenden Aktionen:

• Verwende den AWS Cost Explorer, um die Kosten für CloudWatch Logs im Laufe der Zeit zu verfolgen. Weitere Informationen findest du unter Getting started with Cost Explorer (Erste Schritte mit Cost Explorer).
• Richte Budget-Warnungen mit AWS Budgets ein, um dich benachrichtigen zu lassen, wenn die Kosten für CloudWatch Logs vordefinierte Schwellenwerte überschreiten.
• Überprüfe und auditiere regelmäßig ungenutzte CloudWatch-Metriken und -Alarme.

Zentrale Protokollierungslösung in Betracht ziehen

Evaluiere bei Setup-Konfigurationen mit mehreren Regionen und Konten zentrale Protokollierungslösungen durch Dienste wie den Amazon OpenSearch Service oder Protokollverwaltungstools von Drittanbietern. Dies kann helfen, Protokolle aus mehreren Quellen zu konsolidieren und die Gesamtkosten potenziell zu senken.

Weitere Informationen

Amazon CloudWatch – Preise

Was ist Amazon CloudWatch Logs?