Wie behebe ich langsame oder wechselhafte Geschwindigkeiten, wenn ich Daten von einem On-Premise-Client zu Amazon S3 herunterlade oder hochlade?

Lesedauer: 6 Minute

Es gibt eine Latenz, wenn ich Daten zwischen Amazon Simple Storage Service (Amazon S3) und einem bestimmten Netzwerk- oder lokalen Client herunterlade oder hochlade.

Lösung

Überprüfe die folgenden Konfigurationen, um die Latenz beim Download von oder Upload zu Amazon S3 zu ermitteln und zu beheben.

Der Standort des Clients, der die Anfragen stellt

Es hat sich bewährt, Amazon S3-Buckets zu verwenden, die sich geografisch so nah wie möglich am lokalen Client befinden. Wenn der Bucket geografisch weit von der Anfrage entfernt ist, ist die Antwortzeit länger.

Gehe wie folgt vor, um die Auswirkung der geografischen Entfernung zwischen dem Client und dem S3-Bucket zu testen:

Starte Amazon Elastic Compute Cloud (Amazon EC2)-Instance in derselben AWS-Region wie der Bucket.
Starte eine weitere Instance in einer anderen Region.
Verwende beide Instances, um dieselbe Datei hoch- und herunterzuladen.
Vergleiche den Durchsatz zwischen den beiden Regionen.

Um die Entfernung zwischen dem lokalen Client und dem S3-Bucket zu verringern, verschiebe deine Daten in einen Bucket in einer Region, die näher am Client liegt. Du kannst die cross-Region Replication (CRR, regionsübergreifende Replikation) so konfigurieren, um die Daten im Quell-Bucket in den Ziel-Bucket in der neuen Region zu replizieren. Oder migriere den Client näher an den S3-Bucket.

Der ISP des lokalen Clients

Überprüfe deinen Netzwerkpfad auf Paketverluste, eine hohe Anzahl von Hops und andere Probleme im Zusammenhang mit dem Internetdienstanbieter (ISP). Prüfe auch TCP-Neuübertragungen, SSL-Handshake-Fehler, Verzögerungen bei der DNS-Auflösung oder Netzwerk-Proxys.

Verwende Tools wie mtr und traceroute, um den potenziellen Paketverlust und die Latenz für die Pakete zu ermitteln, die du an den Remote-Host sendest. Die Tools können auch erkennen, ob ein Netzwerk-Hop eine höhere Latenz verursacht. Der folgende Linux-Befehl traceroute verwendet beispielsweise den TCP-Port 80, um die Konnektivität zum regionalen Endpunkt us-west-2 (Oregon) zu testen:

sudo traceroute -P TCP -p 80 s3.us-west-2.amazonaws.com

Führe für Windows-Betriebssysteme (OS) den folgenden tracert-Befehl aus:

tracert -d -4 s3.amazonaws.com

**Hinweis:**Viele Netzwerkgeräte reagieren nicht auf das Internet Control Message Protocol (ICMP). Um einen Test durchzuführen, der Amazon S3-Anfragen ähnelt, führe eine TCP-Traceroute oder mtr zum regionalen Endpunkt des Buckets aus.

Wenn die Internetroute vom Client zu Amazon S3 nicht optimal ist, verwende dann Amazon S3 Transfer Acceleration für Edge-Standorte in Amazon CloudFront. Verwende das Amazon S3 Transfer Acceleration Speed Comparison -Tool, um zu ermitteln, ob Transfer Acceleration die Leistung verbessern kann.

Hinweis: Wenn du Transfer Acceleration aktivierst, können dann zusätzliche Datenübertragungsgebühren anfallen. Überprüfe die Amazon S3-Preise für Datenübertragungen.

Das Netzwerk des lokalen Clients

Um sicherzustellen, dass das Client-Netzwerk fehlerfrei ist, überprüfe interne Paketprüfungen, Antiviren-Scans oder die Netzwerkzugriffsverwaltung. Prüfe außerdem, wie der Client oder die Anwendung mit DNS-Auflösung und -Caching umgeht. Es hat sich bewährt, die DNS-Auflösung nicht über einen längeren Zeitraum zwischenzuspeichern.

Verwende Netzwerkdiagnosetests, um Latenz- und Leistungsrobleme des On-Premises-Clients zu identifizieren, der langsame Amazon S3-Synchronisierungsübertragungen hat. Es hat sich bewährt, die Leistung regelmäßig zu analysieren, um potenzielle Probleme zu erkennen, bevor sie sich auf die Übertragungsgeschwindigkeiten auswirken.

Hinweis: Es ist eine bewährte Methode, AWS PrivateLink für Amazon S3 zu verwenden, um die Sicherheit zu verbessern und zuverlässigere Datenübertragungen zu gewährleisten.

Die Ressourcen des Clients

In der Anwendung kann es aufgrund der Art und Weise, wie der Host, der die Anfragen stellt, die Anfragen und Antworten verarbeitet, zu Latenzen kommen. Es hat sich bewährt, keine Ressourcenkonflikte innerhalb des Hosts zu haben. Ein Ressourcenkonflikt kann beispielsweise mit der CPU, dem Arbeitsspeicher oder der Netzwerkbandbreite zusammenhängen.

Um die Ressourcennutzung während der Datenübertragung zu überprüfen, verwende Tools wie Resource Monitor den top-Befehl. Weitere Informationen findest du unter Resource Monitor auf der Microsoft Learn-Website.

Hinweis: Die Verfügbarkeit der Tools hängt von deinem Betriebssystem ab.

Lese- oder Schreibvorgänge auf dem Speichergerät des Clients, bei denen eine erhöhte Latenz auftritt, können die Leistung des Downloads von oder Uploads zu Amazon S3 beeinträchtigen. Um die IOPS des Speichergeräts von der Clientseite aus zu beheben, verwende die Amazon CloudWatch-Metrik FirstByteLatency, um die Amazon S3-Performance zu analysieren.

Hinweis: AWS rechnet Amazon S3-Anforderungsmetriken zum gleichen Tarif wie benutzerdefinierte CloudWatch-Metriken ab. Informationen zu den CloudWatch-Preisen findest du unter Amazon CloudWatch-Preise.

Die Anforderungsrate an Amazon S3

Standardmäßig können S3-Buckets Tausende von Anfragen pro Sekunde und partitioniertem Präfix unterstützen. Wenn ein Client HTTP-5xx-Fehlerantworten von Amazon S3 erhält, wird die unterstützte Anforderungsrate pro Präfix überschritten. Informationen zur Behebung von 5xx-Fehler findest du unter Wie behebe ich einen HTTP 500- oder 503-Fehler von Amazon S3?

Verwende Amazon S3 Transfer Acceleration, um die Übertragungszeit mit den weltweit verteilten CloudFront-Edge-Standorten von AWS zu verkürzen.

Verwende AWS Direct Connect, um die Netzwerkkonfigurationen zu verbessern und die Übertragungsleistung zu verbessern. Weitere Informationen findest du unter Verbessern der Leistung in AWS- und Hybridnetzwerken.

Entwurfsmuster, die die Leistung verbessern, findest du unter Leistungsentwurfsmuster für Amazon S3. Du kannst AWS DataSync, AWS Snowball, AWS Snowcone und AWS Transfer Family verwenden, um große Datensätze zu Amazon S3 zu migrieren. Oder du kannst AWS-SDKs und das AWS Command Line Interface (AWS CLI) verwenden, um effiziente Parallel- und Batch-Übertragungsprozesse zu erstellen. Informationen zur Verwendung des mehrteiligen Uploads für große Dateien findest du unter Wie optimiere ich die Leistung, wenn ich die AWS-CLI verwende, um große Dateien zu Amazon S3 hochzuladen?

Die Amazon S3-Serverzugriffsprotokolle, die die Bearbeitungszeit bestimmen

Um die Durchlaufzeit-Metriken zu überprüfen, aktiviere die Amazon S3-Serverzugriffsprotokollierung. Weitere Informationen zu den Durchlaufzeit-Metriken findest du unter Durchlaufzeit im Amazon S3-Serverzugriffsprotokollformat. Verwende die Durchlaufzeit-Metriken, um zu ermitteln, wie viel Zeit der Vorgang in Anspruch nimmt. Anschließend kannst du andere Latenzen außerhalb von Amazon S3 auswerten, die möglicherweise zu einem langsamen Download oder Upload führen könnten.

Wenn die Latenz höher als erwartet ist, empfiehlt es sich, die Anfrage erneut zu stellen und nicht zu warten, bis die Anfrage abgeschlossen ist. Weitere Informationen findest du unter Leistungsrichtlinien für Amazon S3.

Aktivitäten zu File Transfer

Verwende die TotalRequestLatency-Metrik, um die verstrichene Zeit pro Anfrage zu verfolgen. Dies ist die Zeit vom ersten Byte, das der S3-Bucket empfängt, bis zum letzten Byte, das der lokale Client an den Bucket sendet. Um potenzielle Leistungsprobleme zu ermitteln, überprüfe die getRequests-Metriken und PutRequests-Metriken sowie die Statuscodes 4xx und 5xx.

Hinweis: AWS rechnet die GetRequests und PutRequests-Metriken zum gleichen Tarif wie die benutzerdefinierten Amazon CloudWatch-Metriken.