使用AWS re:Post即您表示您同意 AWS re:Post 使用条款

如何解决从我的 Storage Gateway 上传到 AWS 时性能降低的问题?

1 分钟阅读
0

我想解决从 AWS Storage Gateway 上的网关上传到 AWS 时性能降低的问题。

解决方法

查看至 AWS 的互联网带宽或网络吞吐量

您的网关和 AWS 之间的互联网速度可能会影响上传性能。如需确定网关的可用互联网带宽,请从虚拟机(VM)运行网络测试。或者,使用与网关设备位于同一网络上的系统。

例如,您的网关通过 Amazon Virtual Private Cloud(Amazon VPC)端点连接到 AWS。端点用于 Amazon Simple Storage Service(Amazon S3),通过 AWS Direct Connect 或 VPN 连接进行连接。发生这种情况时,请从本地 VM 到 VPC 中的实例运行网络吞吐量测试

如果您在本地托管网关,并通过 VPC 端点连接到 AWS,请运行其他测试。例如,端点用于 AWS Direct Connect 或 VPN 连接上的 Storage Gateway。在此示例中,从网关到 S3 桶的流量通过公共虚拟接口或公共互联网。如果公共虚拟接口或互联网连接拥塞,则网关的上传性能可能会受到影响。要允许流量通过私有虚拟接口,请使用 Amazon S3 PrivateLink VPC 端点设置您的网关。使用此配置时,您必须在网关设备上创建和配置 Amazon Elastic Compute Cloud(Amazon EC2)代理。

检查写入 Storage Gateway 设备的文件的大小

当您上传较大文件时,Storage Gateway 通常比上传较小文件时性能更好。这是因为 Storage Gateway 将大文件分成多个部分,然后将这些部分以并行流形式上传到 S3 桶。

使用文件大小和线程数运行测试,以对从网关到 AWS 的上传速度进行基准测试。然后,查看 CloudBytesUploaded 指标以确定上传速度。

查看网关的缓存存储

如果您使用文件网关,请查看 CachePercentDirty 指标。任何写入网关但尚未写入 Amazon S3 的数据都被视为脏数据。高于 80% 的 CachePercentDirty 指标可能表示从网关上传到 Amazon S3 的速度很慢。

如果 CachePercentDirty 指标偏高,请查看 CloudBytesUploaded 指标,以便确定上传到 Amazon S3 的速度是否偏慢。如果上传速度很慢,请增加网关可用的互联网带宽。

另外,在 Amazon CloudWatch 上查看您的网关的 IoWaitPercent 指标。如果您在测试期间发现网关的 IoWaitPercent 指标高于 10%,则您的网关可能存在问题。网关的磁盘可能没有足够的 I/O 来处理工作负载。使用 SampleCount 统计数据查看 WriteBytes 指标,并检查您对 AWS 的总写入 I/O。

如果网关的缓存磁盘没有足够的 I/O 来处理工作负载,请将缓存磁盘更改为更快的磁盘类型。例如,使用 SSD 或 NVMe 支持的 SSD 磁盘。请将另一个缓存磁盘连接到您的网关,以帮助增加网关的可用聚合 I/O。

检查网关的主机 VM 或 Amazon EC2 实例的配置

确认网关的主机 VM 或 EC2 实例的 CPU 和 RAM 支持网关到 AWS 的吞吐量。例如,每个 EC2 实例类型都有不同的基准吞吐量。如果突增吞吐量耗尽,则实例会使用其基准吞吐量。这限制了至 AWS 的上传吞吐量。

如果您的网关托管在 EC2 实例上,请检查该实例的 NetworkOut 指标。如果 NetworkOut 指标在测试期间处于基准吞吐量,请将实例更改为更大的实例类型。较大的实例类型可实现更高的网络吞吐量。

检查您的网关和数据集之间的地理距离

最佳做法是将网关部署在与您的数据集相同的网络中。或者,将其部署在地理位置靠近您的数据集的网络中。请勿通过广域网(WAN)设置连接。例如,您在 EC2 实例上部署了一个网关,其文件共享通过 AWS Direct Connect 或 VPN 挂载。通过 WAN 连接从本地流量到 AWS 的延迟会影响数据到达网关的速度。此延迟最终会影响上传到 S3 桶的速度。为了帮助减少上传延迟,请将您的网关部署在与用作文件共享的 S3 桶相同的 AWS 区域中。

AWS 官方
AWS 官方已更新 1 年前