로컬 파일을 Storage Gateway로 복사할 때 성능 저하 문제를 해결하려면 어떻게 해야 합니까?

3분 분량
0

로컬 파일을 AWS Storage Gateway의 NFS(네트워크 파일 시스템) 또는 SMB(서버 메시지 블록) 파일 공유에 복사하려고 하지만 전송 속도가 느립니다. 업로드 성능을 개선하려면 어떻게 해야 합니까?

해결 방법

Storage Gateway의 파일 공유에 로컬 파일을 복사할 때 성능을 향상시키려면 다음과 같은 방법을 고려합니다.

참고: File Gateway는 파일 서버가 아니라 객체 스토어 캐시입니다. 즉, File Gateway의 성능 특성이 파일 서버의 성능 특성과 다릅니다.

워크로드 크기 조정

최상의 성능을 위해 스레드 또는 클라이언트를 추가하여 워크로드를 확장합니다. 파일 디렉터리를 전송할 때 워크로드가 다중 스레드이거나 여러 클라이언트를 포함할 때 파일 게이트웨이가 가장 잘 확장됩니다. 파일 관리 도구를 검토하고 도구가 기본적으로 단일 스레드 업로드를 실행하는지 확인합니다.

작거나 큰 파일을 전송할 때 여러 스레드나 클라이언트를 사용하는 것이 좋습니다. 여러 스레드를 사용하여 대용량 파일(각각 수십 또는 수백 MiB) 을 전송할 때 초당 MiB 처리량이 가장 높습니다. 새 파일을 만드는 오버헤드로 인해 작은 파일을 많이 전송하면 대용량 파일의 동일한 워크로드에 비해 초당 MiB 스루풋이 낮아집니다.

Windows에서 다중 스레드 복사를 수행하려면 Microsoft의 파일 복사 도구인 robocopy를 사용합니다.

참고: 더 작은 파일 전송의 경우 초당 MiB 대신 초당 파일 수로 전송 속도를 측정합니다. 파일 생성 속도는 더 작은 파일 전송과 관련된 워크로드 공간을 차지할 수 있습니다.

캐시 스토리지 튜닝

게이트웨이의 총 캐시 스토리지 크기를 활성 작업 집합의 크기로 조정합니다. 여러 로컬 디스크를 사용하는 캐시는 데이터 액세스를 병렬화하여 초당 I/O 처리량(IOPS)을 높일 수 있습니다. 자세한 내용은 Amazon Simple Storage Service(S3) File Gateway에 대한 성능 지침을 참조하십시오.

또한 게이트웨이의 CachePercentDirty 지표를 모니터링하십시오. 이 지표는 S3 버킷에 유지되지 않는 데이터가 차지하는 캐시 스토리지의 비율을 반환합니다. CachePercentDirty 값이 높으면 게이트웨이의 캐시 스토리지가 게이트웨이에 대한 쓰기를 제한할 수 있습니다.

고성능 디스크 사용

전용 테넌시가 있는 게이트웨이의 캐시 스토리지에 솔리드 스테이트 드라이브(SSD) 지원 디스크를 사용하는 것이 가장 좋습니다. IOPS 고갈을 방지하기 위해 기본 물리 디스크를 다른 가상 시스템과 공유하지 않는 것이 가장 좋습니다.

디스크 IOPS를 측정하려면 CloudWatch의 샘플 통계와 함께 ReadBytesWriteBytes 지표를 사용합니다. 일반적으로 게이트웨이에 대한 이러한 지표를 검토할 때는 스루풋이 낮고 IOPS 추세가 낮으면 디스크 관련 병목 현상이 나타나는 것을 확인할 수 있습니다.

CloudWatch에서 CPU가 로컬 디스크에서 응답을 기다리는 시간의 비율을 보고하는 IOWaitPercent 지표를 모니터링합니다. 10%보다 큰 값은 일반적으로 기본 디스크의 병목 현상을 나타내며 디스크 속도 저하의 결과일 수 있습니다. 이러한 경우 더 많은 디스크를 추가하여 게이트웨이에 보다 많은 IOPS를 제공하십시오.

참고: Amazon Elastic Compute Cloud(Amazon EC2) 기반 게이트웨이의 경우 인스턴스의 Amazon Elastic Block Store(Amazon EBS) 스루풋도 제한 요인이 될 수 있습니다. 게이트웨이의 호스트 가상 머신 또는 Amazon EC2 인스턴스의 CPU와 RAM이 AWS에 대한 게이트웨이의 스루풋을 지원하는지 확인합니다. 예를 들어 EC2 인스턴스 유형마다 기준 스루풋이 다릅니다. 버스트 처리량이 소진된 경우 인스턴스는 기준 스루풋을 사용하므로 AWS로의 업로드 처리량이 제한될 수 있습니다. 게이트웨이가 Amazon EC2 인스턴스에서 호스팅되는 경우 인스턴스의 NetworkOut 지표를 확인합니다. 테스트 중에 NetworkOut 지표가 기준 스루풋에 머물러 있는 경우 인스턴스를 더 큰 인스턴스 유형으로 변경하는 것이 좋습니다.


AWS 공식
AWS 공식업데이트됨 2년 전