Amazon EMR에서 모니터링 스크립트를 실행할 때 "비율 초과" ThrottlingException 오류를 방지하려면 어떻게 해야 합니까?

1분 분량
0

Amazon EMR 클러스터를 모니터링하기 위해 API 호출을 수행하는 스트립트를 실행했습니다. 스크립트는 다음과 유사한 오류를 반환합니다: “비율이 초과되었습니다(Service: AmazonElasticMapReduce; Status Code: 400; Error Code: ThrottlingException; Request ID: e2b6191c-gkl5-269r-u735-cryyz251a837)” “속도 초과” 오류를 방지하려면 어떻게 해야 합니까?

간략한 설명

Amazon EMR은 시스템 안정성을 유지 관리하기 위해 API 호출을 조절합니다. 일반적으로 조절 예외는 클러스터에서 파라미터를 확인하기 위해 정기적으로 모니터링 스크립트를 실행할 때 발생합니다. 다음은 예입니다. 클러스터가 WAITYN 상태에 도달했는지 확인하기 위해 60초마다 DescribeCluster를 호출합니다. 클러스터가 많고 실행하는 모니터링 스크립트가 많을수록 조절 오류가 발생할 가능성이 큽니다.

해결 방법

조절 오류를 방지하려면:

  • API 호출 빈도를 줄입니다.
  • 한 번에 모두 실행되지 않도록 API 호출 간격을 겹치지 않게 설정합니다.
  • API 호출을 수행할 때 지수 백오프를 구현합니다.
  • 이벤트 기반 아키텍처로 전환하는 것을 고려해 보십시오.

제한 오류의 원인을 이해하려면 AWS CloudTrail을 사용하여 이벤트 기록을 추적합니다. CloudTrail은 다음과 같은 이벤트 세부 정보를 식별하는 데 도움이 될 수 있습니다.

  • 잦은 API 호출
  • 속도 초과 오류 및 관련 API 호출
  • API 호출 트리거의 주체가 사용자이지 자동화인지 여부

관련 정보

공통 오류

워크로드에서 API 제한 관리 및 모니터링

CloudTrail 작동 방식

AWS 공식
AWS 공식업데이트됨 2년 전
댓글 없음

관련 콘텐츠