OpenSearch Service 클러스터의 EBS의 IOPS 수치를 모니터링하는 방법

Lecture de 2 minute(s)
Niveau du contenu : Intermédiaire
4

Amazon OpenSearch Service 클러스터에서 EBS Volume 선택 시 IOPS 수치를 모니터링 하는 방법 가이드입니다.

개요

Amazon OpenSearch 클러스터를 사용하면서 JVM Memory Pressure나 CPU 수치가 양호한데도 인덱싱이 안되는 증상이 발생하거나 검색 대기시간이 길어진 경우, 현재 클러스터의 노드당 EBS 총 IOPS 수치를 넘어섰는지 확인이 필요합니다.

Amazon OpenSearch는 마스터노드와 데이터노드를 EC2로 구성하고 있으며, 인스턴스 타입에 따라 EBS를 선택하실 수 있습니다. (단, i3 인스턴스 유형에서 사용되는 NVME 타입의 SSD는 EBS 타입이 아닌 경우, IOPS 모니터링을 제공하지 않습니다. 해당 NVME 타입의 인스턴스는 적은 지연시간과 매우 높은 랜덤 I/O 성능을 갖고 있으며 높은 순차 읽기 처리량과 높은 IOPS를 제공하며, EBS와 비교하여 성능상 상당한 이점을 갖고 있습니다.)

Amazon OpenSearch 서비스의 도메인의 데이터는 Amazon CloudWatch 를 통해 모니터링이 가능합니다.

총 IOPS 설정

Amazon OpenSearch 클러스터의 도메인 편집화면에서 인스턴스 유형을 선택 후 인스턴스 타입별로 최대 IOPS 설정이 가능하며 하기는 GP3의 경우를 예로 들었으며 스토리지 유형에 따라 변경 방법이 다를 수 있습니다. (단, 스토리지 유형이 GP2와 마그네틱 타입의 경우 총 IOPS 수정이 불가능합니다)

GP3

데이터 노드 설정 최하단 Advanced volume type options (IOPS and throuput configurations) 메뉴를 펼치면 노드당 총 IOPS (읽기 IOPS + 쓰기 IOPS)설정이 가능합니다.

GP3 볼륨은 노드당 스토리지 크기에 따라 다음과 같은 일관된 기준 IOPS 속도를 제공합니다. 1,024GiB 이하의 볼륨의 경우 3,000 IOPS를 제공하며, 1,024GiB를 초과하는 볼륨의 경우 GiB 당 3 IOPS를 제공합니다.

예를 들어 2,000GiB의 gp3 스토리지를 사용하면 6,000 IOPS를 얻을 수 있습니다. 추가 비용으로 추가 IOPS(최대 16,000)를 프로비저닝할 수 있습니다.

프로비저닝된 볼륨 크기 대비 프로비저닝된 IOPS의 최대 비율은 GiB당 500 IOPS입니다.

하기 예시 화면에서 30GB의 경우 GiB당 500 IOPS 제한으로 최대 15,000 IOPS까지 프로비저닝 설정이 가능한 것을 확인할 수 있습니다.

데이터노드에서 총 IOPS 설정 샘플 화면

IOPS 모니터링

CloudWatch 콘솔에서 지표 > 모든 지표 > ES/OpenSearchService를 선택합니다.

검색창에 IOPS 입력 시 ES/OpenSearchService > ClientID, DomainName, NodeID 와 ES/OpenSearchSErvice > 도메인별, 클라이언트별 지표 선택이 가능합니다.

도메인별 지표는 각 도메인에 대한 총 IOPS를 확인이 가능하며, NodeID 로 선택시 좀더 상세하게 각 노드별 총 IOPS 수치를 개별적으로 모니터링이 가능합니다.

ReadIOPSMicroBursting와 WriteIOPSMicroBursting 수치의 총합이 위에 설정한 총 IOPS 를 넘어서지 않게 모니터링이 필요합니다.


관련 정보

Amazon EBS 볼륨 유형

Amazon OpenSearch Service 요금

Lower your Amazon OpenSearch Service storage cost with gp3 Amazon EBS volumes

Amazon OpenSearch Service 클러스터에서 검색 대기 시간 갑자기 늘어났는데, 이 문제를 해결하려면 어떻게 해야 하나요?

Amazon OpenSearch Service 클러스터에서 인덱싱 성능을 개선하려면 어떻게 해야 합니까?

Amazon을 통한 OpenSearch 클러스터 지표 모니터링 CloudWatch

profile pictureAWS
INGÉNIEUR EN ASSISTANCE TECHNIQUE
publié il y a un an443 vues