Amazon EMR 클러스터에 연결할 수 없는 이유는 무엇입니까?

해결 방법

잘못된 Amazon EMR 보안 그룹 규칙

이 문제를 해결하려면 다음 작업을 수행하십시오.

• Amazon EMR 관리형 보안 그룹 규칙이 내부 사용자와 외부 사용자 및 애플리케이션에 대해 올바른지 확인합니다.
• 클러스터 관리자가 클러스터의 프라이머리 노드와 통신할 수 있도록 포트 8443에서 TCP를 허용합니다.
• SSH를 사용하여 클러스터에 연결할 수 있도록 포트 22에서 SSH를 허용합니다.

프라이빗 서브넷의 Amazon EMR 클러스터에 대한 잘못된 설정

이 문제를 해결하려면 다음 작업을 수행하십시오.

• 서비스 액세스를 위한 관리형 보안 그룹을 추가합니다. 보안 그룹 규칙은 클러스터 관리자가 클러스터 노드와 통신할 수 있도록 허용해야 합니다.
• 배스천 호스트를 사용하는 경우 클라이언트 시스템의 인바운드 트래픽을 허용하도록 배스천 호스트 보안 그룹을 구성합니다. 또한 배스천 호스트로부터의 인바운드 트래픽을 허용하도록 Amazon EMR 클러스터 보안 그룹을 구성합니다.

참고: 네트워크 구성 설정은 다양하므로 블랙홀이 없는 엔드투엔드 연결을 올바르게 설정해야 합니다.

잘못된 인증 설정

인증 설정에서 Amazon Elastic Compute Cloud(Amazon EC2) 키 페어 또는 Kerberos를 사용하는지 확인합니다. 그런 다음 인증 설정을 올바르게 구성합니다.

클러스터 노드의 리소스 제약

이 문제를 해결하려면 다음 작업을 수행하십시오.

• 기본 프라이머리 노드가 존재하고 실행 중 상태인지 확인합니다.
• 프라이머리 노드의 인스턴스 상태 로그를 검사하여 리소스를 어떻게 사용하고 있는지 확인합니다.
  다음 명령을 실행하여 상위 CPU 사용자를 확인합니다.

  ps auxwww --sort -%cpu | head -10

  다음 명령을 실행하여 커널의 성능을 확인합니다.

  dmesg | tail -n 25

  다음 명령을 실행하여 메모리 사용량을 확인합니다.

  free -m

  다음 명령을 실행하여 디스크 사용량을 확인합니다.

  df -h

프라이머리 노드의 인스턴스 컨트롤러가 실행되지 않음

프라이머리 노드의 인스턴스 컨트롤러가 실행 중인지 확인합니다. 인스턴스 컨트롤러는 클러스터 노드에서 실행되고 Amazon EMR 컨트롤 플레인 및 나머지 클러스터와 통신하는 대몬입니다.

다음 명령을 실행하여 Amazon EMR 버전 5.30.0 이상에서 인스턴스 컨트롤러의 상태를 확인합니다.

sudo systemctl status instance-controller

인스턴스 컨트롤러가 활성화되지 않은 경우 다음 명령을 실행하여 인스턴스 컨트롤러를 시작합니다.

sudo systemctl start instance-controller

이전 Amazon EMR 버전에서 인스턴스 컨트롤러의 상태를 확인하고 시작하려면 Amazon EMR에서 서비스를 다시 시작하려면 어떻게 해야 합니까?를 참조하십시오.