Amazon EMR에서 “session '0' not found” 및 “Error sending http request and maximum retry encountered” 오류를 해결하려면 어떻게 해야 합니까?

해결 방법

Jupyter Notebook을 사용하여 Amazon EMR에서 Apache Livy 애플리케이션을 실행할 때 다음 오류 중 하나가 표시될 수 있습니다.

• '404' from ######## with error payload: "session '0' not found"
• "The code failed because of a fatal error: Error sending http request and maximum retry encountered."

시간이 초과될 때까지 Jupyter Notebook 세션을 실행하면 위와 같은 오류가 표시됩니다. 오류를 해결하려면 프라이머리 노드의 /etc/livy/conf/livy.conf에서 livy.server.session.timeout 속성의 값을 늘립니다. 그런 다음 livy-server를 다시 시작합니다.

실행 중인 Amazon EMR 클러스터에서 또는 새 클러스터를 시작할 때 livy.server.session.timeout 속성을 수정할 수 있습니다.

실행 중인 클러스터에서 livy.server.session.timeout을 수정합니다.

다음 단계를 완료합니다.

1. 활성 프라이머리 노드에서 /etc/livy/conf/livy.conf를 엽니다.
2. livy.server.session.timeout 값을 수정합니다.

   sudo vim /etc/livy/conf/livy.conflivy.server.session.timeout 2h

   참고: 2h를 요구 사항에 맞는 값으로 바꾸십시오. 기본값은 1시간 입니다.
3. livy-server를 다시 시작하려면 활성 프라이머리 노드에서 버전 요구 사항에 따라 다음 명령 중 하나를 실행합니다.
   Amazon Linux 2에서 Amazon EMR 버전 5.30.0 이상, Amazon EMR 6 시리즈 및 Amazon EMR 7 시리즈를 사용하는 경우 다음 명령을 실행합니다.

   sudo systemctl stop livy-server
   sudo systemctl start livy-server

   Amazon EMR 릴리스 버전 5.29.0 이하 버전의 경우 다음 명령을 실행합니다.

   sudo stop livy-server
   sudo start livy-server

참고: livy-server가 다시 시작되면 클러스터에 액세스할 수 없습니다. 가동 중지 시간을 방지하려면 Amazon EMR 클러스터를 시작할 때 Apache Livy 애플리케이션을 구성합니다.

새 클러스터에서 livy.server.session.timeout 수정

Amazon EMR 버전 4.6.0 이상을 사용하여 클러스터를 시작할 때 구성 객체를 추가합니다.

예시:

[
    {
        "Classification": "livy-conf",
        "Properties": {
            "livy.server.session.timeout-check": "true",
            "livy.server.session.timeout": "2h",
            "livy.server.yarn.app-lookup-timeout": "120s"
        }
    }
]

다음 관련 속성을 수정할 수도 있습니다.

• livy.server.session.timeout-check 속성을 켜면 Apache Livy는 시간 제한 임계값에 도달한 유휴 세션을 중지합니다. 기본 설정은 true입니다.
• livy.server.yarn.app-lookup-timeout 속성은 애플리케이션이 없어진 것으로 간주되기 전에 Apache Livy가 YARN 애플리케이션을 찾는 시간입니다. 기본 설정은 60초입니다.

작업을 실행한 후에는 Jupyter 또는 Zeppelin에서 세션을 닫아야 합니다. 열려 있는 세션이 너무 많으면 리소스를 사용할 수 있게 될 때까지 새 작업을 시작할 수 없습니다.

관련 정보

Apache Livy

Amazon EMR의 Jupyter Notebook