모델을 트레이닝하거나 대용량 데이터 세트를 로드하기 위해 Amazon SageMaker 노트북 인스턴스를 시작했는데 노트북 인스턴스가 정지된 것 같습니다. 내 SageMaker 인스턴스 리소스 사용량을 보려면 어떻게 해야 합니까?
해결 방법
SageMaker 노트북 인스턴스 리소스를 사용하여 프로토타입을 제작하거나 모델을 학습시키거나 대규모 데이터 세트로 작업할 때 SageMaker의 브라우저 또는 노트북 인스턴스가 응답하지 않는 것처럼 보일 수 있습니다. 브라우저 또는 노트북 인스턴스가 응답하지 않는 것처럼 보일 경우 SageMaker 리소스 사용률을 보고 현재 리소스 사용량을 확인할 수 있습니다.
다음 방법 중 하나를 사용하여 SageMaker 리소스 사용률을 볼 수 있습니다.
- Linux 기반 명령 실행
- Amazon CloudWatch 지표 사용
Linux 명령을 사용하여 SageMaker 리소스 사용률 보기
SageMaker 노트북 인스턴스는 Amazon Linux를 기반으로 합니다. SageMaker 터미널에서 Linux 명령을 실행하여 SageMaker 리소스 사용률을 볼 수 있습니다.
SageMaker Linux 명령을 실행하여 리소스 사용률을 보려면 다음을 수행합니다.
-
SageMaker 콘솔을엽니다.
-
탐색 창에서 노트북 인스턴스(Notebook Instances)를 선택합니다.
-
선택한 SageMaker 노트북 인스턴스 옆에 있는 Jupyter 열기(Open Jupyter) 또는 JupyterLab을 선택합니다.
-
터미널(Terminal)을 엽니다.
-
다음 명령을 실행하여 SageMaker 리소스 사용률을 확인하세요.
top
위 명령은 사용 가능한 시스템 메모리(RAM)와 프로세서 부하를 표시합니다.
ps -ax
위 명령은 실행 중인 작업과 프로세서 부하를 표시합니다.
df -h
위 명령은 디스크 공간 사용률 및 가용성을 표시합니다.
free -m
위 명령은 시스템 메모리(RAM) 사용률 및 가용성을 표시합니다.
CloudWatch를 사용하여 SageMaker 리소스 사용률 보기
CloudWatch를 사용하면 수명 주기 구성 스크립트를 사용하여 SageMaker 리소스 사용률을 확인할 수 있습니다. 예를 들어, publish-instance-metrics 스크립트는 노트북 인스턴스의 시스템 수준 지표를 CloudWatch에 게시합니다.
CloudWatch에서 모든 지표를 볼 수 있도록 SageMaker 노트북 인스턴스를 구성하려면 다음을 수행합니다.
-
SageMaker 콘솔을엽니다.
-
탐색 창에서 [노트북 인스턴스(Notebook Instances)]를 선택합니다.
-
선택한 SageMaker 노트북 인스턴스 옆에 있는 Jupyter 열기(Open Jupyter) 또는 Jupyterlab을 선택합니다.
-
터미널(Terminal)을 엽니다.
-
다음 명령을 입력하여 amazon-cloudwatch-agent-config-wizard를 엽니다.
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-config-wizard
- 마법사의 단계를 따라해 보세요. 메시지가 표시되면 다음과 수행합니다.
- [온프레미스 호스트(On-premises host)] 선택
- [StatsD 데몬(daemon)]에서 [아니오(no)] 선택
- CollectD에서 [아니요(no)] 선택
-
마법사가 완료되면 자동으로 config.json 파일을 만듭니다. 이 파일은 다음 단계에 필요합니다.
-
다음 명령을 사용하여 서버에서 CloudWatch 에이전트를 시작합니다.
sudo /opt/aws/amazon-cloudwatch-agent/bin/amazon-cloudwatch-agent-ctl -a fetch-config -m ec2 -c file:///opt/aws/amazon-cloudwatch-agent/bin/config.json -s
-
CloudWatch 콘솔에서 [지표(Metrics)]를 선택한 다음 CWAgent를 선택합니다.
-
CWAgent는 현재 SageMaker 지표를 표시합니다.
SageMaker 노트북용 AWS 수명 주기 구성 스크립트 예제에 대한 자세한 내용은 amazon-sagemaker-notebook-instance-lifecycle-config-samples을 참조하세요.
관련 정보
Amazon CloudWatch로 Amazon SageMaker 모니터링
CloudWatch 에이전트가 수집한 지표
Amazon SageMaker 모니터
터미널 - 터미널용 Jupyter 프로젝트 문서