AWS Builder Center is the official home for builders on AWS. Share and read what others are working on, follow people who inspire you, explore training and workshops, and find tools to support what you're building.
AWSCloudWatch의 용량이 갑자기 하루만에 1000% 증가 하였습니다.
운영 환경: EKS(Amazon Elastic Kubernetes Service)를 사용하여 서비스 운영 중이며 Clodwatch로 모니터링 함
문제 상황: 9월 18일 이후 CloudWatch의 저장 사용량이 하루 만에 10000% 증가 하루에 수백 기가의 로그가 쌓임. CloudWatch의 IncomingBytes가 비정상적으로 증가 CloudWatch 요금이 하루에 500달러 이상으로 급증(이전: 1-2달러/일). 3일동안 유지하였음 현재는 CloudWatch Observability 플러그인을 비활성화하여 현재는 발생하지 않음.
문제 발생 시점: EKS Plugin의 CloudWatch Observability 업데이트 이후 갑자기 발생
추정 원인: CloudWatch Plugin의 오류로 판단됨 아래 로그가 1초에 수십~수백개씩 쌓임 @message {"time":"2024-09-18T15:00:00.183420141Z","stream":"stdout","_p":"P","log":"2024-09-18 15:00:00 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: "2024-09-18T14:59:57.020846089Z stdout P 2024-09-18 14:59:57 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: \"2024-09-18T14:59:46.08281019Z stdout P 2024-09-18 14:59:46 +0000 [warn]: #0 [in_tail_fluentd_logs] pattern not matched: \\\"2024-09-18T14:59:40.624972596Z stdout P \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\...............
요청 사항: 이 상황에 대한 증가분에 대한 요금 해결 문의 드립니다
- 최신
- 최다 투표
- 가장 많은 댓글
안녕하세요.
rePost 는 커뮤니티로 AWS 엔지니어의 지원을 받으시거나 요금 등 문의를 하시려면 AWS 콘솔 우측 상단 지원 센터를 통해 문의하셔야 합니다.
해당 부분은 로그를 수집하는 fluentd 데몬이 어떠한 사유로 인해 로그를 파싱하지 못하는 상황으로 예상되며, 구글에서 찾은 몇 가지 case 를 공유 드립니다. 해당 부분이 사용하는 시스템에서 발생하는 오류와 정확히 일치하지 않을 수도 있으므로, AWS 의 support plan 에서 최소 developer 이상을 가입하시어, 기술 문의 case 를 올려보시는 것을 추천 드립니다.
참고
답변함 2년 전
관련 콘텐츠
- AWS 공식업데이트됨 4년 전
