我的AWS Batch作业服务将大量数据存储到S3,但我的代码似乎无法与S3配合工作?

0

【以下的问题经过翻译处理】 我在AWS Batch上运行了5个使用Fargate的批处理作业,当它们运行时,我注意到通过NAT Gateway传输到S3的容量急剧增加。我使用Athena查询了VPC日志,并发现目标IP是S3的IP地址,而我的代码中没有使用S3。当我关闭这些作业时,传输到S3的容量完全减少了。我不明白为什么我的批处理作业服务会使用S3,而我的代码却不会。有没有办法调查以确定容量的确切来源?(除了https://aws.amazon.com/premiumsupport/knowledge-center/vpc-find-traffic-sources-nat-gateway/?nc1=h_ls,我已经阅读过了)。我了解可以使用S3 VPC端点来处理通过NAT网关的吞吐量,但我想找到根本原因。

1 Antwort
0

【以下的回答经过翻译处理】 您的容器映像(我假设存储在ECR中)存储在S3中,这很可能是S3流量激增的原因。可以设置一个S3网关端点来优化下载 - 请参阅此[链接](https://docs.aws.amazon.com/AmazonECR/latest/userguide/vpc-endpoints.html#ecr-setting-up-s3-gateway)

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen