All Content tagged with AWS Batch

添付画像のように費用が発生しておりますがどこで発生しているか不明なため対策が取れず継続的にかさんでいる状態です。 対策方法をご教示頂けましたら幸いです。 

はじめまして。 以下、有識者の皆様のご指導をいただけますと幸いです。 よろしくお願いいたします。 **【経緯と現状】** 従来、SageMakerの非同期推論とバッチ推論を利用（ml.g4dn.xlargeインスタンス） ドキュメントを参考に、オートスケール機能を利用していましたが、推論完了後も5分程度起動し続けてしまうため不要なコストが発生していました。 その問題を改善するためにAWS Ba...

エラーメッセージ：Container overrides should not be set for ecsProperties jobs.(Service: AWSBatch; Status Code: 400) このエラーは、AWS Step Functionsが以下の定義を自動的に追加するために発生しています。解決策について何かアイデアはありますか？ 空のcontainerOverrides...

AWS BatchでS3ファイルをダウンロードし、集計結果をDynamoDBにバッチ書き込み（25件）するという実装をしています。①ジョブ数600×並列度1024、②ジョブ数900×並列度1024というパターンでそれぞれ実施しました。1ジョブあたりの処理件数は変わらないので、ジョブ全体の処理件数は、右に行くほど処理件数が3倍に増えています。①と②では1ジョブ当たりの処理時間、ジョブ全体の処理時間は...

AWS Batch EC2ではジョブ定義でGPU数を指定することでコンテナにNvidia Runtimeが指定されてインスタンスのGPUが使用できるようです。 しかし、この場合単一のGPUに対して複数のコンテナを起動するのことができません。 ジョブ定義でGPU数を1に設定したジョブが2つ実行された場合、オートスケーリンググループは2つのインスタンスを起動し、それぞれのインスタンスでコンテナを起...

一般的な質問になりますがよろしくおねがいします。 ログ出力の方法は２つあると考えています。 １．OS（EC2インスタンスやECR（Dockerコンテナ））側にCloudWatchエージェントをインストールし、CloudWatchエージェントでconfig.jsonを作成後、インスタンス/ECSを起動後に指定のロググループ、ログストリーム宛にログは排出される。 ２．AWS BATCHのジョブ定義でロ...

よろしくおねがいします。 バッチジョブで実行したEC2インスタンス（スポットインスタンス）から、CloudWatchでログを収集しようとしています。 CloudWatchは、ロググループ名は固定で、ログストリームが鈴なりに続いていくイメージで作成したいと考えています。 このような場合、 ①ジョブ定義の logconfiguration > logDriverに「awslogs」を指定。 ②E...

よろしくお願いします。 リージョンAのaws batchに設定しているジョブ定義を、リージョンBのbatchジョブ定義で利用（再利用）したいと考えています。 実施にあたり以下を参考にしています。 register-job-definition — AWS CLI 2.12.3 Command Reference https://awscli.amazonaws.com/v2/documentat...