En utilisant AWS re:Post, vous acceptez les AWS re:Post Conditions d’utilisation

About copying in S3 bucket :S3バケット内のコピーについて

0

This is done in the AWS console.

Copying within an S3 packet (about 3GB) used to take about 5 minutes, but yesterday (2024/09/16) it took about 30 minutes.

Also, it sometimes stops with an error.

Error code char 'd' is not expected.:1:3 Deserialization error: to see the raw response, inspect the hidden field {error}.$response on this object.

When setting up the copy, it was normal before the "Other copy settings" field was created.

(It is normal as of 2024/09/13)

Have there been any changes to the specifications or default values?

Please let me know the solution.

AWSコンソールでの操作です。

S3パケット内でのコピー(3GB程度)が以前は5分程度で終了していましたが、 昨日(2024/09/16)実施すると30分程度かかります。

また、その際にエラーで止まってしまうこともあります。 エラーコード char 'd' is not expected.:1:3 Deserialization error: to see the raw response, inspect the hidden field {error}.$response on this object.

コピー設定をする際に、「その他のコピー設定」という欄が出来る前は正常でした。 (2024/09/13時点では正常) 何か仕様の変更や規定値の変更などがあるのでしょうか。

解決策などご教授ください。

demandé il y a 3 mois321 vues
1 réponse
0
Réponse acceptée

私の環境で4.2GBのファイルで試してみたのですが、問題が再現できませんでした。
コピーしているオブジェクトはどのようなデータでしょうか?(私が試したのは通常のログ (テキストデータ) で試しました)

profile picture
EXPERT
répondu il y a 3 mois
  • 回答ありがとうございます。 本件では同バケット内で、画像データが8000件ほどのオブジェクトを、新規作成したオブジェクトへコピーを実施しました。

    汎用バケット1内の オブジェクトA →AAAフォルダ ・画像1000件 →BBBフォルダ ・画像1500件 ・・・

    上記オブジェクトAを オブジェクトB内に作成した日付フォルダへコピーを行いました。

    当方AWS自体に詳しくなく、バケット内でのコピーに速度制限などはあるのでしょうか?

  • 内容を見る限りだとオブジェクト数が多くて失敗しているのではないかと思いました。(8000件くらいであれば処理できそうな気もしますが...) 大量のオブジェクトを移動したりコピーしたりする場合はバッチレプリケーションなどのご利用を検討してください。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/s3-batch-replication-batch.html
    ちなみにAWS CLIコマンドの「aws s3 sync」コマンドなどでコピーしても同じようなエラーになりますか? https://repost.aws/ja/knowledge-center/move-objects-s3-bucket

  • ありがとうございます。 一度cliで実施したところ通常成功時以上の速度(2.3分程度)で完了しました。

    そこでかなり初歩的な質問になりますが、 ①コンソールからの実施とCLIからの実施でここまで差が出ることはあるのでしょうか?

    ②コピー元と先のフォルダをコンソールから"合計サイズを計算する"を実施すると、オブジェクトの合計数に差異がありました。中のデータについては問題なくコピー出来ていたのですが、合計数の表示に差異が出る場合もありますでしょうか。

    ③CLI コマンドについてです ☆コピーターゲット "Copy Folder" バケットA/"Copy Folder"/AAAやBBBのフォルダ ☆コピー先 "YYYYMMDD" バケットA/"Copy Folder_Backup"/"YYYYMMDD"

    上記をターゲットに以下のコマンドを実施しました。 aws sync s3://バケットA/"Copy Folder" s3://バケットA/"Copy Folder_Backup"/"YYYYMMDD"

    結果として "YYYYMMDD"/AAAやBBB となったのですが、 "YYYYMMDD"/"Copy Folder"/AAAやBBBとコピーしたい場合、 コマンドはどのようにすればいいのか分かりますでしょうか。

  • コンソールからの実施とCLIからの実施でここまで差が出ることはあるのでしょうか?

    パフォーマンスの差については聞いたことがありません。

    コピー元と先のフォルダをコンソールから"合計サイズを計算する"を実施すると、オブジェクトの合計数に差異がありました。中のデータについては問題なくコピー出来ていたのですが、合計数の表示に差異が出る場合もありますでしょうか。

    正常にコピーができているのであれば同数になると思います。 何かしら重複してコピーされてるのかコピーに失敗したのではないかと思います。 https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/using-folders.html

    バケット内の指定されたオブジェクトまたはフォルダで [Calculate total size] (合計サイズを計算する) アクションを使用すると、Amazon S3 はオブジェクトの総数と合計ストレージサイズを計算します。ただし、不完全または進行中のマルチパートのアップロード、および以前のバージョンまたは最新ではないバージョンは、オブジェクトの総数または合計サイズには含まれません。
    

    CLI コマンドについてです

    以下のように「"Copy Folder"」を末尾に付ければその配下にオブジェクトがコピーされます。

    aws sync s3://バケットA/"Copy Folder" s3://バケットA/"Copy Folder_Backup"/"YYYYMMDD"/"Copy Folder"
    
  • ご連絡が遅くなり、申し訳ございません。 こちら一旦CLIでの操作で解決できる目途が立ちました。

    GUIでの操作についてはサポートレベルを上げれそうであれば、AWSテクニカルサポートで確認を行ってみようと思います。 アドバイスをいただきありがとうございました。

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions