OpenSearch Service で長時間実行されているスナップショットやスタックしているスナップショットのトラブルシューティング方法を教えてください。

所要時間1分

Amazon OpenSearch サービスにスナップショットリポジトリを登録しました。手動でスナップショットを取得しようとすると、スナップショットが長時間処理されないか、失敗します。

解決策

手動スナップショットが失敗すると、次のエラーが発生します。

「snapshot_in_progress_exception」
「concurrent_snapshot_execution_exception」
「cannot snapshot while a snapshot deletion is in-progress」
「Unable to upload object [abcd/efgh/1234/ABCDEF] using multipart upload」

データサイズが大きい場合、クラスターが混雑している場合、リソースが限られている場合、ネットワークに問題がある場合に、スナップショットの実行時間が長くなったり、失敗したりすることがあります。手動スナップショットのパフォーマンスに関する問題を解決するには、次のアクションを実行してください。

注: スナップショットが進行中でも、クラスターでドキュメントのインデックスを作成したり、他のリクエストを行ったりできます。ただし、新しいドキュメントや既存のドキュメントへの更新は、保留中のスナップショットには含まれません。

CPU 使用率が高くないか、JVM の負荷が高くないかをチェックする

CPU 使用率が高い場合や JVM の負荷が高いと、手動スナップショットが失敗する可能性があります。CPU 使用率と JVM の負荷を追跡するには、それらのメトリクスの Amazon CloudWatch アラームを使用してください。

設定をテストする

データノードの数に基づいて、専用マスターノードインスタンスに適切なインスタンスタイプを使用するようにしてください。また、インデックスに適した数のシャードを選択する必要があります。各ノードには、Java ヒープメモリの GiB あたり 25 個未満のシャードが必要です。OpenSearch Service では、ヒープメモリはインスタンスメモリの半分、最大 32 GB に相当します。各インスタンスタイプのメモリ容量については、「オンデマンドインスタンスの料金」を参照してください。

クラスターノード全体に十分なストレージがあることを確認してください。ディスク容量が少ないと、OpenSearch Service はシャードの割り当てを解除し、新しいノードに再調整します。このプロセスの間、OpenSearch Service はスナップショットを優先度の低いタスクと見なすため、クラスターが異常になり、スナップショットの操作が遅れたり停止したりすることがあります。

ネットワークレイテンシーを減らすには、スナップショットリポジトリが Amazon OpenSearch クラスターと同じ AWS リージョンにあることを確認してください。

スナップショットを順番に、またトラフィックが少ない時間帯にスケジュールする

一貫性と整合性を維持するために、OpenSearch Service はスナップショットを順番に処理します。この優先順位付けを管理するには、スナップショットを順番にスケジュールしてください。複数のスナップショットを同時に作成すると、バックアップが不完全になったり、信頼性が低下したりする可能性があります。

頻繁にスナップショットを取ることがベストプラクティスです。OpenSearch Service スナップショットには、前回成功したスナップショット以降に変更されたデータのみが保存されます。1 週間分の時間単位のスナップショットに必要なディスク容量は、週末 1 回のスナップショットに必要なディスク容量とほぼ同じです。ただし、1 時間ごとのスナップショットは、完了するまでの時間が短くなります。

クラスターの負荷を軽減するには、トラフィックが少ないときにスナップショットを作成するのがベストプラクティスです。GET _cat/tasks API を使用して、クラスターで現在実行されているすべてのタスクの進行状況を一覧表示します。詳細については、OpenSearch ウェブサイトの CAT タスクを参照してください。

スナップショットの進行状況を監視する

スナップショット API エンドポイントを使用して、スナップショットの進行状況を監視し、問題を特定します。詳しくは、OpenSearch ウェブサイトの「スナップショットステータスを取得する」を参照してください。

インデックスのライフサイクルを管理する

スナップショットのサイズを小さくするには、古いデータや無関係なデータを定期的に削除またはアーカイブしてください。インデックスのライフサイクルを管理するには、インデックス状態管理 (ISM) のポリシーを使用します。