RDS Aurora クラスタの再起動が終わらない

0

RDS Aurora クラスタに突然アクセス出来なくなりました。

イベントログを見てみるとインスタンスのリカバリが走ったようですが、
そこから復帰せず、内部的に延々と再起動を繰り返している様子です。

マネージメントコンソールから手動でインスタンスの再起動を試みましたが、
ステータスが再起動のまま進まなくなり、お手上げ状態です。

また、最新時刻の自動スナップショットからの復元も試みましたが、こちらも
作成中のまま進まず、元のインスタンスと同様のエラーログが出ています。

このような症状に出会った方や、原因や解決方法が分かる方はいらっしゃい
ませんでしょうか? 助言など頂けると助かります。

以下、マネージメントコンソールから設定とログを抜粋して記載します。

== インスタンス ==
要約:
エンジン: Aurora MySQL 5.7.12
インスタンスのクラス: db.t2.small
DB インスタンスのステータス: 再起動
最近のイベント:
--------------------------------
2018年6月1日 18:56:54 UTC+9 DB instance shutdown
・・(shutdown 繰り返し)・・
2018年6月1日 18:00:21 UTC+9 DB instance shutdown
2018年6月1日 17:59:24 UTC+9 DB instance shutdown ※このあたりで再起動を実施
2018年6月1日 17:59:20 UTC+9 Error restarting mysql: Engine bootstrap failed with no mysqld process running...
2018年6月1日 17:59:20 UTC+9 DB instance shutdown
2018年6月1日 17:57:55 UTC+9 Error restarting mysql: Engine bootstrap failed with no mysqld process running...
・・(restarting,shutdown 繰り返し)・・
2018年6月1日 8:21:14 UTC+9 DB instance shutdown
2018年6月1日 8:19:47 UTC+9 Error restarting mysql: Engine bootstrap failed with no mysqld process running...
2018年6月1日 8:19:46 UTC+9 DB instance shutdown
2018年6月1日 8:19:24 UTC+9 Error restarting mysql: Engine bootstrap is stuck for PT60S with no progress update...
2018年6月1日 8:17:18 UTC+9 Recovery of the DB instance is complete.
2018年6月1日 8:10:16 UTC+9 Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.
--------------------------------
ログ(mysql-error-running.log.2018-06-01.xx ):
--------------------------------
/etc/rds/oscar-start-cmd: line 39: 27969 Killed /rdsdbbin/oscar/bin/mysqld --core-file "$@"
・・(繰り返し)・・
/etc/rds/oscar-start-cmd: line 39: 31590 Killed /rdsdbbin/oscar/bin/mysqld --core-file "$@"
/etc/rds/oscar-start-cmd: line 39: 1236 Killed /rdsdbbin/oscar/bin/mysqld --core-file "$@"
--------------------------------
== クラスタ ==
Details:
DBクラスターロール: マスター
状況: 利用可能
IAMDB認証が有効です: いいえ
最新の復元時刻: 2018年6月1日 8:10:23 UTC+9 (ローカル)
DBクラスターメンバー:
dbインスタンス: dd1__6om ※上記のインスタンス(シングル構成)
ロール: 書き込み
クラスターパラメーターグループの状況: in-sync
最近のイベント:
--------------------------------
2018年6月1日 17:59:24 UTC+9 Promoting previous primary again: dd1__6om
・・(繰り返し)・・
2018年6月1日 8:21:15 UTC+9 Promoting previous primary again: dd1__6om
2018年6月1日 8:19:47 UTC+9 Promoting previous primary again: dd1__6om
--------------------------------

よろしくお願いいたします。

ti
質問済み 6年前1410ビュー
1回答
0

自己レスです。
前回の投稿後に、気がつくとインスタンスが利用可能になっていました。

とりあえず復旧はしたものの、原因や対応方法が分からない状態ですので、
もし本番運用のDBで発生したらと思うと不安が残る結果となりました。

※Multi-Azにして2台同時に起こらなければ大丈夫という事かも知れませんが...

個人的には今回の件でもう困ってはいないのですが、今後のために原因や
対応方法をご教授頂ける事を期待して、スレッドはオープンのまま残して
おきます。

以下、長くなりますが復旧時のログを抜粋して掲載させて頂きます。

== インスタンス ===
最近のイベント:
--------------------------------
2018年6月1日 19:38:04 UTC+9 DB instance restarted
2018年6月1日 19:37:17 UTC+9 Error restarting mysql: Engine bootstrap failed with no mysqld process running...
2018年6月1日 19:35:36 UTC+9 Recovery of the DB instance is complete.
2018年6月1日 19:33:58 UTC+9 Error restarting mysql: Could not verify and start mysqld.
2018年6月1日 19:29:07 UTC+9 Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.
2018年6月1日 19:22:29 UTC+9 DB instance restarted
2018年6月1日 19:22:08 UTC+9 DB instance shutdown
2018年6月1日 19:21:17 UTC+9 Error restarting mysql: Engine bootstrap failed with no mysqld process running...
2018年6月1日 19:19:24 UTC+9 Recovery of the DB instance is complete.
2018年6月1日 19:18:45 UTC+9 Error restarting mysql: Error in accessing/reading /rdsdbdata/config/my.cnf.template
2018年6月1日 19:17:44 UTC+9 Error restarting mysql: Could not verify and start mysqld.
2018年6月1日 19:14:27 UTC+9 Recovery of the DB instance has started. Recovery time will vary with the amount of data to be recovered.
2018年6月1日 19:12:56 UTC+9 DB instance shutdown
2018年6月1日 19:11:34 UTC+9 DB instance shutdown
・・・
--------------------------------
ログ(error/mysql-error-running.log.2018-06-01.11):
--------------------------------
2018-06-01T10:35:05.754227Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
2018-06-01T10:35:05.754830Z 0 [Warning] Insecure configuration for --secure-file-priv: Location is accessible to all OS users. Consider choosing a different directory.
2018-06-01T10:35:05.754881Z 0 [Note] /rdsdbbin/oscar/bin/mysqld (mysqld 5.7.12-log) starting as process 11032 ...
2018-06-01T10:35:05.784673Z 0 [Warning] InnoDB: Setting innodb_checksums to OFF is DEPRECATED. This option may be removed in future releases. You should set innodb_checksum_algorithm=NONE instead.
2018-06-01T10:35:05.784765Z 0 [Note] InnoDB: Started in read only mode
2018-06-01T10:35:05.784774Z 0 [Note] InnoDB: PUNCH HOLE support not available
2018-06-01T10:35:05.784778Z 0 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
2018-06-01T10:35:05.784782Z 0 [Note] InnoDB: Uses event mutexes
2018-06-01T10:35:05.784785Z 0 [Note] InnoDB: GCC builtin __atomic_thread_fence() is used for memory barrier
2018-06-01T10:35:05.784790Z 0 [Note] InnoDB: Compressed tables use zlib 1.2.3
2018-06-01T10:35:05.785311Z 0 [Note] InnoDB: == Add SYNC_FAST DDL...
2018-06-01T10:35:05.787590Z 0 [Note] InnoDB: Number of pools: 1
2018-06-01T10:35:05.790538Z 0 [Note] InnoDB: Using CPU crc32 instructions
2018-06-01T10:35:05.790552Z 0 [Note] InnoDB: Disabling background log and ibuf IO write threads.
2018-06-01T10:35:05.791744Z 0 [Note] InnoDB: Initializing buffer pool, total size = 699M, instances = 1, chunk size = 699M
2018-06-01T10:35:13.032760Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set.
2018-06-01T10:35:13.032924Z 0 [Warning] Insecure configuration for --secure-file-priv: Location is accessible to all OS users. Consider choosing a different directory.
2018-06-01T10:35:13.032945Z 0 [Note] /rdsdbbin/oscar/bin/mysqld (mysqld 5.7.12-log) starting as process 11473 ...
2018-06-01T10:35:13.042130Z 0 [Warning] InnoDB: Setting innodb_checksums to OFF is DEPRECATED. This option may be removed in future releases. You should set innodb_checksum_algorithm=NONE instead.
2018-06-01T10:35:13.042212Z 0 [Note] InnoDB: Started in read only mode
2018-06-01T10:35:13.042225Z 0 [Note] InnoDB: PUNCH HOLE support not available
2018-06-01T10:35:13.042229Z 0 [Note] InnoDB: Mutexes and rw_locks use GCC atomic builtins
2018-06-01T10:35:13.042233Z 0 [Note] InnoDB: Uses event mutexes
2018-06-01T10:35:13.042236Z 0 [Note] InnoDB: GCC builtin _atomic_thread_fence() is used for memory barrier
2018-06-01T10:35:13.042239Z 0 [Note] InnoDB: Compressed tables use zlib 1.2.3
・・(== Add SYNC
.. 繰り返し)・・
2018-06-01T10:38:00.673879Z 0 [Note] InnoDB: == Add SYNC_FAST DDL...
2018-06-01T10:38:00.674020Z 0 [Note] InnoDB: Number of pools: 1
2018-06-01T10:38:00.674162Z 0 [Note] InnoDB: Using CPU crc32 instructions
2018-06-01T10:38:00.676012Z 0 [Note] InnoDB: Initializing buffer pool, total size = 699M, instances = 1, chunk size = 699M
2018-06-01T10:38:01.823828Z 0 [Note] InnoDB: Completed initialization of buffer pool
2018-06-01T10:38:01.841563Z 0 [Note] InnoDB: page_cleaner coordinator priority: -20
2018-06-01T10:38:01.872821Z 0 [Note] InnoDB: Highest supported file format is Barracuda.
2018-06-01T10:38:02.755266Z 0 [Note] InnoDB: Creating shared tablespace for temporary tables
2018-06-01T10:38:02.755310Z 0 [Note] InnoDB: Setting file './ibtmp1' size to 12 MB. Physically writing the file full; Please wait ...
2018-06-01T10:38:02.755319Z 0 [Note] InnoDB: File './ibtmp1' size is now 12 MB.
2018-06-01T10:38:02.774467Z 0 [Note] InnoDB: 96 redo rollback segment(s) found. 96 redo rollback segment(s) are active.
2018-06-01T10:38:02.774493Z 0 [Note] InnoDB: 32 non-redo rollback segment(s) are active.
2018-06-01T10:38:02.781150Z 0 [Note] InnoDB: Waiting for purge to start
2018-06-01T10:38:02.831315Z 0 [Note] InnoDB: 5.7.12 started; log sequence number 0
2018-06-01T10:38:02.833374Z 0 [Note] Plugin 'FEDERATED' is disabled.
180601 10:38:02 server_audit: Audit STARTED.
180601 10:38:02 server_audit: Query cache is enabled with the TABLE events. Some table reads can be veiled.180601 10:38:02 server_audit: server_audit_incl_users set to ''.
180601 10:38:02 server_audit: server_audit_excl_users set to ''.
2018-06-01T10:38:02.861899Z 0 [Note] Skipping generation of SSL certificates as options related to SSL are specified.
2018-06-01T10:38:03.131332Z 0 [Note] Auto generated RSA key files are placed in data directory.
2018-06-01T10:38:03.131449Z 0 [Note] Server hostname (bind-address): '*'; port: 3306
2018-06-01T10:38:03.131480Z 0 [Note] IPv6 is available.
2018-06-01T10:38:03.131494Z 0 [Note] - '::' resolves to '::';
2018-06-01T10:38:03.131768Z 0 [Note] Server socket created on IP: '::'.
2018-06-01T10:38:03.188355Z 0 [Warning] 'user' entry 'mysql.sys@localhost' ignored in --skip-name-resolve mode.
2018-06-01T10:38:03.188375Z 0 [Warning] 'user' entry 'rdsadmin@localhost' ignored in --skip-name-resolve mode.
2018-06-01T10:38:03.313268Z 0 [Note] Event Scheduler: Loaded 0 events
2018-06-01T10:38:03.520016Z 0 [Note] /rdsdbbin/oscar/bin/mysqld: ready for connections.
Version: '5.7.12-log' socket: '/tmp/mysql.sock' port: 3306 MySQL Community Server (GPL)
------------------------- ログの最後 ------------------------

※[]がMarkupに解釈されてしまうので全角文字に変換しています

よろしくお願いいたします。

ti
回答済み 6年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン