2024 年 8 月 22 日までに Amazon RDS と Amazon Aurora SSL/TLS 証明書を更新してください　について

この通知がメールで来たのですが、何も対応せずに期日を過ぎた場合、どうなるのでしょうか？ DBインスタンスに対して自動的に別の証明書が設定されるのか？

放置していると自動で変わると思います。
https://blog.serverworks.co.jp/rds-certificate-maintanance-2023

また、構築しているアプリケーションは、TLS/SSLを使っていないので特段対応が不要かと思ったのですが、 それでも手動で別の証明書への切り替えを行なったほうが良いのでしょうか？

アプリケーションとRDS間でSSL通信を行っていない場合は証明書の期限を気にする必要は無いと思います。
通知が気になる場合は以下のドキュメントの手順で更新することが可能です。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/UsingWithRDS.SSL-certificate-rotation.html