S3APIのDeleteObjectsで拡張子を指定できるか

DeleteObjectsだけだとできません。
list_objectsなどを使用してオブジェクト一覧を取得した後に、レスポンスにあるオブジェクトキーから拡張子が一致するものだけを取得する処理を入れる必要があります。
その後に一致したオブジェクトのみ削除するようにDeleteObjectsを実行すれば該当するファイルを削除することができます。
https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3/client/list_objects_v2.html

ちなみにAWS CLIだと「aws s3 rm」コマンドでワイルドカードで指定することが可能です。
https://blog.naoshihoshi.com/entry/2019/12/11/123000