IAMユーザにcost explorerのみ許可する方法

PowerUserAccessは請求関連以外のアクションも許可されているポリシーなので以下のドキュメントに記載されている請求に関連するマネージドポリシーを用途に合わせてアタッチしてみるのがよいと思います。
https://docs.aws.amazon.com/ja_jp/awsaccountbilling/latest/aboutv2/managed-policies.html

ちなみにCost Explorerだけ操作を許可したいということであれば以下のポリシーを設定すればCost Explorerの全操作が許可されます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "test",
            "Effect": "Allow",
            "Action": "ce:*",
            "Resource": "*"
        }
    ]
}