Por que não consigo aumentar o volume de disco do Amazon EBS no meu cluster do Amazon MSK?

Resolução

As causas mais comuns desse problema são as seguintes:

• Você não tem as permissões necessárias para modificar o volume do Amazon EBS.
• Seu cluster está no estado de Optimizing (Otimizando) de um upgrade de volume anterior do Amazon EBS.

Você não tem as permissões necessárias para modificar o volume do Amazon EBS

Verifique se você tem as permissões necessárias para modificar o volume de disco do EBS para seu cluster. Certifique-se de anexar a política AmazonMSKFullAccess ou AmazonMSKClusterManagement ao seu usuário ou perfil do AWS Identity and Access Management (IAM).

Seu cluster está no estado de otimização de um upgrade de volume anterior do Amazon EBS

Nesse caso, você recebe o erro “An EBS volume in this cluster is under modification from a previous operation” (Um volume do EBS nesse cluster está sendo modificado em relação a uma operação anterior).

Quando você aumenta o tamanho de um volume do EBS que está conectado ao seu nó de operador do Amazon MSK, o armazenamento recém-adicionado fica disponível imediatamente. No entanto, leva de 6 a 24 horas ou mais para que o cluster seja otimizado. A duração da otimização do cluster é proporcional ao tamanho do armazenamento.

Ao aumentar o tamanho do volume do EBS, certifique-se de que o volume adicionado seja suficiente para as próximas 48 horas ou mais. Durante esse período, você não pode adicionar mais volumes ao seu cluster. Você não pode atualizar ainda mais o volume até que o cluster seja otimizado.

Importante: suponha que seu cluster esteja sendo otimizado e você já esteja ficando sem espaço em disco. Nesse caso, certifique-se de desativar a escalabilidade automático se você a tiver ativado anteriormente. Caso contrário, quando a otimização for concluída, o volume será aumentado somente em 10% ou 10 GB. Isso pode ser muito baixo, causando problemas semelhantes com a modificação do volume. Depois de desativar a escalabilidade automática, não se esqueça de analisar seus padrões de tráfego e aumentar seu espaço de armazenamento adequadamente.

Se o seu cluster estiver passando por modificações e a métrica KafkaDataLogsDiskUsed for inferior a 94%, você poderá excluir tópicos antigos ou não usados para liberar espaço. Execute o comando a seguir para determinar o espaço ocupado por tópico:

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

Em seguida, exclua os tópicos antigos ou não utilizados para liberar espaço em disco.

Observação: se KafkaDataLogsDiskUsed for maior que 94%, esse comando talvez não responda. Nesse caso, não é possível excluir os tópicos.