Por que minha associação de repositórios de dados do Amazon FSx para Lustre não exporta arquivos para o Amazon S3?

Resolução

Verifique se há problemas de configuração do sistema de arquivos

• Verifique se o repositório de dados do FSx para Lustre está configurado corretamente.
• Certifique-se de que o sistema de arquivos esteja montado corretamente.

Verifique se há problemas de configuração de exportação

Verifique a configuração de exportação entre o repositório de dados do FSx para Lustre e o bucket do Amazon S3. Ao criar uma associação de repositório de dados (DRA), certifique-se de selecionar as opções de exportação corretas. Verifique se os dados estão armazenados em formato compatível com UTF-8, para que o FSx para Lustre possa exportar dados para o bucket do S3. As chaves de objeto do Amazon S3 têm um tamanho máximo de 1.024 bytes. O FSx para Lustre não exporta arquivos com uma chave de objeto do S3 correspondente que tenha mais de 1.024 bytes.

Analise erros e logs

Verifique se há erros ou avisos relacionados à operação de sincronização nos logs do FSx para Lustre e do bucket do S3. Esses logs podem ajudar a identificar problemas que você deve resolver. Para obter mais informações, consulte Como registrar logs com o Amazon CloudWatch Logs. Verifique a métrica AgeofOldestQueuedMessage do sistema de arquivos no CloudWatch. Essa métrica ajuda a identificar o tempo de atraso da sincronização do sistema de arquivos para o S3.

Observação: para investigar mais detalhadamente, verifique os logs de erros e falhas que correspondem à hora em que AgeofOldestQueuedMessage começou a crescer.

Se você tiver ativado o registro de logs no sistema de arquivos do FSx para Lustre, poderá encontrar os logs correspondentes no grupo de registros Cloudwatch/aws/fsx/lustre. Se tiver informações sobre arquivos que falharam na exportação para o S3, pesquise a string de log com o caminho do arquivo correspondente, por exemplo, dir1/file.txt. As falhas na tarefa do repositório de dados e na exportação automática têm uma entrada de objeto JSON correspondente no grupo de registros. Você pode encontrar o código de erro específico dessas entradas. Para obter mais informações sobre essas mensagens de log e as causas básicas, consulte Logs de eventos do repositório de dados.

Verifique problemas de permissão

Confirme se o perfil do AWS Identity and Access Management (IAM) associada ao repositório de dados do FSx para Lustre tem as permissões necessárias para acessar o bucket do S3. Esse perfil do IAM deve ter as permissões necessárias para realizar as ações necessárias no bucket do S3, como listar, ler e gravar objetos. Se o perfil do IAM não tiver as permissões corretas, a operação de sincronização falhará.

Para verificar e modificar as permissões do perfil do IAM associado ao repositório de dados do FSx para Lustre, conclua as seguintes etapas:

1. Abra o console do IAM.
2. No painel de navegação, escolha Perfis.
3. Em Perfis, pesquise um perfil do IAM semelhante a AWSServiceRoleForFSxS3Access\_fs-01234567890. Esse é o perfil do IAM associado ao repositório de dados do FSx para Lustre.
4. Escolha o perfil do IAM.
5. Escolha a guia Permissões para analisar as permissões associadas ao perfil.
6. Expanda a política em linha do cliente anexada. Em seguida, analise a política para garantir que o perfil tenha as permissões necessárias para acessar o bucket do S3. O perfil deve ter, no mínimo, as permissões s3:ListBucket, s3:getObject e s3:putObject.

Observe que a política de bucket do S3 deve permitir o acesso a partir do perfil do IAM associado ao repositório de dados do FSx para Lustre. Além disso, verifique a política de bucket do S3 no console do Amazon S3 e, se necessário, modifique-a para permitir o acesso a partir do perfil do IAM.

Importante: é preciso configurar corretamente as permissões do AWS Key Management System (AWS KMS) para qualquer uma das seguintes condições:

• Você tem uma configuração entre contas, como um sistema de arquivos e um bucket do S3 que estão em contas diferentes da AWS.
• Você usa o AWS KMS para o bucket do Amazon S3.

Para obter mais informações, consulte Vinculação do sistema de arquivos a um bucket do S3.

Verificar a localização dos arquivos

Confirme se os arquivos estão localizados nos namespaces do DRA. Caso não estejam nesses namespaces, os arquivos serão ignorados. Por exemplo, se o namespace DRA for /ns1/dir1/, um arquivo como ns1/file.txt será ignorado.