Por que minha associação de repositórios de dados do Amazon FSx para Lustre não exporta arquivos para o Amazon S3?
Quero solucionar um problema na minha associação de repositório de dados (DRA) do Amazon FSx para Lustre, que não exporta arquivos para o Amazon Simple Storage Service (Amazon S3).
Resolução
Verifique se há problemas de configuração do sistema de arquivos
- Verifique se o repositório de dados do FSx para Lustre está configurado corretamente.
- Certifique-se de que o sistema de arquivos esteja montado corretamente.
Verifique se há problemas de configuração de exportação
Verifique a configuração de exportação entre o repositório de dados do FSx para Lustre e o bucket do Amazon S3. Ao criar uma associação de repositório de dados (DRA), certifique-se de selecionar as opções de exportação corretas. Verifique se os dados estão armazenados em formato compatível com UTF-8, para que o FSx para Lustre possa exportar dados para o bucket do S3. As chaves de objeto do Amazon S3 têm um tamanho máximo de 1.024 bytes. O FSx para Lustre não exporta arquivos com uma chave de objeto do S3 correspondente que tenha mais de 1.024 bytes.
Analise erros e logs
Verifique se há erros ou avisos relacionados à operação de sincronização nos logs do FSx para Lustre e do bucket do S3. Esses logs podem ajudar a identificar problemas que você deve resolver. Para obter mais informações, consulte Como registrar logs com o Amazon CloudWatch Logs. Verifique a métrica AgeofOldestQueuedMessage do sistema de arquivos no CloudWatch. Essa métrica ajuda a identificar o tempo de atraso da sincronização do sistema de arquivos para o S3.
Observação: para investigar mais detalhadamente, verifique os logs de erros e falhas que correspondem à hora em que AgeofOldestQueuedMessage começou a crescer.
Se você tiver ativado o registro de logs no sistema de arquivos do FSx para Lustre, poderá encontrar os logs correspondentes no grupo de registros Cloudwatch/aws/fsx/lustre. Se tiver informações sobre arquivos que falharam na exportação para o S3, pesquise a string de log com o caminho do arquivo correspondente, por exemplo, dir1/file.txt. As falhas na tarefa do repositório de dados e na exportação automática têm uma entrada de objeto JSON correspondente no grupo de registros. Você pode encontrar o código de erro específico dessas entradas. Para obter mais informações sobre essas mensagens de log e as causas básicas, consulte Logs de eventos do repositório de dados.
Verifique problemas de permissão
Confirme se o perfil do AWS Identity and Access Management (IAM) associada ao repositório de dados do FSx para Lustre tem as permissões necessárias para acessar o bucket do S3. Esse perfil do IAM deve ter as permissões necessárias para realizar as ações necessárias no bucket do S3, como listar, ler e gravar objetos. Se o perfil do IAM não tiver as permissões corretas, a operação de sincronização falhará.
Para verificar e modificar as permissões do perfil do IAM associado ao repositório de dados do FSx para Lustre, conclua as seguintes etapas:
- Abra o console do IAM.
- No painel de navegação, escolha Perfis.
- Em Perfis, pesquise um perfil do IAM semelhante a AWSServiceRoleForFSxS3Access\_fs-01234567890. Esse é o perfil do IAM associado ao repositório de dados do FSx para Lustre.
- Escolha o perfil do IAM.
- Escolha a guia Permissões para analisar as permissões associadas ao perfil.
- Expanda a política em linha do cliente anexada. Em seguida, analise a política para garantir que o perfil tenha as permissões necessárias para acessar o bucket do S3. O perfil deve ter, no mínimo, as permissões s3:ListBucket, s3:getObject e s3:putObject.
Observe que a política de bucket do S3 deve permitir o acesso a partir do perfil do IAM associado ao repositório de dados do FSx para Lustre. Além disso, verifique a política de bucket do S3 no console do Amazon S3 e, se necessário, modifique-a para permitir o acesso a partir do perfil do IAM.
Importante: é preciso configurar corretamente as permissões do AWS Key Management System (AWS KMS) para qualquer uma das seguintes condições:
- Você tem uma configuração entre contas, como um sistema de arquivos e um bucket do S3 que estão em contas diferentes da AWS.
- Você usa o AWS KMS para o bucket do Amazon S3.
Para obter mais informações, consulte Vinculação do sistema de arquivos a um bucket do S3.
Verificar a localização dos arquivos
Confirme se os arquivos estão localizados nos namespaces do DRA. Caso não estejam nesses namespaces, os arquivos serão ignorados. Por exemplo, se o namespace DRA for /ns1/dir1/, um arquivo como ns1/file.txt será ignorado.
Conteúdo relevante
- AWS OFICIALAtualizada há 2 anos
- AWS OFICIALAtualizada há 2 anos
- AWS OFICIALAtualizada há 2 anos
- AWS OFICIALAtualizada há 2 meses