Como soluciono erros ao ajustar modelos no Amazon Bedrock?

Resolução

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

Problemas de acesso e disponibilidade

Pré-requisito: Solicite acesso ao modelo de base.

O Amazon Bedrock oferece suporte ao ajuste fino em determinadas regiões da AWS e modelos fundamentais. Certifique-se de usar uma região da AWS compatível para seu modelo com recursos de ajuste fino. Se sua região não oferece suporte ao seu modelo, o seletor de modelos do Amazon Bedrock carrega continuamente. Se não for possível criar um trabalho de ajuste fino, pode receber a seguinte mensagem de erro:

"Unable to Create a fine-tuning job ("The provided model identifier is invalid" error)"

Para solucionar seu erro de acesso, certifique-se de que o modelo e os recursos de ajuste fino são compatíveis na região da AWS de sua preferência.

Se você vê uma tela em branco ou não consegue selecionar um modelo, então seu modelo não está disponível nessa região ou sua conta da AWS não tem acesso ao modelo. Para resolver, selecione um modelo em diferentes redes e navegadores. Ao selecionar modelos, capte um arquivo HAR. Em seguida, verifique se você não tem restrições para sua VPN, firewall ou infraestrutura de área de trabalho virtual (VDI). Se você ainda não conseguir acessar o console do Amazon Bedrock, entre em contato com o administrador da sua rede.

Problemas de permissões do IAM

Para acessar o bucket do Amazon Simple Storage Service (Amazon S3) para personalizar um modelo, você deve anexar as permissões corretas ao seu perfil do AWS Identity and Access Management (AWS IAM). Se você não configurou corretamente as permissões para o perfil do IAM, receberá a seguinte mensagem de erro:

"Encountered an unexpected error when processing the request, please try again","AccessDenied"."

Para solucionar esse erro, conceda permissões do IAM para o Amazon Bedrock para personalização do modelo.

Erros de acesso entre regiões

Os trabalhos de ajuste fino só podem acessar os dados do Amazon S3 na mesma região em que o trabalho é executado. Se você tentar acessar os dados de treinamento armazenados em um bucket do S3 localizado em uma região diferente do seu trabalho de ajuste fino, receberá a seguinte mensagem de erro:

"Could not validate GetObject permissions to access S3 bucket"

Para solucionar esse erro, certifique-se de que seu bucket do S3 e o trabalho de ajuste fino do Amazon Bedrock estão na mesma região. Em seguida, mova seus dados de treinamento para um bucket do S3 na mesma região do Amazon Bedrock.

Erros de formato e validação de dados

Seus conjuntos de dados devem atender aos requisitos do modelo de treinamento e validação. Se você enviar um conjunto de dados de treinamento com uma estrutura ou formato JSON incorreto, poderá receber uma das seguintes mensagens de erro:

"The provided S3 URI is invalid", ";validation error detected: Value 's3://..' failed to satisfy constraint:" Member must satisfy regular expression pattern.."

"Invalid training input data configuration. Check the input data S3 Uris(Uri should be a file, not a directory) and retry request"

Para solucionar, certifique-se de usar identificadores uniformes de recursos (URI) de arquivo e confirme que você não usa URIs de diretório.

Exemplo de URL: s3://bucket-name/datasets/train/train.jsonl

Exemplo de URL de diretório: s3://bucket-name/datasets/train/

Em seguida, verifique se o caminho aponta para a localização exata do arquivo. Se o caminho não apontar para a localização exata do arquivo, verifique a estrutura completa do caminho em seu bucket do S3. Atualize o URI do seu arquivo para que ele corresponda ao local exato e ao nome do arquivo em que você armazena seus dados de treinamento.

Validação da estrutura do conjunto de dados

Modelos de texto diferentes têm diferentes requisitos de dados e esquemas JSON esperados. Se você enviar um conjunto de dados de treinamento com uma estrutura ou formato JSON incorreto, poderá receber a seguinte mensagem de erro:

"JSON structure is not supported: JSON schema error: JSON does not match JSON schema at line."

Para solucionar esse erro, prepare dados para modelos de ajuste fino text-to-text.

Problemas de ajuste fino de imagem

O Amazon Bedrock deve ter acesso ao arquivo de imagem na dimensão especificada. Se você fizer upload de imagens que não atendam aos requisitos dimensionais específicos do modelo que está realizando o ajuste fino, poderá receber a seguinte mensagem de erro:

"Image Dimensions are Invalid. Check that the images conform to accepted dimensions."

Verifique se as dimensões da imagem atendem aos requisitos do modelo específico. Em seguida, confirme se você preparou seus conjuntos de dados de imagem para o modelo específico.

Observação: alguns modelos suportam apenas o ajuste fino de texto e não de imagem.

Erros de validação

Seus arquivos devem ser compatíveis com seu modelo. Se você enviar dados de treinamento que não atendam aos requisitos de formatação do modelo ou contenham problemas estruturais, poderá receber a seguinte mensagem de erro:

"Validation error: failed during preprocessing"

Para solucionar esse erro, verifique o formato dos seus dados:

• Certifique-se de que seu arquivo JSONL tenha um objeto JSON válido por linha.
• Verifique se você incluiu campos obrigatórios em cada exemplo.
• Verifique se seus exemplos não excedem as cotas máximas de token do modelo.
• Confirme se seu arquivo usa a codificação UTF-8 sem problemas com caracteres especiais.

Monitore o status do trabalho

É possível usar o console do Amazon Bedrock ou a AWS CLI para monitorar o status do trabalho. O monitoramento do progresso em tempo real não está disponível no Amazon Bedrock.

Para usar o console, consulte Monitorar o trabalho de personalização de modelo.

Para usar a AWS CLI, execute o seguinte comando get-model-customization-job:

aws bedrock get-model-customization-job -job-identifier "jobARN"

Observação: substitua o jobARN pelo nome do recurso da Amazon (ARN) do seu trabalho.

Em seguida, é possível estimar o tempo necessário para concluir cada trabalho como referência em relação ao tempo real de conclusão do modelo. Ao fazer uma estimativa, considere os seguintes fatores:

• A duração do ajuste fino depende do tamanho dos dados, do número de épocas e do tamanho do lote.
• Os erros iniciais aparecem nos primeiros minutos.
• Para conjuntos de dados maiores, o ajuste fino pode levar várias horas para ser concluído.
• O tempo de treinamento dura entre 3-4 horas e até 24 horas, dependendo da configuração e do tráfego.

Se um trabalho falhar, consulte Solução de problemas de personalização de modelo.

Se um trabalho estiver no estado Treinamento há mais de 24 horas, entre em contato com o AWS Support.

Inferência para modelos ajustados

Para modelos personalizados ajustados, você deve comprar throughput provisionado para modelos diferentes do Amazon Nova para criar um ARN de modelo provisionado separado que é usado em vez do ARN do modelo original.

Se você tentar usar o ARN do modelo original diretamente nas chamadas de API, poderá receber a seguinte mensagem de erro:

"An error occurred (ValidationException) when calling the xxxx operation: 1 validation error detected: Value 'arn:aws:bedrock:xxxxx' at 'modelId' failed to satisfy constraint: Member must satisfy regular expression pattern: ..."

Para solucionar esse erro, realize as etapas a seguir:

1. Crie um throughput provisionado para seu modelo ajustado.
2. Observe o ARN do modelo provisionado na resposta.
3. Ao chamar modelos ajustados por meio da API, use o seguinte formato de ARN de modelo específico para modelos personalizados:
   arn:aws:bedrock:[region]:[account]:provisioned-model/[name]
   Observação: substitua region pela sua região, account pelas informações da sua conta e name pelo nome do seu modelo.
4. Verifique se o modelo provisionado está no status InService antes de usar a chamada de API GetProvisionedModelThroughput.

Informações relacionadas

Set up inference for a custom model (Configurar inferência para um modelo personalizado)

Personalizar o modelo para melhorar o desempenho para o caso de uso