Como faço para implantar o EventBridge Pipes com o Amazon MSK?

Resolução

Observação: para obter mais informações sobre o Amazon MSK e sobre como criar um cluster, consulte Comece a utilizar o Amazon MSK.

Pré-requisitos

• Autenticação do cluster MSK: O EventBridge deverá ter permissão para acessar o cluster MSK, recuperar registros e realizar outras tarefas.
• Configuração de rede: O EventBridge deverá ter acesso aos recursos do Amazon Virtual Private Cloud (Amazon VPC) associados ao seu cluster MSK.
• Permissões do perfil de execução do Amazon MSK: O EventBridge exige permissões para gerenciar recursos relacionados ao seu tópico do MSK.

Implantar o EventBridge Pipes com o Amazon MSK

Conclua as seguintes etapas:

1. Navegue até o console do EventBridge em sua respectiva região da AWS.
2. No painel de navegação, selecione Pipes.
3. Selecione Criar pipe.
4. Insira um nome para o pipe.
5. (Opcional) Insira uma descrição para o pipe.

Selecione o Amazon MSK como a origem do pipe

Conclua as seguintes etapas:

1. Em Selecionar origem, selecione Amazon MSK.
2. Selecione o cluster Amazon MSK que foi criado anteriormente.
3. Insira o nome do tópico do Apache Kafka utilizado para armazenar registros no cluster do próprio Apache Kafka.
4. (Opcional) Forneça o ID de um grupo de consumidores do Apache Kafka para participar. Para obter mais informações, consulte o tópico Amazon Managed Streaming for Apache Kafka como fonte no EventBridge Pipes.
5. (Opcional) Escolha o método de autenticação e a chave secreta.

Aplicar configurações adicionais

Conclua as seguintes etapas:

1. (Opcional) Configure o Tamanho do lote e a Janela do lote.
2. Configure a posição inicial.
   Observação: para a posição inicial, latest é a configuração padrão. Caso necessário, mude para o Trim horizon. Trim horizon é o mesmo que o Earliest para o Apache Kafka.
3. (Opcional) Aplique as configurações de Filtragem e Enriquecimento.
4. Escolha o seu alvo a partir da Lista de Serviços do Target.
5. (Opcional) Defina um transformador de entrada.
6. Confirme se a configuração do pipe está correta. Em seguida, selecione Criar pipe.

Quando o pipe mudar para o status Em execução, o EventBridge pesquisará internamente novas mensagens a partir da fonte. Em seguida, invocará o alvo de forma síncrona.

Observação: a carga útil do evento contém uma série de mensagens. Cada item contém detalhes do tópico MSK e do identificador de partição MSK, juntamente com um timestamp (um marcador de tempo) e uma mensagem codificada em base64.

Veja a seguir um exemplo de evento MSK:

[  {
    "eventSource": "aws:kafka",
    "eventSourceArn": "arn:aws:kafka:sa-east-1:123456789012:cluster/vpc-2priv-2pub/751d2973-a626-431c-9d4e-d7975eb44dd7-2",
    "eventSourceKey": "mytopic-0",
    "topic": "mytopic",
    "partition": "0",
    "offset": 15,
    "timestamp": 1545084650987,
    "timestampType": "CREATE_TIME",
    "key": "abcDEFghiJKLmnoPQRstuVWXyz1234==",
    "value": "SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
    "headers": [
      {
        "headerKey": [
          104,
          101,
          97,
          100,
          101,
          114,
          86,
          97,
          108,
          117,
          101
        ]
      }
    ]
  }
]

Solucionar erros relacionados à invocação

Utilize as métricas do Amazon CloudWatch através do Console do CloudWatch em sua respectiva região, a fim de isolar problemas relacionados à ativação, invocação ou controle de utilização.

Ao criar, excluir e atualizar pipes, a operação poderá resultar em um estado de falha. Para obter mais informações, consulte Estados de Falha de Pipes.

Ao invocar um pipe, dois tipos principais de erros poderão ocorrer: Erros internos do pipe ou Erros de invocação do cliente.

Um erro interno do pipe poderá ocorrer caso uma conexão HTTP falhe ao tentar invocar o serviço de destino do cliente. Ou um erro poderá ocorrer caso haja uma queda transitória na disponibilidade do próprio serviço do pipe.

Um erro de invocação do cliente poderá ocorrer caso não haja permissões suficientes no pipe para invocar o destino. Ou, um erro poderá ocorrer caso haja erros de lógica no cliente invocado de forma síncrona do AWS Lambda, AWS Step Functions, no destino da API ou endpoint do Amazon API Gateway. Para mais informações, consulte Permissões.

O EventBridge Pipes não oferece suporte ao processamento entre contas de um agente do Amazon MQ provenientes de uma conta diferente. Para obter mais informações, consulte Tratamento de erros e Solução de problemas do Amazon EventBridge Pipes.

Informações relacionadas

Criando de um pipe no Amazon EventBridge