¿Cómo soluciono los errores que recibo al usar Amazon MSK Connect para crear un conector?

Resolución

Error «"Last operation failed»

Cuando MSK Connect no puede crear el conector y este pasa al estado Error, recibirás el siguiente mensaje de error:

«There is an issue with the connector Code: UnknownError.UnknownMessage: The last operation failed. Retry the operation».

Para encontrar la causa del error, revisa el registro de eventos de MSK Connect.

Error «Required field is missing»

Si utilizas un carácter de salto de línea (/r) al final de una configuración, recibirás el siguiente mensaje de error:

«Invalid parameter connectorConfiguration: The following required field is missing or has invalid value: tasks.max»

Para solucionar este problema, toma las siguientes medidas:

• Introduce manualmente la información de configuración en el cuadro de diálogo de configuración del conector. No copies ni pegues la información de configuración de otro origen.
• En los sistemas operativos (SO) Windows, utiliza un editor de texto para eliminar los caracteres de salto de línea (CRLF) y los caracteres de final de línea (EOL). Para eliminar el salto de línea, copia y pega la configuración en un editor de texto. En el editor de texto, elige Ver y, a continuación, elige Mostrar símbolo. A continuación, selecciona Mostrar todos los caracteres. Sustituye todos los caracteres CRLF (\r\n) por caracteres LF (\n).

Error «Invalid parameter»

Cuando utilizas el rol vinculado al servicio MSK Connect para crear un conector, recibes el siguiente mensaje de error:

«Invalid parameter serviceExecutionRoleArn: A service linked role ARN cannot be provided as service execution role ARN».

No puedes usar el rol vinculado al servicio AWSServiceRoleForKafkaConnect como rol de ejecución del servicio. En su lugar, debes crear un rol de servicio independiente. A continuación, especifica el rol que quieres que use el conector.

Error «"Failed to find any class that implements Connector»

Si recibes el siguiente mensaje de error:

«org.apache.kafka.connect.errors.ConnectException: Failed to find any class that implements Connector and which name matches...»

Para solucionar este problema, toma las siguientes medidas:

• Elimina los caracteres CRLF que se encuentran en la configuración del conector.
• Si el complemento del conector requiere varios archivos, inclúyelos en el archivo comprimido. Los archivos JAR del archivo comprimido también deben tener la estructura de archivos prevista para el complemento. Se recomienda activar los registros de MSK Connect y revisarlos para confirmar que la estructura de archivos es correcta.

Error «TimeOutException»

Si el conector no puede llegar al clúster de MSK, recibirás el siguiente mensaje de error:

«org.apache.kafka.common.errors.TimeoutException: Timed out waiting to send the call. Call: fetchMetadata»

Para resolver el mensaje de error anterior, lleva a cabo las siguientes acciones:

• Comprueba si los servidores de arranque que especificaste en las propiedades, incluido el número de puerto, son válidos y precisos.
• Asegúrate de que el grupo de seguridad de tu clúster permita el tráfico entrante del grupo de seguridad del cliente que está asociado a MSK Connect. Si usas un clúster de MSK, agrega una regla que permita el tráfico entrante desde el clúster. Para obtener más información, consulta Reglas del grupo de seguridad.

Error «SaslAuthenticationException»

Si tu clúster de MSK se ejecuta en un agente del tipo kafka.t3.small con control de acceso de AWS Identity and Access Management (IAM), revisa tu cuota de conexión. El tipo de instancia kafka.t3.small solo acepta una conexión TCP por cada agente por segundo.

Cuando superas tu cuota de conexión, la prueba de creación falla y recibes el siguiente mensaje de error:

«org.apache.kafka.common.errors.SaslAuthenticationException: Too many connects»

Para obtener más información sobre los clústeres de MSK y el control de acceso de IAM, consulta Cómo funciona Amazon MSK con IAM.

Para resolver el error «SaslAuthenticationException», realiza una de las siguientes acciones:

• En tu configuración de trabajo de Amazon MSK Connect, actualiza los valores de reconnect.backoff.ms y reconnect.backoff.max.ms a 1000 o más.
• Actualiza a un tipo de instancia de agente más grande (como kafka.m5.large o superior). Para obtener más información, consulta Tipos de agentes de Amazon MSK y Prácticas recomendadas para los agentes estándar.

Error «Unable to connect to S3»

Cuando el conector no se puede conectar a Amazon Simple Storage Service (Amazon S3), recibirás el siguiente mensaje de error:

«org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to s3.us-east-1.amazonaws.com:443 failed: connect timed out»

Para resolver este problema, debes crear un punto de enlace de Amazon Virtual Private Cloud (Amazon VPC) desde la VPC del clúster a Amazon S3. 

Sigue estos pasos:

1. Abre la consola de Amazon VPC.
2. En el panel de navegación, elige Puntos de enlace.
3. Elige Crear punto de enlace.
4. En Tipo, selecciona Servicios de AWS.
5. En Servicios, selecciona el filtro Nombre del servicio y, a continuación, selecciona com.amazonaws.region.s3.
   Nota: Sustituye region por tu región de AWS.
6. Elige el filtro Tipo y, a continuación, elige Puerta de enlace.
7. Para VPC, selecciona la VPC del clúster.
8. En Tablas de enrutamiento, selecciona la tabla de enrutamiento que está asociada a las subredes del clúster.
9. Elige Crear punto de enlace.

Error «Unable to execute HTTP request» para Firehose

Cuando el conector no se puede conectar a Amazon Data Firehose, recibes el siguiente mensaje de error:

«org.apache.kafka.connect.errors.ConnectException: com.amazonaws.SdkClientException: Unable to execute HTTP request: Connect to firehose.us-east-2.amazonaws.com:443 failed: connect timed out»

Para resolver este problema, sigue los pasos de la sección anterior para crear un punto de enlace de VPC desde la VPC del clúster a Amazon Data Firehose. Usa el filtro de Nombres de servicio com.amazonaws.region.kinesis-firehose.

Error «Access denied»

Cuando el usuario de IAM de MSK Connect no tiene los permisos necesarios para crear un conector, recibirás el siguiente mensaje de error:

«Connection to node - 1 (b1.<cluster>.<region>.amazonaws.com) failed authentication due to: Access Denied»

Al crear un conector con MSK Connect, debes especificar un rol de IAM para usarlo con él. Tu rol de ejecución de servicios debe tener la siguiente política de confianza para que MSK Connect pueda asumir el rol:

{    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "kafkaconnect.amazonaws.com"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
            "StringEquals": {
                "aws:SourceAccount": "Account-ID"
            },
            "ArnLike": {
                "aws:SourceArn": "MSK-Connector-ARN"
            }
        }
    }]
}

Si el clúster de MSK que quieres usar con tu conector utiliza la autenticación de IAM, debes agregar la siguiente política de permisos al rol de ejecución de servicios del conector:

{    "Version": "2012-10-17",
    "Statement": [{
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect",
                "kafka-cluster:DescribeCluster"
            ],
            "Resource": [
                "cluster-arn"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a sink connector to read from"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:WriteData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "ARN of the topic that you want a source connector to write to"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:CreateTopic",
                "kafka-cluster:WriteData",
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:topic/cluster-name/cluster-uuid/__amazon_msk_connect_*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/__amazon_msk_connect_*",
                "arn:aws:kafka:region:account-id:group/cluster-name/cluster-uuid/connect-*"
            ]
        }
    ]
}

Para obtener más información, consulta Recursos de la política de autorización.

Erro «Failed to find AWS IAM Credentials»

Cuando el rol de IAM que utilizaste para crear el conector no tiene los permisos necesarios, recibirás el siguiente mensaje de error:

«ERROR Connection to node -3 (b-1.<cluster>.<region>.amazonaws.com/INTERNAL_IP ) failed authentication due to: An error: (java.security .PrivilegedActionException: javax.security .sasl.SaslException: Failed to find AWS IAM Credentials [Caused by aws_msk_iam_auth_shadow.com.amazonaws.SdkClientException: Unable to load AWS credentials from any ...........Unable to load AWS credentials from environment variables (AWS_ACCESS_KEY_ID (or AWS_ACCESS_KEY) and AWS_SECRET_KEY (or AWS_SECRET_ACCESS_KEY))»

Para solucionar el mensaje de error anterior, revisa las políticas de acceso y la relación de confianza del rol de IAM del conector. Para obtener más información, consulta Descripción del rol de ejecución de servicios.

Información relacionada

¿Cómo utilizo Kafka-Kinesis-Connector para conectarme a mi clúster de Amazon MSK?

Descripción de MSK Connect

Solución de problemas del clúster de Amazon MSK