¿Por qué AWS Glue no agrega particiones a una tabla durante un rastreo incremental?

Descripción corta

Cuando un rastreador de AWS Glue ejecuta un rastreo incremental, solo identifica las particiones que el rastreador agregó después del rastreo anterior. Para agregar la partición, más del 70 % de los archivos de una partición deben tener el mismo esquema que la tabla del rastreador.

Importante: Un rastreador de AWS Glue no puede agregar una partición previamente marcada como discordancia de esquema. Se recomienda asegurarse de que todas las propiedades de la nueva partición coincidan con las propiedades de la tabla original antes de que se ejecute el rastreador.

Resolución

Abra el registro de Amazon CloudWatch que corresponde al último rastreo del rastreador y, a continuación, busque el prefijo de Amazon Simple Storage Service (Amazon S3) de la nueva partición. Si el esquema de la nueva partición y el esquema de la tabla original no coinciden, aparecerá el mensaje «La partición no coincide con el esquema de la tabla o tiene claves que no coinciden».

Si recibe el mensaje de error anterior, compruebe que las siguientes propiedades de la nueva partición coinciden con las de la tabla original:

• Formato de compresión
• Tipo de archivo
• Esquema de archivos

Asegúrese de que la estructura de S3 de la nueva partición coincida con la estructura de S3 de la tabla original. Por ejemplo, si la estructura de S3 de la tabla original usa el formato de fecha aaaa-mm-dd, la estructura de S3 de la nueva partición también debe usar el formato de fecha aaaa-mm-dd. Si las propiedades no coinciden, modifique los archivos de la nueva partición para que coincidan con la tabla original.

A continuación, utilice Athena para agregar la nueva partición a la tabla. Para las particiones de estilo hive, ejecute el comando MSCK REPAIR TABLE. Para particiones que no sean de estilo hive, ejecute el comando ALTER TABLE ADD PARTITION.