Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso
AWS re:Postre:Post

Overwrite in glue script

0

Hi all,

I can able to append my data to curated. But I can't able to overwrite. During overwrite curated existing file was deleted but not write a new file. My script: df. write.mode('overwrite'). Parquet (s3_file_path)

Temas
AnálisisAlmacenamientoBase de datos
Etiquetas
AWS GlueAlmacenamientoExtraer datos de transformación y carga
Idioma
English
rePost-User-guna
preguntada hace un año835 visualizaciones
1 Respuesta
0

You should not use the same path as source and destination, even when appending, it can result in racing issues and jobs that are not idempotent. When you select overwrite, first deletes the files on the destination.

profile pictureAWS
EXPERTO
Gonzalo Herreros
respondido hace un año

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas

Contenido relevante