Glue Job store in "Temporary path" files, is it safe to delete this files periodically in scheduled job?

In Glue Jobs "Temporary path" specified s3 buckets folder we have bunch of files, is it safe to delete this files periodically? Does this affect on "Job bookmark" or some functionality in Glue Job?

Argomenti

Analisi

Tag

AWS Glue

Lingua

English

Data engineer

posta 7 mesi fa486 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

The temporary directory is used mainly for Redshift and relationalize temporary files, once the job has completed it is safe to delete. Won't delete bookmarks.
If you know the maximum time a job can run, you can provide a safe expiration policy so files never expire mid run.

ESPERTO

Gonzalo Herreros

con risposta 7 mesi fa

ESPERTO

Giovanni Lauria

verificato 2 mesi fa

Contenuto pertinente

Come faccio a risolvere il "java.lang.OutOfMemoryError": Errore "Java heap space" in un job di AWS Glue Spark?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l'errore "View is stale; it must be re-created" in Athena?
AWS UFFICIALEAggiornata un anno fa
Come posso impostare parametri speciali in un job AWS Glue utilizzando AWS CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l'errore "La coda specificata non esiste o non è possibile accedervi." quando eseguo il mio job AWS Glue per inviare messaggi ad Amazon SQS in un'altra Regione?
AWS UFFICIALEAggiornata 3 anni fa