How to send pyspark results to results.json in Athena Spark start_calculation_execution?

0

If I try to return the dataframe or use json.dumps(df) in Athena Spark start_calculation_execution codeBlock, they results appear in stdout file in S3 folder for the session and query execution. How do I make it appear in the results.json instead? It appears that the results.json is always empty ({}). And the stdout is always escaping the contents which is creating blockers downstream and I am not sure if that is the right place to store execution results.

Faiz
gefragt vor 5 Monaten247 Aufrufe
Keine Antworten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen