Como faço para armazenar a saída de uma consulta do Amazon Athena em um formato de dados diferente do CSV?

2 minuto de leitura
0

Quero armazenar os resultados da consulta do Amazon Athena em um formato diferente de CSV, como JSON ou Parquet.

Breve descrição

O Athena suporta somente arquivos de saída CSV quando você executa consultas SELECT. Para armazenar a saída do Athena em formatos diferentes de CSV, escolha uma das seguintes opções:

O comando UNLOAD grava a saída de uma consulta SELECT em um dos vários formatos de dados diferentes, mas não cria uma nova tabela. Uma consulta CTAS também grava a saída em diferentes formatos de dados, mas cria uma nova tabela com essa saída. Tanto o UNLOAD quanto o CTAS aceitam formatos como Apache Parquet, ORC, Apache Avro e JSON.

Observação: tanto o UNLOAD quanto o CTAS aceitam particionamento, mas somente o CTAS oferece suporte ao agrupamento.

Resolução

Executar uma consulta UNLOAD

Para usar a instrução UNLOAD, coloque sua consulta SELECT entre parênteses após UNLOAD e especifique o tipo de arquivo em uma instrução WITH. Por exemplo, a consulta a seguir salva a saída do SELECT como um arquivo JSON no bucket amzn-s3-example-bucket do Amazon Simple Storage Service (Amazon S3):

UNLOAD (SELECT col1, col2 FROM example_table)
    TO 's3://amzn-s3-example-bucket/example_folder/'
  WITH (format = 'JSON')

Para obter mais informações sobre como modificar a saída do arquivo de UNLOAD, consulte Parâmetros.

Executar uma consulta CTAS

Para armazenar a saída de uma consulta CTAS em um formato diferente de CSV, configure a propriedade format em uma instrução WITH. Por exemplo, a consulta a seguir cria uma nova tabela chamada ctas-parquet-example a partir dos dados retornados por SELECT no formato Parquet:

`CREATE TABLE ctas_parquet_example   WITH (format = '`_`PARQUET`_`')     AS SELECT col1, col2, FROM example_table;`

Para obter mais informações sobre os parâmetros do CTAS, consulte Propriedades da tabela CTAS.

Se você precisar manter somente o arquivo de dados de saída, mas não a nova tabela, descarte a tabela CTAS após a conclusão da consulta.

Informações relacionadas

Considerações e limitações para consultas de CTAS

Exemplos de consultas de CTAS

AWS OFICIAL
AWS OFICIALAtualizada há 5 meses