在Glue DataBrew中刷新数据集

0

【以下的问题经过翻译处理】 我在Glue DataBrew中有一个由JSON和gzipped csv文件支持的S3数据集。我从S3存储桶中删除了JSON文件,需要刷新数据集或重新添加以便更改生效吗?我该如何操作?我没有在文档中找到答案,可能我漏看了。

profile picture
ESPERTO
posta 5 mesi fa21 visualizzazioni
1 Risposta
0

【以下的回答经过翻译处理】 你好,

如果你已经从连接到Glue DataBrew作业的S3存储桶中删除了文件,请手动重新运行该作业,它将会注意到更改。此外,你可以使用动态数据集来自动处理或刷新观察S3中的文件,其中你可以指定基于时间、基于模式和可自定义参数来创建动态数据集。

下面是一篇更详细介绍的博客链接:https://aws.amazon.com/blogs/big-data/simplify-incoming-data-ingestion-with-dynamic-parameterized-datasets-in-aws-glue-databrew/

希望能帮到你!

profile picture
ESPERTO
con risposta 5 mesi fa

Accesso non effettuato. Accedi per postare una risposta.

Una buona risposta soddisfa chiaramente la domanda, fornisce un feedback costruttivo e incoraggia la crescita professionale del richiedente.

Linee guida per rispondere alle domande