在Glue DataBrew中刷新数据集

0

【以下的问题经过翻译处理】 我在Glue DataBrew中有一个由JSON和gzipped csv文件支持的S3数据集。我从S3存储桶中删除了JSON文件,需要刷新数据集或重新添加以便更改生效吗?我该如何操作?我没有在文档中找到答案,可能我漏看了。

profile picture
专家
已提问 5 个月前17 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,

如果你已经从连接到Glue DataBrew作业的S3存储桶中删除了文件,请手动重新运行该作业,它将会注意到更改。此外,你可以使用动态数据集来自动处理或刷新观察S3中的文件,其中你可以指定基于时间、基于模式和可自定义参数来创建动态数据集。

下面是一篇更详细介绍的博客链接:https://aws.amazon.com/blogs/big-data/simplify-incoming-data-ingestion-with-dynamic-parameterized-datasets-in-aws-glue-databrew/

希望能帮到你!

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则