1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 你好,
在 Glue 中,我们使用crawlers从文件中自动检测表结构并在 Glue catalog中创建一个表。对于 CSV 文件,该crawler会读取前 100 条记录或前 1 MB 数据之前最先读完的一种来检测表结构。 [1]
既然如此,使用这种方法无法将所有 csv 列作为字符串直接加载到 Glue catalog中。您使用以下两种方法达成您的目标:
1.创建一个crawler并在csv数据上运行。一旦在 Glue catalog中创建了该表及其数据类型后,您可以将表结构的所有列修改为字符串。 2. 建立 Glue ETL job来直接从 csv 文件读取数据,并在 applymapping 这个操作中将表结构更改为字符串,并使用 enableUpdateCatalog 选项将该表写入Glue catalog。 [2]
- 参考:
[1] https://aws.amazon.com/premiumsupport/knowledge-center/glue-crawler-detect-schema/ [2] https://docs.aws.amazon.com/glue/latest/dg/update-from-job.html
相关内容
- AWS 官方已更新 2 年前
- AWS 官方已更新 3 年前
- AWS 官方已更新 2 年前
- AWS 官方已更新 2 年前