如何使用Glue Crawler扁平化深层嵌套的JSON文件？

Question

【以下的问题经过翻译处理】 我的客户想要将深度嵌套的JSON对象展开。他们使用Glue Crawler分类器与$[\*]（将数组元素向上提升一级，使得每个JSON记录都加载到自己的行中）。当运行了Crawler并查看结果时，发现结果仅看到一些“Array”类型而不是“Struct”类型。请问如何解决这个问题？

Answer

【以下的回答经过翻译处理】 Crawler具体输出为“Array”类型还是“Struct”类型，取决于JSON文档的格式。

{
   "event_params":[ {"key":"Value"}, {"Key","value"}],
   "geolocation": { "lat": 56.333333, "lng": 57.44333 }
}

例如上面的JSON文档，当运行Crawler时，它会输出以下“Schema”：
event_params: Array
geolocation: Struct

客户可以在Glue中使用自定义分类器进一步提取数据。或者，他们可以将数据保持不变，并运行一个Glue作业将数据格式转化为新的列格式表格。

如何使用Glue Crawler扁平化深层嵌套的JSON文件？

相关内容